岳飞一生生活俭朴，“乐施疏财，不殖资产，不计生事有无”。又“奉身俭薄，不二胾。居家惟御布素，服食器用，取足而已，不求华巧”①。他被杀害后，“籍其家，仅金、玉犀带数条，及锁铠、兜鍪、南蛮铜弩、镔刀、弓、剑、鞍辔，布、绢三千余匹，粟、麦五千余斛，钱十余万，书籍数千卷而已”②。与当时的大将张俊“占田遍天下，而家积巨万”③相比，不可同日而语。他在杭州的住宅，非常狭隘。高宗知道他家穷，屡欲在临安为他营第，他总是说：“‘北虏’（金国）未灭，臣何以家为！”④绍兴十一年（1141）四月，他被诏入临安，任枢密副使，后解除兵权，才上书请求挈眷来行在居住⑤。同年，八月二十四日，“三省同奉圣旨，岳飞所居屋宇不足，令临安府应副添造”⑥。绍兴十一年十二月（1142年1月）岳飞被害后，其宅被没收入官，绍兴十三年（1143）改为太学。校址在纪家桥东，前洋街北（今小车桥附近，浙江医科大学南端），可知岳飞的故第即太学的所在地。绍兴三十二年（1162）六月孝宗继位后，为了平息人民对陷害岳飞的愤怒和抗议，诏复岳飞原官，悬赏购求王尸，以礼改葬于栖霞岭。同时，在太学之左，立庙奉祀，号称“忠佑庙”。至理宗景定二年（1261）立为土神，改称“忠显庙”，将岳飞封为庙神忠文王。元世祖至元十三年（1276），改太学为西湖书院，后又改为肃政廉访使司。明朝建臬司（即按察使司），清朝因之。民国改建浙江省高等法院，现为浙江医科大学。

岳飞从绍兴十一年（1141）四月开始在临安居住，至同年十二月被杀害时止，时间仅九个月，后来住宅便改为太学。由于居住时间不长，中间又回江州庐山旧宅居住一段时间，十月十三日入大理寺狱以后，又不住在家中，不可能有所扩建。后来高宗是否为之扩充，也成问题。兼以岳飞一生生活俭朴，不求华奢，其在杭州宅第的狭隘，可以想见。(www.daowen.com)