东阳南岑吴氏大宗祠，俗称“吴祠堂”，始建于明初洪武年间，约在1380年前后。元房始祖吴伯修（1327～1396）偕次子吴德（1346～1415）建祠于孝顺乡西庄，即今湖溪之擎天丘。

1433年，礼房世祖、兵科给事中吴泽（1384～1437）回乡祭扫，见祠宇倾圮，命从侄、吴德之孙吴昉（1401～1494）修治。吴昉认为西庄地偏路遥，担忧子孙不能按时祭祀，乃择于祖居地之南，按照西庄祠堂的规制重新建祠。1434年秋动工，第二年春落成。都察院右佥都御史、总督大同宣府军务、邑人卢睿作《吴氏重修祠堂记》，并赋诗曰：“康肃祠堂何处寻，南山山下树森森。雨余芳草增春色，莺语翘林逞好音。六历专城多政绩，三迁禁阁总词林。云仍岁岁敦禋祀，遐迩咸称世泽深。”知县黄仲芳也有“祠前古木排青闼，垣外清烟罩绿杨”之句描绘其景。

经历80来年风雨，祠宇呈颓败之相。1513年，由礼房世祖吴宋（1467～1550）倡导，会集吴杲、吴桐、吴集、吴檠、吴滋等族人，相阴阳、度原隰，择地于今南市路之南、双岘路之西、大寺路之北、环城西路之东建造新祠。其时族众已逾700，人力、物力较前丰裕。新祠于1519年春落成，建造时间长达6年半。规模较前扩大了数倍，前堂后寝，门面7间，左库右仓。左右两厢各10间，分祀各派之祖。左厢外为庶母祠，右厢外为义塾及斋宿之所。明隆庆年间，景泰皇帝时任文渊阁经筵讲官、翰林学士的吴希纯之孙吴天德（1521～1581）倡建御书阁于正寝后面。这一规制历500来年变动不大。方志纂修大师、南京礼部尚书、国子祭酒、兰溪章懋于正德十六年（1521）作《吴氏重建祠堂记》，记述其盛。章懋弟子、永康榜眼程文德于嘉靖十九年（1540）所撰的《东阳洪塘郭氏祠堂记》中评价：“吾婺以文献望东南，素称秉礼。顾近代流风寖薄，祠事亦多未遑。而尽制傋物者，仅见于东阳南岑吴氏焉。”

“杰栋翚飞，埤丹相绚”的御书阁，为吴大宗祠特有的文化亮点。因为漫长的两千多年封建社会中，皇帝赐予大臣金银珠宝、绸缎绫罗、田地房产乃至姬妾侍女的例子不绝于史，但特赐一车书给臣子的举措极为罕见，其意义远胜于其他赏赐。御书阁珍藏宋元明清皇帝的诰敕，“奎画辉煌，照耀寰宇”。镇阁之宝当然是明景泰皇帝赐予吴希纯的御书、通典、劝善、五伦诸书。均为皇室珍藏，民间难得一见。隆庆六年（1572）春夏之交，距御书之赐已历两轮甲子之久，东阳知县赵善政到御书阁观书，打开金匮，首见吴希纯手书“诰敕御书”四个大字，其下御赐之书“素泥蟠蔚，芸蔼芬芳，若未尝触手”。赵善政有感而发，乃于万历三年（1575）作《诰敕御书阁记》。

1673年底，“三藩之乱”发生。1674年，福建耿精忠叛军由永康入东阳，除御书阁外，吴大宗祠均遭焚毁。1709年修复，有祠屋32间。第一进为斋室，第二进为中堂，堂前左右设钟亭鼓阁。堂后寝阁如故。“丹楹刻桷，画栋雕题，赤文绿字”，也颇壮观。大门外东西空地建广孝堂和庶母祠。吴从煌（1655～1708）董其事。康熙癸丑进士、邑人赵衍撰有《吴氏祠堂重建记》。

尔后，由于风雨侵蚀，虫蛀霉变，正寝、中堂、御书阁、门楼等倾斜危殆。在1752年至1829年的七十余年中，族人吴学埏、吴承鸿、吴国洋、吴应棠等先后主持修缮，使柱坚梁固，祠宇巍然。

1862年冬，宗祠再遭兵燹，被太平军焚毁。义房里仁吴国经（1810～ 1876）等主持重建，1867年春动工，历时三年，1869年冬竣工。本族外孙、告老还乡的二品大员、资政大夫李品芳在《南岑吴氏重修宗谱序》中有“鸠工庀材，建复寝庙。敞重檐之巨制，壮孔硕之旧观”之语。门楼5间，上悬“延陵世家”横匾，两侧楹联为“东婺勋垂青史笔，南岑秀接赤城霞”。中为中厅，有楹联5副，其中赞吴芾吴洪父子的楹联为“扶南宋之乾坤，功同韩范，官如己，公如私，亘古沿为家法；绍东莱之文献，学汇周程，义则宗，仁则祖，至今巩作孙谋”。后为穿堂，有楹联3副。再其后为正寝，也有楹联3副，正中的楹联为“孝悌忠信，礼义廉耻”八字。最后为御书阁，阁有两层，3副楹联，主联为“恩赐御书兼诰敕，宠修玉牒侍经筵”。两厢各7间，厅前东钟亭、西鼓阁两间。(www.daowen.com)

吴大宗祠兼有学堂功用，族中弟子和东阳城俊彦就学其中。一代名臣张国维1615年前后就在吴大宗祠读书。张国维在《仰斋翁吴隐君传略》中写道：“余弱冠从少父怀敬公，偕吴氏诸誉耄，习业于吴之家庙中。”这家庙就是吴大宗祠。安文陈士章作《己丑吴祠馆课序》，内有“托栖南岑，滥邀西席”之语。丁忧回籍被邑人聘为西席的清乾隆壬辰会元榜眼、翰林院编修孙辰东，也曾光临宗祠讲学。

自南宋初年以来，南岑吴氏才俊辈出，有功名者合计545人，包括4名进士、5名举人、275名庠生、66名贡生、195名太学生。不完全统计，自南宋至清末，出过二至九品的官员143名，其中二品1人，三品3人，四品5人，五品11人，六品16人，七品12人，八品48人，九品47人。中厅和正寝悬有各种旌表匾额70余块，另有节孝匾额72块悬于他室。祠前则有为吴承宁妻华氏和吴应铨妻王氏立的贞节牌坊。又中厅东3间为广孝祠，西3间为庶母祠。晚清修职郎、邑人卢正珩有《南岑吴氏重建祠堂记》。

1892年重修堂寝，易以石柱。1896年和1897年，重造正寝及两庑，也换用石柱。吴应琳（1846～1911）等主持修理。

吴大宗祠位置优越，环境幽雅，风景秀丽。南对勒马峰，北枕双岘门。东西岘峰环拱，苍翠欲滴；南寺宝塔巍峙，玲珑挺秀。沃野弥望，阡陌纵横。非城非乡，地扼南北咽喉；襟山带水，景属东城翘楚。王士经有题为《青峦叠嶂》、《绿野铺裀》、《长松环翠》、《古柏垂芳》、《碧溪流雨》、《高阁凌云》、《桂枝竞秀》、《栖鸟联鸣》的《宗祠八咏》，今人不难从中想见吴大宗祠的幽美环境。裔孙吴承斐有《御书阁八景》，分别题为《双岘排青》、《一泓流碧》、《乔松拂翠》、《飞瀑含虹》、《三丘积雪》、《画浦朝云》、《甑山夕照》、《别院书声》，则是专门描写吴大宗祠特有的御书阁，声形光色、阴晴雨雪、动静变化、四季景色尽在其中了。

20世纪上半叶的吴氏宗祠，东外侧与中堂前明堂平行处有5间杂用及守祠人居住的附属用房，其中2间南向，3间西向，有旁门进入宗祠。守祠人先后为王金善、王林清父子。附属用房之外为围墙。围墙外为“文秀水”，一脉细流蜿蜒北流，注入泮池。昔人认为此水关乎东阳文气之盛衰，极为神圣，不得亵渎。文秀水外为南门直通南午岭的大道。附属用房隔道相对处有一块高逾一米的大石碑，镌有“吕成公讲学处”六个大字，该处为南宋友成书院旧址。当年东莱吕祖谦在此讲学，南岑吴氏之始迁祖吴洪即为其高足。水面甚广的“梅花塘”在碑的东南侧。宗祠西侧墙外为南溪。宗祠大门左侧有青石门坊，古朴雄浑，上镌“南岑吴氏家庙”六字。宗祠前方为大片空地，广有七八亩，供族人聚会之用，千余人在此盘龙灯绰有余裕。空地左前方大道之旁，有大樟树，树旁有井，井旁有亭，亭旁有庙。空地右前方数百步即为南寺塔，塔下有崇正书院。宗祠后面有两亩水田，水田后面为人工堆筑的小山丘，其上古木参天，浓荫蔽日。由于东阳城地势南高北低，有前实后空之弊，于是营此小丘以弥补地形上的缺憾，客观上则造就了宗祠的环境之胜。

1942年，日寇盘踞东阳，宗祠成为驻东日军的大本营，周围被三道铁丝网拦起。抗战胜利，东阳中学高中部及初中毕业班迁于祠内，1945年9月在此举行开学典礼。1949年5月8日，东阳解放。5月22日，县城各界人士在祠前空地即东中操场隆重举行庆祝东阳解放联欢大会。其后，宗祠作了解放军的营房。土改后，成为东阳汽车中心站保养场的用房。1998年，旧城改造，宗祠被彻底拆毁。自此，东阳境内最为宏伟壮观、设施最为齐全的宗祠不复存在，东阳南岑吴大宗祠也成为历史名词。