最后是四峰书院。四峰书院的前身就是著名的宝峰寺。嘉靖初年，广东提学副使魏校在广东发动了“毁淫祠寺观”的活动。其中宝峰寺僧也因为有“奸情”而被追回度牒，宝峰寺也被列入被毁的行列。霍韬见宝峰寺就在他父亲之墓的附近，所以就与兄弟一起出钱将其买下来，后来就在这一基础上改建为四峰书院。

四峰书院的规制大略，也见于刘子秀《西樵游览记》卷二《图说》的图画与文字，从中可知：雷坛峰之南是宝峰，当中是宝林洞，四峰书院在其南面。宝林洞周边有三座山峰：宝峰、玉案峰、聚仙峰，霍韬又垒石为一峰，所以称为“四峰”。中间是敦古堂，左有毓秀轩，右为崇礼堂，前面则有环翠楼，楼的右边是卧云楼。其中，敦古堂与毓秀轩乃万历年间霍韬从孙霍尚守所建。在书院的东面有临翠台，那里有石头，上刻“宝峰胜处”四字，是甘学的手书。前面有天池，形状如同半月。清泉从中溢出，湖面宽广，可以泛舟。霍尚守曾经制作钓艇在其中游览。天池东边又有玉池，又名洗砚池，钓台在上方耸峙。蓬莱岩在它的上方，石室十分宽广，可以摆茶几和筵席。南面为聚仙峰，其山巅有聚仙台，高出地面四百仞，可以俯瞰江水。台上面有敬亭，后面有数块大石，叫仙留石，有龟、鱼、鹿、鹤等形状。嘉靖初，霍韬在这里讲学，所有的各种创设，都出自他本人之手。嘉靖年间，霍韬的二儿子霍与瑕进行了重修；万历年间，从孙霍尚守继续增修。

《西樵游览记》所绘宝林洞图如下：(www.daowen.com)

刘子秀绘《宝林洞图》

值得一提的是，明代西樵山四大书院中，只有四峰书院留下遗址，如今我们漫步四峰书院遗址之中，可以在书院的断壁残垣中细细寻踪和品味。