和湛若水、方献夫相比，霍韬在西樵人眼中的口碑要差一些。这主要是因为西樵山流传了一个霍韬强占西樵山宝峰寺的故事。

这个故事，在《西樵山志》里面就有记载，大意是说：霍韬因为要择地葬母，经风水先生指点，说“龙穴”就在宝峰寺中央的大雄宝殿底下。所以霍韬故意偕夫人到寺里进香，住在禅房里赖着不走。然后指责寺里的僧人窝藏妇女，命令家人把佛像扔进寺门前的池塘里去，并下令驱逐寺里的和尚，霸占了宝峰寺。而佛像扔进的池塘，后人就称为“浸佛塘”。

宝林洞天池（浸佛塘）

这个故事，可以说是真假参半。真的部分是，嘉靖二年，宝峰寺因为僧人有不法之事而被当时广东的提学副使魏校下令毁寺。但这并不是霍韬所指使的，只是在毁寺命令发布之后，霍韬从一个叫黄重的友人那里把宝峰寺买了下来，后来就在原址的基础上建起了著名的四峰书院。假的部分，则是霍韬的原配夫人区氏在嘉靖二年的时候就已经去世了，就葬在宝峰之上，现在四峰书院遗址北面，还有区氏的墓葬。而且当时霍韬的母亲尚在，所以用夫人住进佛寺为借口毁寺，从而夺取宝峰寺来葬母的说法，自然是子虚乌有。

不过对于西樵人来说，由于霍韬就是在宝峰寺原址建起了自己的书院，所以霍韬用阴谋诡计霸占佛寺的故事就以讹传讹，流传了数百年之久。霍韬在这上面是背了黑锅的。但是如果问霍韬后不后悔，估计他会斩钉截铁地说：不后悔！这是因为打击“淫祠”（就是不被国家祀典所承认的民间信仰场所），正是霍韬理学思想中非常重要的一部分内容。

·理学问习录·

思不出于私，便是天理，从天理上思，便是穷理尽心知性，再不消说主一，不消说涵养，但不可太急迫为心病。(www.daowen.com)

——霍韬《文敏粹言》

除了改宝峰寺为四峰书院这一件事之外，霍韬在与“淫祠”作对的道路上还走得更远。例如正德十六年初，霍韬在家乡蛰伏了六七年之后，重返北京。路上经过清远大庙峡的时候，就命人拆毁了当地的一座“淫祠”。

据说，大庙峡有怪石，经常给过往的船只造成祸患，所以当地人就给怪石建了一座神庙，周围的山寇常常潜伏在这座庙中劫掠商旅。霍韬乘舟经过，船夫请他上香，霍韬上岸之后，不去拜神，反而下令放火烧了祠庙以及里面保存的六十余具甲胄，从此“寇患遂息”。霍韬本人对这件事是很自豪的，他因此把大庙峡改名为毁庙峡。霍韬的好朋友湛若水在多年后经过此地，还赋诗一首称：“文敏曾祛大庙祠，一时洗尽粤人疑。”由此可见霍韬本人对淫祠的态度，当地人对这座神庙笃信不疑，霍韬却要以捣毁淫祠的行动来宣示其态度。

霍韬等人在嘉靖初年因大礼议获得嘉靖皇帝赏识，入居要职之后，同样在朝廷中表明他们反对佛道和淫祠的态度。嘉靖六年十二月初五日，霍韬上《裨治疏》，申明明太祖朱元璋的十二项规定，其中三项都与僧道有关，包括重申度牒制度（相当于僧人的从业资格证书）、禁止私自削发为僧、限制寺观田土等措施。四天以后，方献夫也上疏，认为尼僧道姑有伤风化，请求把庵寺拆毁变卖，并请申斥权贵之家不能私自给僧人剃度。这一请求得到嘉靖皇帝的支持，并表示：霍韬说僧道太兴盛，国家反而衰弱。从此以后永远不许剃度和尚，以及私创寺观庵院，犯者罪在不赦。　得到皇帝支持之后，北京被毁的尼姑寺达到六百多所。不过，皇帝并无意将拆毁京师尼姑寺的行动扩大化，为此他还惩治了在江西破坏古寺观的江西提学副使徐一鸣。方献夫与霍韬等人为此还联合上疏，请求宽宥徐一鸣。从方、霍等人联合疏救徐一鸣的行为，可以清晰地看到他们对待僧道以及淫祠的态度。

此外，霍韬、湛若水在南京当官期间，也都大力打击当地的尼僧与淫祠。

由此可见，霍韬、方献夫、湛若水等理学家，他们对佛教都有一个共同的态度，就是要挑战佛教在民间社会中的地位，打击势力庞大的佛教力量。当年韩愈所想做而不能的事情，在霍韬等人这里，部分地实现了。