西樵人对这位来自家乡的首辅方献夫，有很深厚的感情，并亲切地称他为“方阁老”。在西樵当地，即使不知道方献夫具体事迹的乡民，只要提到“方阁老”，还会津津乐道地说出方阁老发明西樵大饼以及方阁老在西樵山“半山扒龙船”的民间传说。

正德六年方献夫拜王阳明为师后，方献夫从过去的喜好辞章之学转而精研理学，奠定了自己后半生的治学取向。方献夫第一次辞官南归的时候，就已经做好在西樵山定居的打算。正德十二年的时候，他的石泉精舍建成，和湛若水比邻而居，一起读书、讲学、交游。

方氏归乡后，在西樵读书十年，与湛若水、霍韬等人过从论学，学问功夫大有长进，逐渐形成独得的理学思想。方献夫和湛若水、霍韬等人在理学上有很密切的来往，现存文献也还留有不少他们之间互相讨论理学的文字。例如方献夫曾和湛若水谈论宋代的理学家，他表示十分推崇陆九渊的心学，认为陆九渊的心学是继承自孟子的，二人的学术主张，都是“尽其心而已”。

·理学问习录·

象山（陆九渊）之学即是孟子之学，其一言一行，无一毫不似孟子处，其气象亦然。故愚尝谓象山是再生孟子，欲识象山，须识孟子。孟子之学，要处只是不失其本心而善充之而已，至其极处，只是尽其心而已。

——方献夫《复湛太史》(www.daowen.com)

除了湛若水、霍韬等好友之外，方献夫在西樵山时，还与当时广东学者何维柏、王渐逵、邓敬所、陈激衷等往来讲学。

清初“岭南三大家”之一的屈大均所作《广东新语》，记载了方献夫在西樵的讲学之友：“方文襄尝与王青萝、邓敬所、何古林讲学西樵，甘露连降三日。青萝诗云：‘同德之磋，如气之和。同心之涵，如露之甘。’”

何维柏，字乔仲，号古林，南海人。曾经担任过南京礼部尚书，也是明代中期广东的著名理学家与官员，后文将再作详述。王渐逵，字用仪，一字伯鸿，番禺人。学者称青萝先生，湛若水的学生，官至刑部郎中，有《青萝文集》。邓敬所其人则事迹不详。

陈激衷，字元诚，南海人。曾经与方献夫兄弟一同讲学。方献夫于正德年间撰写他的两部理学代表作《大学原》、《中庸原》时，就与陈激衷往来讨论，并且是由陈激衷呈请广州的地方官员刊刻二书。在方献夫弃官归乡后，方献夫也时时邀请陈激衷前来西樵山石泉书院讨论学术。

正如方献夫在信中所指出，他在西樵山期间，还没见有实在得力的学子可以传授心学。我们在现存文献记载中，也找不到一个确切是在石泉书院接受方献夫授业的士人名字，从侧面反映出石泉书院在传播阳明学说中并无突出作用。这一点和人才济济的大科书院有较大反差。