在翰林图画院外，另一股力量也在决定着中国山水画的走向。正统画论认为，描绘某特定事物或景色的绘画应该在观众心中勾起与他看到实物真景时同样的思想和感受，“应目会心”，因此画家需要忠实地表现自然形体。但以苏轼为首的士大夫文人圈子促生了新的绘画理论，受到儒家思想寄情寓兴的影响，文人画家认为，作品的本质是为了反映画家本人的品质，表现内容来自画家心灵和情绪。苏轼曾说：“论画以形似，见与儿童邻。”西方绘画提出这类想法要迟至19世纪。

北宋末年，苏轼和好友文同、米芾、李公麟均以此法作画，被称为“墨戏”，归为“士人画”，尽管苏轼等元祐党人在徽宗朝受到打击，但没有影响其画学思想在画院传播。宋室南渡建都临安，改变了徽宗朝在政治上无情打击元祐党人的策略，进而转为推崇元祐苏学。李唐南北宋之交画风转变，以及马远、夏珪“一角半边”式山水画风的成熟，或多或少都有北宋“文人画”的影响。

可以说，南宋后期的院画风格也受到了文人画的影响，这种影响很可能不是由画院自上而下而来，而是由画院画师内心的转变，在沦落江南，苟安一隅之时，即便身处宫廷，自身或许更易受到文人画的触动。但这一视角也成为旧时评论家和文人画贬斥南宋山水画的依据，从政治角度认为马远、夏珪的“边角之景”是南宋偏安“剩水残山”的反映。

南宋　马远　《踏歌图》　北京故宫博物院藏(www.daowen.com)

与此同时，南宋梁楷、牧溪受完全使用水墨画法的米友仁文人画影响，在画院外将山水画进一步发展。梁楷曾是南宋画院最高级别的画师，但画风简略、粗犷的他不愿受到画院限制，辞职来到西湖附近的六通寺，六通寺的住持便是禅宗大师无准的弟子牧溪，两人一起将文人画引向了一个高度。

南宋的没落使得中国禅画^[5]和文人画进一步结合。北宋时期的绘画讲求雍容华贵，下笔严谨细致，儒家“格物”的精神已经不再需要，经历国破和逃亡的艺术家们不得不开始观照内心，禅宗思想融入画里，在看似纷杂的万象之下寻找真理，他们不炫技，而是用最简单的题材完成绘画。牧溪的《潇湘八景图》甚至可以看出大写意的端倪。

然而，画院外的力量终归无法抗衡正统画院的主流思想，梁楷、牧溪的绘画风格此后长期受到评论界的打压，各朝画家更是不敢模仿，直至后世金农、八大山人等才重新发掘其中的美，并对他们的作品推崇备至。而他们的作品大部分在南宋期间通过贸易流入日本，对日本禅意美学产生了重大影响，延续至今。