经济的高速发展带来了急速增长的物质财富，也对村民的精神境界提出了更高的要求。潘柱升对《时代周报》记者表达了他的见解：“其实村民素质和物质财富的关系，好比往气球里面打气。气打多了，气球就很容易爆。人的钱多了，素质没有上去，也很容易自我膨胀。”比如困扰紫南村多年的违章违建问题。“以前为了要盖多几间房子出租，大家都把楼房建得七八层那么高。结果有两个，一是导致地基下沉，损害周边房屋；二是因为水电负荷过重，村里经常性地停水停电。”刘瑞妹说道。

2015年，潘柱升下决心清退村里的出租房。

“刚开始清退的时候大家都有微词，”刘瑞妹告诉《时代周报》记者，“毕竟收入减少是显而易见的问题，但后来潘书记开会跟大家讲集体利益，讲社会公德，还把租房的外来务工者妥善安置到集体所有的紫南员工村，所以清退方案最后得到了大家的同意。”

2016年1月1日，紫南村正式清退了所有出租屋。原本租房的外来务工者都可以按17元一平方米的价格，在紫南员工村租住到整洁、敞亮的出租房。(www.daowen.com)

文明清退出租屋让潘柱升坚定了发展紫南文化的念头：“古人说因人成事，其实我们紫南的发展也要依靠村民素质的提高。我们在村里掀起学习优秀传统道德文化的风潮，就是为了使紫南的村民能够明白是非黑白，最终实现以德育人、以文化人的目标。”

2016年10月，紫南进行了“十大孝子”“十大孝媳妇”的评比活动。谈起这场活动，刘瑞妹记忆犹新：“我记得有一位‘孝媳妇’，公公和丈夫在几年内相继去世，只留下年迈的婆婆和两岁的孩子。她为婆婆尽孝道，尽心力抚养自己的小孩。上台领奖时，这位好媳妇就说了一句：‘你们说我好没用，只有我婆婆说我好，我才是真正的孝媳妇。’”

在潘柱升看来，这就是先富帮后富的“文化版本”：“以前我们总说要先富带动后富，其实文化也一样。孝顺的子女经过宣传之后自然会做得更好，而周围原本做得不那么好的子女也会感受到榜样的作用，改善对长辈的态度。最终实现人与人的和谐共处，建成仁善紫南。”