曹家获罪迁回北京后，靠发还崇文门蒜市口他家旧置少量房屋度日。那时，三四岁的雪芹对什么都好奇，总爱不断发问，也最需要大人对他多说说话。我们所知的曹家人，只有祖母李氏（曹寅寡妻、李煦之妹）、伯母马氏（曹颙寡妻）和他的父母（曹夫妇），此外，还有为“养赡”“两世孀妇”而发还的“家仆三对”。

曹雪芹必定自幼聪慧，又正处在最惹人喜爱的年龄阶段，他成了全家人心灵上最大的慰藉，受到特别的宠爱是不奇怪的。尤其是祖母，视孙子如同性命，也是情理中事。这些过来人都有精神伤痛和对往昔盛事的回忆，雪芹便成了他们最合适的宣泄和倾诉的对象。祖母是阅历最丰富的人，她的故事一定最多、最有趣，当年那些烈火烹油、鲜花著锦的繁华景象，她说来大概会绘声绘色，头头是道。还有几个跟随多年的婢仆，当然也会“闲坐说玄宗”，为孩子聊聊金陵旧事。这在雪芹的幼小心灵中留下的印象，是我们难以估量的。从那时起，他就时时神游于秦淮河畔已失去了的乐园。小说中被艺术夸张了的贾府盛况，只有在曹寅时代才略可仿佛其一二，其中有些细节、口头禅，甚至事件，也多有取材于那个时代的（当然是经过了变形的），曹雪芹若要都亲自经历，非得再早生二三十年不可。

有一次，跟我的一位年轻红学朋友于鹏谈起想象比实感更活跃，他为我举例说，张恨水出身贫苦，未成年，父亲病故，自学成才，20岁出外谋生，当报馆记者、编辑，却写出一部长篇小说《金粉世家》来，人家还以为作者一定是富家子弟呢。他说，这与他当记者见闻多有关。这话很有意思。其实，曹雪芹的见闻哪会少呢。(www.daowen.com)

曹家祖上几代人，与皇家有着特殊亲近关系：曾祖曹玺之妻孙氏是康熙的保姆，后诰封一品太夫人；曹寅少年时即近侍康熙，一直都是康熙的亲信，两个女儿嫁做王妃（其一为平郡王讷尔苏妻）；颙、辈也因此而得到特别眷顾。所以曹家在京城跟高层有姻戚关系或世交旧谊者不少。虽说曹获罪至京，不便走动，尚为孩童的曹雪芹是可以无须避嫌地被人领着进那些王府侯门豪华的大宅深院的。《红楼梦》写贾家府第陈设，往往从初入者眼中看出，如林黛玉、刘姥姥之进贾府。这样的描写，固然是艺术表现上的需要，但未必没有曹雪芹的真实感受在；刘姥姥的眼睛也未必不可以是曹雪芹的眼睛。当然，也有不同，当曹雪芹看到这一切时，也许会立刻联想起奶奶说过的，从前我家可阔了！已存在于他想象中的旧家气派，大概更有过之。总之，遇到此类机会，总会使他增长见识和加深感受。

此外，宗室贵族从往昔的玉堂金马，到如今的陋室蓬窗的升沉变迁，雪芹所见所闻一定也多。即如其好友敦氏兄弟，就是努尔哈赤第十二子、被赐自尽并黜了宗籍的英亲王阿济格的五世孙。其他祖上有类似荣枯变化的友人或听人说起这样故事的大概还有不少。这些都会深刻地影响他对政治、社会和人生的看法，也给他的创作提供了丰富的素材。