徐世昌下台后的十七年，主要有上述那些文化活动，政治上看来则是“韬光养晦，明哲保身”，不复作“出山”之念。尽管如此，象他这样多年从事政治的人物，对于当时的一些政治问题，自有其一定的看法和想法，惟徐从来谨慎，不肯轻易表示他自己的态度。

徐世昌对于清皇朝，始终抱有浓厚的感情，这是他大半生“功名富贵”的由来。他平日最喜欢谈论清朝旧事，极其崇拜慈禧太后，认为光绪皇帝懦弱无能，慈禧逝世后，大权落在一般所谓的“小爷们”（指清朝年轻的皇室贵族）头上，便把清廷搞坏了。他曾对我说：“清朝之亡，并不是亡于革命党，而是亡在一班‘小爷们’身上。起初，我在东北，项城（袁世凯）在北洋，张之洞在湖北，这三个重镇，都安排了极有作为的人，等到太后一死，小爷们当了权，胡闹起来，项城被罢黜了，我被调回京，当邮传部尚书了，而新的继任人选，都是些庸碌之辈，朝政由此大乱，革命党怎会不乘机起来呢？”清朝被推翻以后，他对逊帝溥仪始终是关心的。他说：“我对小皇上的清室经费问题，给小皇上聘请英文教师问题，都是悉心照料的。”

一九三六年十二月，“西安事变”发生后，徐世昌的心情异常紧张。在此以前，徐从来不阅览报章，报纸上有什么重要新闻，一向由朱宝仁（徐任总统时的公府收支处长）给他说说，“西安事变”期中，他每天都叫他的一个侄女给读报。我跟他见面时，总问我：“是不是能和平解决呢？”后来，蒋介石接受了张学良的八项主张，停止内战，一致对外，蒋被释放了。徐当时说，蒋介石“纵然有些诺言，也许是权宜之计，过后可以不算数。”蒋介石后来的所作所为，果然未出徐之所料。(www.daowen.com)

“七七”事变爆发后，徐世昌的心情突然紧张起来，闭门谢客。事变前徐在每星期日，都要带着家里人出门走走，或到几个弟弟家和亲戚家坐坐，有时也逛逛公园，或到饭馆里便餐。“七七”事变后，他对外推说有病，不出门，不会客。一次，有一个日本军阀头子（名字记不清）来津，声称一定要见他，还坚决要求约定会面时间，结果是徐找了曹汝霖去推辞，让曹对日本人说：“老先生真的患病，不能见客了，”才算了事。谢宗陶先生也曾述及此事，一九三八年华北沦陷后，日寇坂西和喜多曾先后与靳云鹏和曹汝霖相商，请徐世昌出任华北傀儡。后又有金梁、章梫辈，亦面请徐权作过渡，以俟迎溥仪入关正位。徐均坚决拒绝。

一九三八年冬，徐患膀胱瘤症，日趋严重，当时曾从北京协和医院请来泌尿科专家谢元甫医师来津诊治。谢诊断必须动手术，并提出去北京住院治疗；徐恐去北京遭到日本人的劫持，遂作罢。乃于一九三九年六月死于津寓。