严嵩的权势空前强盛。他在位时，江右士大夫都称他为父。其后，外省也有投靠他的人。有一件事很能说明其他官僚对严嵩的敬畏：“嘉靖三十二年（1553），倭寇入侵，江南残破。分宜当国想上奏平寇乱。时徐文贞为次相，其子仰斋入都，将谒分宜。文贞害怕他出什么差错，商量了两天两夜，才参谒。分宜无他所问，只问江南倭寇若何。仰斋答云： ‘势甚猖獗。’分宜不高兴。文贞知之，率仰斋请罪，这才作罢。”

严嵩对严世蕃的宠爱和放纵，史书上都有记载。他称呼儿子东楼，这在明代是绝无仅有的。至于对家人，严嵩也并非一味放纵。有个叫林一新的官僚，任江西佥事，严嵩家仆有不法者，林一新对其加以处罚，后林一新入贺京师，严嵩对他“甚加敬礼”。但由于严嵩的权势过大，他的仆隶也成为士大夫奉承的对象。管家严年号萼山先生，公卿“能与萼山先生一游者，自谓荣幸”。因此，对于严世蕃和严府家人的作为，严嵩当然是负有责任的。

更过分的是，严嵩在世宗面前也渐渐变得傲慢无礼，甚至在各要害部门遍布自己的亲信。皇上因此也渐渐厌恶他了，转而逐渐亲近徐阶。正好徐阶的好友吴时来、张明中、董传策都上疏弹劾严嵩，严嵩便密请皇上追究，将主使之人投入监狱，严加惩治，但都问不出什么来，皇上于是不再追问，徐阶因此得以有机会排挤严嵩。嘉靖四十年（1561），吏部尚书吴鹏致仕，严嵩指使推荐他的亲戚欧阳必进。世宗讨厌这个人，不同意此事。赵文华违逆圣旨，受到贬职处分，严嵩也无能为力。

这一年严嵩已经82 岁，或许与年龄有关，他对许多问题不能正常进行思考和判断。他的儿子严世蕃是他的得力助手，但自从严嵩的夫人去世，他就不能再参政。

严嵩的妻子欧阳氏的死使严嵩彻底失去了权势。原来，严嵩虽然机警聪明，能预先揣摩出明世宗的意旨，但是皇帝所下诏书，很多他都看不懂，只有严世蕃可以一目了然，因此，严嵩多靠其子严世蕃。其妻死，严世蕃因丧服在身无法入直房代拟，时间一久，严嵩手里压了许多诏书没有处理。宦官相继催促，严嵩不得已，只有自拟诏书，因此经常出差错。十一月，世宗所居万寿宫发生火灾，严嵩请世宗暂居南城离宫，世宗因此极不高兴。次相徐阶与工部尚书雷礼上疏建新的宫殿，此举正中皇上下怀，于是将军国大事都交给徐阶管理，而严嵩只处理一些无关痛痒的皮毛小事而已。(www.daowen.com)

后严嵩因罪被革职，严嵩回到江西，虽然他曾为家乡父老做过一些好事，但晚年仍落得孤独凄凉的结局。

严嵩离去，皇上又怀念他辅助自己信奉道教的功劳。严嵩知道皇上相信他，便贿赂皇上左右的人，揭发道士蓝道行的骗术，把他关押在刑部，让他供出徐阶。蓝道行不从，便被判了死罪，但不久又释放了。严嵩当初回到南昌时，正好遇上皇上生日，便派道士蓝田玉在铁柱宫设斋醮。蓝田玉善于招引鹤鸟，严嵩向他取得符箓，将它与自己的祈文一起上呈给皇上，受到皇上褒奖。严嵩因此上书说：“臣已八十四岁了，而唯一的儿子世蕃和孙子鹄都不在身边，乞请将他们召回臣的身边，使他们能赡养老臣，让臣能安度余年。”但皇上没有答应。

后有人上奏说严嵩的儿子与倭寇勾结，皇上下令林润将他们抓了起来，交给司法部门判了斩刑，严嵩和他的孙子也被黜为民。严嵩独揽大权20年，他溺爱恶子，臭名昭著，人们都将他称为奸臣。其子严世蕃被判犯了大逆之罪，是徐阶在中间起的作用。又过了两年，严嵩由于年纪大，而且体弱多病，最后死于家乡。