严嵩的儿子严世蕃，长期代替老父履行公务，人称“第二内阁”。这是年老体衰的严嵩能够长年担任首辅的“秘密”，也是触发严氏家族最终倾覆的地雷。
1561年，嘉靖常年居住的永寿宫失火。年老糊涂的严嵩，竟然主张嘉靖迁往南宫居住。嘉靖一听，脸色大变。南宫曾是明英宗被蒙古人俘虏放还后，被幽禁了七八年的地方。严嵩竟连这个忌讳都忘记了。嘉靖历来猜疑心极重，他把严嵩的建议理解为“且欲幽我”。与此同时，徐阶则建议重建永寿宫，深得嘉靖欢心。两相对照，严嵩下坡、徐阶上坡的趋势，已经了然。
此后，凡朝廷机务，嘉靖都专函密询徐阶，把严嵩晾在一边。
严嵩像当年向夏言服软一样，叫全家人跪拜徐阶，说自己不中用了，以后全家人就拜托给你了。然而，徐阶不是夏言。
时机已到，皇帝抛弃严嵩的趋势很明显了。徐阶安排门生、御史邹应龙上疏检举严氏父子，而且专从严嵩的儿子严世蕃入手。举报信罗列了严世蕃凶横不忠的许多实锤，最后，邹应龙保证自己检举的全为事实，但有一言不实，他愿以死谢天下。