严嵩在弘治十八年（明孝宗年号，公元一千五百零五年）会试考中进士，以庶吉士的身份授翰林院编修，严嵩熟悉大明官场制度，往往能在事前先行揣测出嘉靖皇帝的意图，这本是他步步高升，能够长期得圣宠的原因之一；然而，人有生、老、病、死，这是自然规律，谁也不可能抗拒；嘉靖末年的严嵩已经是八十多岁的老人了，反应渐渐迟钝起来，对嘉靖皇帝的意图再也领悟不出重点，而严党虽然遍布朝野，也只有严世蕃能够顶上严嵩的缺，代他来进行票拟。
此时，严嵩的妻子欧阳氏死了，严世蕃按照大明制度规定，应当回故乡去服丧，严嵩向嘉靖皇帝请求让严世藩留在京城府邸中处理丧事；嘉靖皇帝同意了严嵩的请求，严嵩“权倾朝野”几十年，他的老婆死了，自然有很多人前来吊丧，于是，严世蕃一方面要忙于处理丧事，另一方面严世蕃亦不守规矩，放纵淫乐于家，所以严世蕃不得入宫里代严嵩票拟。
嘉靖皇帝对严嵩提的很多问题，不知道怎么答复，于是严嵩派遣使者去询问严世蕃。严世蕃沉迷于女色，没有时间答复；太监们催促严嵩又很急，严嵩不得已自已作答，往往答非所问，他向嘉靖皇帝所进青词，又多半是假手于他人，质量不怎么样，如此反复几次，嘉靖皇帝对严嵩大失所望，于是更加亲近徐阶，有很多事情不再问严嵩，开始把他当成个摆设了。
严嵩害死了那么多忠臣义士，如今失势，心里面也很恐惧，于是请徐阶饮宴，在宴会上让家人围着徐阶下跪，严嵩自己则举起酒怀敬酒曰：“我上了年经，很快就要死了，我家里的这些人就拜托给你了。”徐阶连道：“晚生不敢！”又上前一个个地将严嵩的家人扶了起来。
严嵩还不放心，命自己潜伏在徐阶家的间谍探听徐阶的动向，间谍“绘色绘影”地回报道：”徐阶在与徐墦的交谈中，好好教训了徐墦一顿，当初是相爷提拔的自己，为人要感恩，对相爷要尊敬。“严嵩这才放心。
徐阶本是夏言的得意门生，当年夏言被严嵩所陷害，徐阶心中就深恨严嵩，然而，为了报复严嵩，徐阶已经等了几十年的时间，而且久经官场的徐阶看出严嵩这是在试探自己，徐阶以成熟的演技骗过了严嵩，让他暂时放松了对自己的警惕之心；接下来，就该徐阶来主动进攻了。
徐阶做了两件事，第一件事就是让通过太监们将严世蕃在丧母期间不守孝道、肆意淫乐的事情传到嘉靖皇帝耳朵里，嘉靖皇帝闻言，果然“勃然大怒”，徐阶知道嘉靖皇帝是最看重孝道的，当年，嘉靖皇帝刚刚登基之时，为了把自己的父亲朱佑杬尊为皇帝、生母为兴国皇太后，他不惜发动大礼仪事件，罢免了托孤大臣杨廷和，将一百三十四位大臣关押进大牢，廷杖官员一百八十多名。
第二件事，就是向嘉靖皇帝推荐方士蓝道行，蓝道行深得嘉靖皇帝信任，有一次，严嵩在上朝前，徐阶事先跟蓝道行联络，告知了他这件事，蓝道行于是说今天有奸臣奏事，嘉靖皇帝见严嵩果然上朝，心中便信了几份蓝道行的话，蓝道行又趋热打铁地说：“严嵩、严世蕃是奸臣，徐阶是忠臣。”
嘉靖皇帝于是有让严嵩退休的心思，御史邹应龙本是徐阶的学生，他愤恨于严嵩残害忠良，一直想找机会弹劾严嵩；徐阶知道此时时机已到，告诉邹应龙道：“如今的严嵩、严世番就像没有根基的高楼大厦，一推就可以倒，杨继盛、沈炼的仇我一直没有忘，如今可以报了！“
嘉靖四十一年邹应龙上《贪横阴臣欺君蠹国疏》曰：“工部侍郎严世蕃凭藉父权，专利无厌。私擅爵赏，广致赂遗。使选法败坏，市道公行。群小竞趋，要价转钜。刑部主事项治元以万三千金转吏部，举人潘鸿业以二千二百金得知州。严年尤桀黠，士大夫无耻者呼为鹤山先生。遇嵩生日，年辄献万金为寿。臧富侈若是，主人当何如？尤可异者，世蕃丧母，陛下以嵩年高，特留侍养。世蕃乃聚狎客，拥艳姬，恒舞酣歌，今天下水旱频仍，南北多警。而世蕃父子方日事掊克，内外百司莫不竭民脂膏，塞彼溪壑。民安得不贫？国安得不病？天人灾变安得不迭至也？臣请斩世蕃首悬之于市，以为人臣凶横不忠之戒。苟臣一言失实，甘伏显戮。”
嘉靖皇帝看了邹应龙的上疏后，以严嵩溺爱严世蕃，有负于首辅职责的罪名，强行命他退休；严嵩跪下为严世蕃请罪，嘉靖皇帝不听他的解释，但嘉靖皇帝念在严嵩多年服待自己有功的情份上，仍命有司岁给米百石；严世蕃被逮捕于大理寺狱中，严嵩知道嘉靖皇帝对自己仍念旧情，于是贿赂太监们，告蓝道行状，蓝道行被关进刑部大牢，严党想让蓝道行供认是徐阶让他这么做的。蓝道行一直到死也不肯承认。
法司最后定了严世蕃确实有贪污受贿的罪名，判处严世蕃及其子锦衣鹄、鸿，客罗龙文，戍边远。嘉靖皇帝看了这个判决后，原则上同意，为表达对严嵩的宽宏大量，特地赦免严鸿为民，让他去服侍严嵩，而将严府的奴仆严年禁锢于牢狱，将邹应龙升为通政司参议。
嘉靖四十一年五月，为祸朝廷多年的严嵩、严世蕃父子终于倒台，听到这个消息，两京十三省的民众“欣喜若狂”，很多人专门买来鞭炮庆祝。
严嵩回到江西老家，嘉靖皇帝追念他平日里和自己谈论修道之事，如今走了