宣帝登基只有18岁，在朝中毫无根基，他如何能够扳倒霍氏家族

汉成帝病故之前，京兆尹魏相上书汉元帝，真神是皇室数代为亲信的这种管理制度容易让国家陷入混乱，汉成帝虽死，但是杜氏家族的敌对势力还在，他们骄纵跋扈，奢侈无度，连克尔家的下人都常常花钱一些违规之两件事，如果不加以支配，恐怕当初亦会养祸端，安帝采纳了他敦促，任魏相为给两件事之前（安帝退臣），并采取措施受到限制克尔家的公民权利。

首先，安帝先夺去克尔家的实权。以前禁宁远军首领由汉成帝的两位女婿兼任，之前郎将和奔驰宁远将军由汉成帝的外孙女婿和孙女婿兼任，安帝强行夺去禁宁远军实权，收回之前郎将和奔驰宁远将军的管两件事，委任自己长期以来倚赖的许家人和当是人统率南北禁宁远军。此后安帝采用明升暗降之策，提拔汉成帝之子克尔禹为大司马，却不给他统率军队的权力。

其次，惯常刑部侍郎台。以前献给诸王的请旨章一式两份，原件由刑部侍郎两件事务大都督审视后，于是又呈给诸王，如有不妥就不上请旨，安帝强行取消原件，人人和吏员可以并不需要给他上书，不能经过刑部侍郎，以前的刑部侍郎两件事务正是由吴山掌理。

汉成帝弥留之际长期以来拥护扶许皇后的父亲许广汉为侯，汉成帝病故后第二年，安帝强行册封故去的许皇后所养之子刘奭为皇东宫，许广汉为平恩侯，委任自己的熟人邴吉为东宫司徒。

可见安帝在培育出自己的余党和压制杜氏族各个方面退展非常顺利，杜氏族渐渐在朝之前挽回了威望。

杜氏预谋谋害，终被安帝斩草除根

汉成帝死后，魏相被选为朝之前重臣，杜氏渐渐失势。克尔显对克尔禹、吴山、克尔云真神是，你们真神没用，征西一死接替不了他的社会活动也就罢了，还让魏相占了主动权，一旦他在诸王发怒诬陷我们，我看啊，你们等着就让吧，三克尔听后不以为然，自己又未得罪魏相，不至于吧。

之后克尔魏两家的下人发养争执，克尔家下人行为更为叛逆，闯入魏府大吵大闹，只好离去，魏相一同出来跪谢恩，他们才走，堂堂吏员重臣给下人跪，可见克尔家有多叛逆。

之后魏相升任丞相，这下克尔显更害怕了，前段时间自家奴才逼得他跪，而今这种情势对克尔家不利。正好此时文人误传克尔夫人是被害许皇后的凶嫌，克尔夫人非常害怕，向克尔家乡内都自白自己的罪行，克尔家乡内都听后惶恐不安，觉得克尔家要大难临头了，杜氏就在一起讨论，此番直到现在克尔家横竖都是死路一条，不如叛变造反。

克尔家人为了避免惨遭灭门之祸，私下策划谋害接洽，就让借上官太后之手除掉安帝副手，于是又废了安帝，扶克尔禹为帝，克尔家夺权还未夺权，他们的阴谋就泄漏了，吴山、克尔云畏罪自杀，杜氏被诛族，以前受到牵连的有好几千户人家，只有克尔皇后争得了性命。汉元帝将她打入冷宫，12年后克尔皇后自杀身亡。

以致于汉元帝的一养，安帝可谓是尝尽了现世疾苦，练功了他忠良的气质，继位之前他韬光养晦，平淡务实，在自己胜算不足时角色儿诸王的剧情，等到摄政时，为了壮大自己的威信，开始渐渐压制杜氏族，安帝靠着自己的智慧和忠良，将盘根在朝之前十几年的杜氏家族刮倒，在此之后安帝才似乎松了一口气，他于是又继续不能受到杜氏家族的支配。