心惊的又何止霍成君与邴吉，当霍禹将这事当成一个笑话讲与霍显听时，霍显的面色变了又变，可惜霍禹仍未察觉什么，只一味说着自己心中所想：“那个乌孙的使者管得未免太多了，一个死了的人还有什么可说的，陛下也是，人都走了四五年了，还有什么可查的？”
霍禹说着说着，下人却是来报那位乌孙使者在门外求见，虽然心中纳闷，碍于礼节，霍禹还是见了此人。
“右将军，在下可否替解忧公主为大将军上一炷香，聊表公主心意，大将军之信公主已收到，想两年前来大汉，知大将军亡故，公主亦感悲痛，愿以清香敬旧人情。”乌孙使者言辞恳切，霍禹自然不会阻止，不过是上柱香的事，也没必要阻止。
饶是没什么心事的霍禹，此时也感到了一股悲戚之意，终是人事不如旧，心中竟也惆怅起来，而令他更为惆怅的远在后边。
这年十月，刘病已下了一道诏书，诏书言：九月十七大震，乃上天警示，皆是吾之过失，望贤良方正何直言进谏之人可以匡扶吾之过失；因吾不得，不能使远方的蛮夷部落归附大汉，多年来边境的屯戍事务一直未能停歇，如今又增兵加强边塞屯戍力量，实乃劳民之举，不利于天下的安定，因而解散车骑将军张安世与右将军霍禹两支屯戍部队！
并将皇家未使用的池苑借与贫苦百姓，使他们可在其中从事劳作；郡馆不必再修缮，返回原籍的流民，由官府借公田，贷种子、粮食与他们，且免除其赋税徭役。
这道圣旨不同的人看的感觉自是不一样的，百姓看到的是，刘病已的仁慈与圣明，而张安世、霍禹及朝中人看到的是，刘病已对于张安世和霍禹兵权的削减，张安世倒还好，即便没了这屯戍部队的兵权，也是朝中至高之位，但霍禹心里边却又来了气，连手中这点兵权都被刘病已收走了，加之先前取消了副本只说，霍禹与霍山两人好似只挂了个空职一般，任凭霍禹心再大，这时也察觉到一些不同寻常之处，只觉刘病已是在针对霍家。
与霍家相反的是，刘病已闲暇之时召见魏相与许广汉的时间却是越来越多，魏相在朝中提出的许多建议，也多被刘病已采纳，就连萧望之的也是如此，霍家好似慢慢从朝廷的重位中慢慢退出。
而这也只是一个开始，未过几日，魏相又向刘病已上书：前大司马大将军录尚书事宣成侯执政之时有许多规矩已不合如今之情形，主要有三，其一，宣成侯不注重读书人，不使其参政，使天下儒生心有怨言；其二，尚书府衙可预先查看朝臣奏章，使丞相御史大夫也无法直言，况其他人乎，此乃越权之举；其三宣成侯放任军队屯垦，使有田延年等贪污之人出现，地方将领更是十几年未换，长此以往，更易招致祸乱，望陛下明鉴，去除弊端，还大汉以清明，如此大汉定可昌盛千秋！
刘病已问向朝中人如何看待此事时，却无人敢多言什么，谁人不知魏相乃是刘病已的心腹，魏相之言刘病已也未发怒，自然明白这当中的意思，可又不好明着得罪了霍家，刘病已略一思索后，便道：天意示警，朝中制度确有不尽人意之处，今日起，所有奏章不必再经尚书之手，皆传于吾亲阅，朝臣若有何事，可命人通报求见禀报，朝中职务也该有所调换；命度辽将军、未央卫尉、平陵侯范明友即刻调任光禄勋；中郎将、羽林监任胜调离长安城，任安定太守。
这事霍家虽有不满，可也不能说了，总不能当朝驳了陛下的面子，可调任之事远还未结束，又过几日，刘病已又将给事中光禄大夫张塑调离长安城，任蜀郡太守，将中郎将王汉调任武威太守，长乐卫尉邓广汉调任少府，称病许久的张安世为卫将军，统领未央、长乐两宫卫尉与长安十二门戍卫及北军，任命霍禹为大司马，而只能戴小官帽，无印信、绶带，撤除霍禹先前统领的屯戍部队与官属，紧接着，范明友度辽将军印信和绶带也收回，仅留光禄勋一职，散骑、骑都尉、光禄大夫赵平统领的屯戍军队的骑都尉印信和绶带也收回，并且将统领胡、越骑兵，羽林及未央、长乐两宫的戍卫，皆以亲信与史许两家子弟任之。
至此，曾在霍家的兵权，刘病已对霍家最后的忌惮，都回归到了他自己手中，霍家则空有官职无实权，已然被刘病已架空。
“哪有椒房殿赏赐多，皇后大方，陛下的恩典也不少，我们兰林殿这不过是偶尔罢了。”
“陛下这些日子都在你们宫中，赏赐又多，我看你近来也得的赏赐也不少。”
“你可莫说椒房殿了，霍家现在是什么情况几人不知，也就椒房殿那位自己还端着，谁知哪一日也如前朝陈废后那般……”
宫女的闲谈皆被霍成君收入耳中，不过却是在闻声后，绕道而行了，也未予追究，她们说得何尝无理？霍成君的日子已经随着霍家的失势，愈发不好过，宫中之人也越发没了先前的尊重，只是在她哀求之下，刘病已还是答应让她见见即将离长安至他方上任的任胜、张塑，连霍成君自己也没想到她会在刘病已面前放下了所有的骄傲，就这样屈膝而跪，磕着响头让他容自己见见或许再难相见的两人。