这日，霍光召集群臣，在未央宫中向大家宣布了废帝一事。霍光对大家说道：“昌邑王昏庸无道，若任由他胡闹下去，江山社稷不保，你们说该怎么办？”文武百官见霍光将当今圣上称作昌邑王，都吓得腿似筛糠。田延年见状，站出来恐吓众人道：“先帝临终托孤，将江山托付给大司马，是因为大司马忠心耿耿，能够匡扶汉室。如果，汉室的宗庙毁在昌邑王手里，霍大人死后有何面目见九泉之下的先帝？今天谁敢不支持大司马，先问过我手中的宝剑！”

说罢，田延年仓啷啷拔出宝剑，怒视群臣。霍光恰到好处地说了一句：“各位不要担心，出现任何情况，我霍光愿负全责。”二人软硬兼施，文武百官没人敢提出异议，只能跪在地上齐声说道：“谨遵大司马令。”于是，霍光取出一份早就准备好的联名书，让大臣们在上面签名。

随即，霍光与上官太后联手废黜了刘贺。见自己竟被“辞退”了，刘贺仍不死心，还在狡辩：“书上说只要天子的身边有七个直言敢谏的忠臣，就算天子再荒淫无道，江山社稷仍无忧。”霍光根本不听刘贺的歪理，怒斥道：“你现在已经不是天子了，江山社稷也不是你的。”说罢，霍光将刘贺拉出皇宫，扯下他身上的御玺绥带。

刘贺进宫时，坐的是皇帝的车辇，被赶出皇宫时，坐的是牛车。刘贺坐在牛车中，看着离自己越来越远的未央宫，这二十七天的皇帝生涯就像是梦一样，一去而不复返了。