朝臣们担心刘贺要危害国家，使天下不安。霍光同群臣一起谒见禀告上官太后，详细陈述昌邑王不能继承皇位的情况。皇太后于是乘车来到未央宫承明殿，诏令各个宫禁门卫不要放刘贺的群臣进宫。

刘贺进宫朝见太后返回，准备坐辇车回到温室殿，宫中的黄门宦官各自手持门扇，等昌邑王进去后，就把宫门关上，刘贺的群臣就进不来了。刘贺问道：“这是干什么？”

大将军霍光跪下说：“皇太后有诏令，不让殿下的群臣进来。”

刘贺说道：“慢点来，为什么要弄得这么吓人！”

霍光派人将昌邑王的群臣全部驱逐出宫，集中在金马门外。车骑将军张安世率领羽林骑士拘捕捆绑了二百多人，都交给廷尉关在诏狱内。并命令原昭帝的侍中、中常侍看守昌邑王。霍光告诫他们道：“尔等要小心值班守卫，昌邑王如果突然死了或自杀，就会让我对不起天下人，背上杀害君王的罪名。”

刘贺这时还不知道自己要被罢黜，对身边的人说：“朕原来的群臣随员有什么罪，而大将军全把他们关押起来了？”

不久，太后下诏召见刘贺。刘贺听到要召见自己，心中开始害怕起来，于是说道：“朕犯了什么罪要召见朕？”

太后披着珍珠缀成的短袄，穿着盛装坐在布置有兵器的帷帐中，几百名宫廷卫士都拿着武器，期门武士持戟守卫台阶，他们都排列在殿下。群臣按顺序走进殿来，叫刘贺伏在前面听诏令。霍光同各位大臣一起联名奏劾刘贺，尚书令当庭宣读了弹劾奏章，细数刘贺即位以来种种不孝违法之行。

群臣认为高皇帝因为创建汉朝基业，所以称汉太祖，孝文皇帝因为仁慈节俭被称为太宗，如今昌邑王继承孝昭皇帝之后，行为放纵不合法度。《诗》说：‘籍曰未知，亦既抱子。’五刑的条文规定，罪孽没有比不孝更大的。周襄王不能侍奉好母亲，《春秋》就说‘天王出居到郑国’，因为他不孝而被赶出京城，使他与天下人隔绝。宗庙比君王更重要，刘贺没有到高庙接受大命，就不可以继承上天的意旨而奉祀祖宗宗庙、统治天下万民，应当废黜。

群臣请求有关官员御史大夫蔡谊、宗正刘德、太常苏昌和太祝准备一副太牢供品，将此事告祭于高庙。

皇太后下诏说：“准奏。”

霍光就叫昌邑王起来跪拜接受诏令，刘贺说道：“朕听说天子只要有争臣七人，即使无道也不会失去天下。”

霍光随后冷笑着说道：“皇太后已下诏令废黜，哪里还是天子！”

于是上前抓住他的手，解下他身上的玺印绶带，捧上交给太后，扶着昌邑王下了宫殿，走出金马门，群臣跟着送行。刘贺惶恐的向西面拜道：“朕愚昧不明事理，不堪担当汉朝的重任。”

起身坐上皇帝侍从的车辆。大将军霍光把昌邑王送到昌邑邸后，霍光告罪道：“您的行为自绝于上天，臣下等怯懦无能，不能自杀来报答您的恩德。臣下宁可有负大王，不敢对不起国家。但愿大王能够自爱，臣下将再也不能见到您了。”霍光哭着离开了刘贺。

群臣又上奏道：“古代被罢黜放逐之人都流放到很远的地方，不使他干扰国家政令，我们请求把昌邑王刘贺迁到汉中房陵县。”

太后诏令刘贺回到故国昌邑，并赐给他汤沐邑二千户，从前昌邑哀王刘髆的家财全给了刘贺。对昌邑哀王刘髆的四个女儿也各赐汤沐邑一千户，昌邑国被废除，降为山阳郡。昌邑国的群臣由于没有尽辅佐教导君臣之谊，使昌邑王误入歧途而获罪。

霍光就将他们全部杀了，共有二百多人。当这些人被拉出去处死的时候，都在街道中哭泣呼喊道：“哎，王上呀，当断不断，反受其乱。”

刘贺被废后，大将军霍光尊立汉武帝曾孙刘询为皇帝霍光的本意是打算立一个傀儡皇帝，自己来掌权。自小历经磨难的刘询，坐上御位后不久就明白了其中的玄机。按理说当了万人之上的皇帝，如有人对自己指手画脚，非立即出