這可就嚴重了，現在他還未正式即位就這樣對老同誌不尊重，將來坐穩了位子，老同誌們還不一個個全被他踢到一邊涼快？而從昌邑來的他的那幫狐朋狗友則要占據廟堂，天下將成為他們的天下，霍光他們都將被那夥昌邑人踩在腳下，霍光他們怎能接受！
霍光暗暗下了決心，這小子必須換掉！
換掉皇帝，對霍光來說隻是一句話的事。但操作卻不能那樣操作，那樣不合禮製，他霍光可不想被人指責成跋扈凶臣。
他找大司農田延年商議，歎氣說：“唉，我們選昌邑王來當皇帝看來是個失策，你看這小子做點個事，哪是當皇帝的料啊？”
田延年說：“將軍乃國家之柱石，您覺得他不適合當皇帝，何不奏明太後，另立賢君？”
霍光說：“我確有此意，隻是不知曆史上可有此類先例？”
田延年一聽這問，心裏暗笑，霍光讀書極少，因而，那些飽學儒臣私下裏常常譏笑他不學無術，看來他肚裏確實沒什麼墨水。
不過，田延年臉上沒表露出來，正色答道：“有啊，商朝的商王太甲無道，他的宰相伊尹就把他流放，因而保全了商之江山，被後世稱為忠臣。現在，將軍若也能這麼做，那就是漢之伊尹啊！”
霍光見田延年完全支持他，就以上官太後的名義給田延年加了個“給事中”的加官，使他可以出入宮廷，以便於跟霍光商議大計。
接著，霍光又詢問另一位重臣，車騎將軍張安世。張安世也堅決地支持霍光。
於是，霍光就召集丞相、禦史、將軍、列侯、中二千石、大夫、博士在未央宮召開大會，討論廢黜劉賀之事。
霍光首先發言：“昌邑王行為昏亂，立他為君，恐怕危及社稷，大家看，該怎麼辦？”
這是什麼話？這是要搞廢立啊！昌邑王的行為確實有些荒唐，雞毛蒜皮的小錯誤是犯了一大堆，可畢竟也沒犯什麼大錯誤不是？這就要廢掉他？雖然他們也知道劉賀不信用大家，隻信用那幫昌邑人，但絕大多數朝臣現在也都不受重用，換誰當皇帝對他們的前程都沒什麼大影響，隻有霍光等幾個地位顯赫的才對這事最關切。
因此，大臣們一齊麵麵相覷，閉口不言。茲事體大，說錯了話，可不是鬧著玩的！
關鍵時刻，田延年出來唱紅臉了！他是從一介小吏，被霍光一手提拔成常委的，當然要回報霍光！
他站起來，一臉凶相，朝著霍光跨出一大步，手按劍柄，厲聲地說：“孝武皇帝臨崩，把他兒子和天下一起托付給了將軍，是因為將軍忠貞賢良，能夠保全劉家的天下！現在國家有危，若所立之君不賢，令漢家宗廟絕祀，將來將軍死後有何麵目去見先帝？”
說到這裏，他鷹隼般的目光冷冷地掃視著群臣，大聲喝道：“這事不能再拖延了，今天就要作決定！誰若不支持廢立，請讓我用劍斬了他！”
大臣於是眾口一詞地說：“唯大將軍令！”
於是，霍光馬上帶同群臣一起謁見上官太後，向她稟告劉賀不堪為人君的情況。
上官太後名為太後，實際上隻是個什麼都不懂的小丫頭片子，傀儡一個。霍光怎麼說，她就怎麼做。
上官太後乘車來到未央宮承明殿，詔令各個宮禁的守門衛士不許放昌邑王的那夥人進宮，然後召劉賀單獨來朝見她。
劉賀來了，朝見完太後之後，就在他的那幫侍從簇擁下坐上輦車，回他所住的溫室殿。
他的輦車剛進宮門，把守內宮門的中黃門宦官就立即把宮門關上，上了門栓，把他的那幫昌邑來的侍從近臣全部關在了宮外。
劉賀驚異地問：“這是幹什麼？”
這時霍光走了出來，朝他跪下，奏道：“皇太後有詔，不許昌邑王的群臣入宮！”
劉賀明明已經是太子了，霍光此時卻突然稱呼他昌邑王，這很反常，再想到剛才自己的玩伴們被關在門外的事，劉賀頓時預感到，有不好的事情要發生了！慌忙說：“慢來，幹嗎搞得這麼嚇人啊？”
霍光下令，將昌邑群臣全部驅逐出皇宮，把他們集中在金馬門外。
車騎將軍張安世率領羽林軍把昌邑來的那幫人全部驅趕到金馬門外，一一捆綁拘捕。一共捆了200多人，都交給廷尉關進了詔獄。
霍光命令原先昭帝時期的侍中和中常侍（皇帝近臣）看守住劉賀，說：“你們要小心看守，昌邑王如果突然死了或者自殺了，就會讓我背上殺君的罪名，我就對不起天下人了，也說不清了！”
劉賀這個長不大的孩子，情商也確實掉線得厲害，到這時還不知道自己將要被廢黜了，還在關心他從昌邑帶來的那群寶貝玩伴。
他對看守他的人說：“我原來的群臣隨員有什麼罪？大將軍為何要把他們全關押起來？”
很快，上官太後下詔召見劉賀。
劉賀心想，我剛朝見過她，怎麼忽然又要召見？再想到自己的隨員近臣已全被抓起來了，頓時恐慌起來，說：“我犯了什麼罪要召見我？”
劉賀被看守他的侍中和中常侍們押著來見太後。
太後披著綴滿了珍珠的短襖，盛裝端坐在武帳之中。數百名衛士都手執兵器站列在武帳周圍，期門衛隊持戟守衛在殿下和台階兩旁。
群臣按官階高低的順序依次入殿，然後，劉賀被押進了殿。他一進殿就被喝令跪伏聽詔。
隨即，霍光和眾大臣一一出班彈劾昌邑王。
接著，尚書令宣讀了群臣聯名彈劾昌邑王的奏章，細數了劉賀即位二十七天來的種種不孝違法之舉，請求廢黜他的皇太子之位，並請求派禦史大夫、宗正、太常、太祝等官員，帶著一副太牢，去高祖廟把此事告訴劉邦的在天之靈。
上官太後下詔：“準奏。”
霍光馬上叫劉賀起來跪拜接受詔令。
劉賀說：“我聽說，天子隻要有七個諍臣，即使無道也不會失去天下。”
這句話是儒家經典《孝經》上說的，“聞天子有爭臣七人，雖無道不失天下。”是說善於向天子提意見的諍臣的重要性。