太後喝止道：“別讀了！作為人臣、人子，竟敢如此狂悖淫亂！”昌邑王離開座位，跪在地上。尚書令繼續讀道：
昌邑王私自取出諸侯王、列侯、二千石官員的綬帶，墨綬、黃綬多條，讓昌邑國來的郎官佩戴，免去奴婢的身份。將符節上的黃色旄佩改成紅色。把禦用倉庫中的金錢刀劍玉器采繒取出來，賞賜給昌邑國帶來的官吏，以及和自己玩樂的侍從。昌邑王與隨從官員、官奴通宵達旦地飲酒取樂，沉迷於酒色。昌邑王詔令太官供上皇帝平常食用的飲食。食監奏報，在服喪期間，不能享用平常的飲食，昌邑王再次詔令太官準備食具，繞開食監。太官不敢按照平常的飲食辦理，昌邑王就讓隨從官員到宮外購買雞肉、豬肉，詔令殿門守衛不得阻攔，每天如此。在溫室殿，一天晚上單獨設置九儐禮，召見姐夫昌邑國關內侯。祖宗的寺廟、宗祠還沒有舉行祭禮，昌邑王就寫下璽書，派出使者持苻節，以三太牢禮祭祀昌邑哀王的園廟，稱自己是昌邑哀王的嗣子皇帝。接受印璽以來，一共二十七日，使者往來不斷，持苻節詔令長安的官署，交待辦理的事務，多達一千一百二十七件。文學光祿大夫夏侯勝等人，和侍中傅嘉多次勸諫，指出昌邑王的過失，昌邑王竟然派人審訊夏侯勝，將傅嘉捆綁，逮捕下獄。昌邑王荒淫無恥，利令智昏，已經不顧身為帝王的起碼禮儀，擾亂漢朝製度。臣楊敞等人多次勸諫，不知更改，日甚一日，恐怕照此下去，將會危及社稷，令天下人不安。
臣楊敞等人認真地和博士臣孔霸、臣雋舍、臣德、臣虞舍、臣射、臣後倉商議，大家都說：“高皇帝建功立業，最終成為漢太祖，孝文皇帝仁慈節儉，繼而成為太宗，現在的皇帝陛下應該是孝昭皇帝的後嗣，卻行為淫邪不軌。《詩經》中說：‘如果說你不懂事，你已經抱了兒子。’五刑之首，即為不孝。周襄王不能孝順母親，《春秋》中講：‘周天子逃往鄭國居住。’周襄王是因為不孝，才逃走，自絕於天下。帝王宗廟的位置要重於君王，陛下還沒有謁見高廟，不能夠繼承皇位，接受天命，奉祀宗廟，做萬民的皇帝，應該廢黜。”臣已經讓有關官員，陪同禦史大夫臣蔡誼、宗正臣劉德、太常臣蘇昌和太祝一起，用一個太牢禮，告祭過高廟。臣楊敞等人冒死稟告。
皇太後下詔說：“可以。”霍光讓昌邑王站起身來，拜受詔命，昌邑王說：“聽說天子有七位諍臣，即使天子無道，也不應該失去天下。”霍光說：“皇太後詔命，已經將你廢黜了，還稱什麼天子！”而後牽著昌邑王的手，將昌邑王身上配帶的玉璽、綬帶解下，捧上交予太後，扶著昌邑王下殿，出了金馬門，朝中群臣在後麵跟隨，一直送出去。昌邑王西向再拜，說：“我愚蠢、魯莽，不配繼承皇位。”起來之後，坐上皇上乘輿的副車。大將軍霍光一直把昌邑王送至昌邑國在長安的官邸，霍光向昌邑王謝罪道：“大王的行為自絕於天，臣等能力不夠，膽小懦弱，不能殺身報德。臣寧可負大王，不敢負社稷。願大王自愛。臣以後不能再隨侍在左右。”霍光哭著走了。朝中群臣上奏道：“上古時，遭到廢黜的人要流放至遠方，而且不能再幹預政事，奏請將昌邑王劉賀流放至漢中郡房陵縣。”太後下詔，讓劉賀回到昌邑，賜予劉賀湯沐邑二千戶。昌邑國來的群臣，由於沒有盡到輔導劉賀的責任，陷劉賀於淫亂，陷於不道德，霍光將昌邑國跟隨來的二百餘官吏隨從全部處死。在刑場上，這些人呼號道：“當斷不斷，反受其亂。”
霍光坐在朝堂上，與丞相以下官員商議，重新確立皇位繼承人。廣陵王劉胥此前已經被否定，不能再繼承皇位，燕刺王已經自殺，他的兒子也不在考慮的範圍內，皇帝的近親中，隻有衛太子的孫子，號稱皇曾孫的劉病已，現在仍然生活在民間，大家認為可以考慮。霍光隨即與丞相楊敞等人上奏，說：“按照禮製：‘人們的感情，由於愛親人，即會尊敬祖先，尊敬祖先，即會尊敬宗親。’在嫡係親屬中，沒有後嗣，可以在旁係子孫中選擇，選擇賢者作為後嗣。孝武皇帝的曾孫劉病已，在武帝朝，皇帝有遺詔，留在掖庭中撫養，現在已經十八歲，接受過《詩經》、《論語》、《孝經》的教育，躬行節儉，仁慈愛人，可以作為孝昭皇帝的後嗣繼承皇位，奉祀漢室宗廟，君臨天下。臣冒死奏報。”皇太後詔命：“可以。”霍光派遣宗正劉德到皇曾孫居住的尚冠裏，從家中迎接皇曾孫，沐浴過後，賜予禦衣，太仆用皇宮中使用的軡獵車載著皇曾孫，來到宗正府，首先齋戒，然後進入未央宮朝見皇太後，先受封為陽武侯。而後霍光捧上皇帝玉璽、綬帶，到高廟拜謁祖宗神位，這是孝宣皇帝。第二年，宣帝下詔，說：“褒獎德能，賞賜元功，是古今遵循的通義。大司馬大將軍霍光在宮中宿衛，忠誠、正直，宣德明恩，恪守節操，秉持道義，維護漢室的宗廟安危。以河北縣、東武陽縣加封霍光一萬七千戶食邑。”加上原有的食邑，霍光共享有食邑二萬戶。皇帝前後賞賜的黃金，共計有七千斤，錢六千萬，雜繒三萬匹，奴婢一百七十人，馬二千匹，甲等住宅一所。
在昭帝朝，霍光的兒子霍禹，霍光哥哥霍去病的孫子霍雲都已經是中郎將，霍雲的弟弟霍山擔任奉車都尉兼任宮中侍從，率領胡人、越人組成的漢軍。霍光的兩位女婿擔任東、西宮衛尉，昆弟中的女婿外孫，也可以參加朝廷的朝會，或者是擔任朝中的諸曹大夫，騎都尉，兼任給事中。霍氏在朝中，可謂是姻親、同宗，盤根錯節，牢牢掌控著朝中大權。霍光自從武帝後元二年秉持朝政，直到宣帝繼位時，此後，霍光請求將朝政歸還予皇帝，宣帝謙讓，沒有答應，朝中的各項政務仍然首先稟報霍光，然後再上奏宣帝。霍光每次朝見，宣帝總是以謙恭的態度對待霍光，以超過他人的禮節接待霍光。
在朝中，霍光前後執政二十年，宣帝地節二年（公元前68年）春天，霍光的病情加重，宣帝親自坐著禦車，來到家中問候，宣帝看著霍光的病情，不禁涕淚交流。霍光上書謝恩，說：“臣願意將自己的封邑，分出三千戶，分予哥哥霍去病的孫子奉車都尉霍山，奏請皇帝將霍山封為列侯，以奉祀哥哥驃騎將軍霍去病的家廟。”宣帝將此事交予丞相、禦史大夫辦理，當天拜霍光的兒子霍禹為右將軍。
霍光去世後，宣帝和皇太後親自到霍光家中來吊唁。太中大夫任宣與五位侍禦史，持苻節主持喪事。中二千石官員在霍光的墓塚旁，設立辦理喪事的幕府。朝廷賜予大量的金錢、繒絮，僅繡被就達一百領，衣服有五十篋，還有鑲有美玉珍珠的金縷玉衣，梓宮、便房、黃腸題湊各一套，樅木製造的外槨十五具。東園置辦的葬器，一律參照皇家的喪葬製度。載運霍光靈柩的轀輬車，使用的是皇家黃屋左纛規製，朝廷調集步卒，戰車部隊以及北軍五個營校的士兵，排列軍陣，一直排列到茂陵，為霍光送葬。霍光的諡號為宣成侯。朝廷征調三河郡的士卒，挖掘墓穴，然後複土堆起墓塚，在墓區建造祠堂，設置守護墓塚園邑三百家，按照舊例，由將軍幕府長丞管理。
喪葬完畢，宣帝封霍山為樂平侯，以奉車都尉身份兼領尚書事。宣帝感念霍光的功績，下詔說：“已去世的大司馬大將軍博陸侯霍光，在宮中宿衛孝武皇帝三十餘年，輔佐孝昭皇帝十餘年，昭帝駕崩後，霍光秉持義理，率領朝中的三公九卿大臣，重新確定皇位繼承人，安定社稷，使得天下百姓享受安寧的生活。其創下的功德茂盛，朕甚為嘉賞。免除霍光後代的徭役、賦稅，繼承封爵享受的食邑，世世代代免除賦稅和徭役，其建立的功勳與蕭相國相同。”第二年夏天，宣帝封太子的外祖父許廣漢為平恩侯。又再次下詔，說：“宣成侯霍光在宮中宿衛忠誠、正直，為國家勤勞奉職，褒揚善者，應該惠及後人，封霍光哥哥（霍去病）的孫子中郎將霍雲為冠陽侯。”
霍禹繼承爵位為博陸侯，霍光的夫人顯修改了霍光下葬時的墳塋規製，使其更加奢華。建起有三個門的石闕門，修築神道，北麵靠近昭靈館，南麵直達承恩殿，建造修飾祠堂，輦道一直通到永巷，將一些平民出身的奴婢幽禁在墓園守護。還大肆擴建樓堂館所，仿照皇家製度，製造乘輿輦車。用黃金描繪，加上錦繡的坐墊靠背，牛皮包裹車輪，以減少震動。顯坐在輦車上，侍奉的奴婢，用五彩絲帶拉著，在宅邸裏遊玩。此前，霍光信任的管家馮子都，常與霍光一起商議事情，霍光去世後，顯寡居，遂與管家馮子都通奸。霍禹、霍山同樣大肆整修宅邸，在平樂館賽馬追逐。霍雲在上朝侍奉皇帝的時間幾次請病假，托故外出，帶領賓客在黃山苑囿中張網捕獵，派蒼頭奴代替自己上朝謁見皇帝，沒有人敢指責霍氏家族的不是。霍光的夫人顯和幾個女兒，可以晝夜出入長信宮，毫無製度約束。
宣帝在民間時，就聽說過霍氏家族在朝中的威勢，霍光長期以來，不能約束家眷。霍光去世後，宣帝開始親理朝政，禦史大夫魏相兼領給事中。顯對霍禹、霍雲、霍山說：“你們還不維護大將軍創下的基業，現在的禦史大夫在皇上身邊擔任給事，如果此時有人挑撥離間，你們能說得清楚嗎！”再後來霍府、魏府兩府家奴爭道，霍氏家奴竟然闖入禦史大夫魏相的府邸，要踏平禦史大夫的大門，禦史大夫魏相因為此不得不叩頭謝罪，才最終罷休。有人將此事告訴霍家，顯等人才開始警惕、憂慮起來。此後不久，魏相被拜為丞相，宣帝多次召見，在閑暇時與魏相談論政事。平恩侯許廣漢和侍中金安上等人，也可以直接出入宮中。霍山當時仍然兼領宮中尚書事務，宣帝詔令，官吏百姓可以密封奏書，上奏朝廷，不需要再通過尚書遞交，朝中群臣可以單獨覲見皇上，霍氏家族開始感覺到危機，內心頓生不滿。
宣帝繼位後，立自己在民間娶的妻子許氏為皇後。顯很喜歡自己的小女兒成君，希望成君能夠顯貴，暗中指使產科醫生淳於衍下毒藥，暗害了許皇後，然後再勸霍光把成君送入後宮，立為皇後（詳情記載在《外戚傳》中）。許皇後突然暴崩，官吏逮捕了診病的醫生，指控淳於衍等人治療有問題，全部投入監獄，嚴加審訊。顯擔心事情敗露，將實情告訴了霍光。霍光聽完後大驚，就要自首，揭發妻子，想了想，又不忍心，猶豫不決。正好有關部門將審訊結果奏報，霍光即批示，對淳於衍不再追究。霍光去世後，淳於衍害死皇後的事情泄漏出來。宣帝聽到傳聞後，暫時沒有追究，隻是將霍光的女婿——度遼將軍未央宮衛尉平陵侯範明友改任為光祿勳，另外一個女婿——諸吏中郎將羽林監任勝，改任為京師外的職務，離開京師出任安定郡太守。幾個月後，宣帝又將霍光姐姐的丈夫光祿大夫兼任給事中張朔調離京師，改任為蜀郡太守，孫子輩的女婿中郎將王漢調離京師，出任為武威郡太守。不久，宣帝又將霍光的大女婿長樂宮衛尉鄧廣漢改任為少府。重新任命霍禹擔任大司馬，可以享受戴小冠的禮遇，但是沒有印綬，撤銷霍禹的右將軍職務，遣散霍禹原來掌握的士卒、官吏，隻是讓霍禹的職務與霍光一樣，享有大司馬名譽而已。又收繳了範明友度遼將軍的印綬，隻是擔任光祿勳。霍光的二女婿趙平，擔任散騎都尉兼任光祿大夫，有統領皇家騎兵的權利，宣帝隨後收繳了趙平的騎都尉印綬。所有統領胡、越騎兵、羽林軍及兩宮衛尉，以及率領漢軍的將領，宣帝都換成了皇室的親屬，由許氏、史氏子弟擔任要職。
霍禹擔任大司馬，有病在家。霍禹此前的一位屬下，長史任宣前來探望，霍禹說：“我有什麼病？皇上如果不是大將軍在世時扶持，怎麼會有今天，現在將軍的墳土未幹，皇上已經在疏遠將軍家人，隻是任用許氏、史氏，將我的印綬也收去，我至死都不明白，怎麼會變成了這個樣子。”任宣看到霍禹怨恨很深，就勸道：“大將軍的時代已經過去了！當年大將軍在世時，操持權柄，生殺大權在握。廷尉李種、王平、左馮詡賈勝胡以及車丞相的女婿少府徐仁，都是因為忤逆了大將軍的旨意，而被逮捕入獄，最後被處死。史樂成這個小子，出身貧寒，隻是因為大將軍喜歡他，最後做到了九卿，受封為列侯。朝中的百官以下，隻知道有馮子都、王子方，願意為其效力，對於丞相，他們根本就不放在眼裏。現在時代不同了，已經是許氏、史氏掌權的時代，許氏、史氏是天子的骨肉至親，因此而顯貴，不是也很容易理解嗎。大司馬為此而心生怨恨，我愚以為沒有必要。”霍禹聽了這番話，默不做聲。幾天後，又起來辦公。
霍光的夫人顯和霍禹、霍山、霍雲，眼見自己家族的權勢在一天天被削奪，幾次聚在一起相對哭泣，自怨自艾。霍山說：“現在朝中，丞相掌控著大權，皇上很信任魏相，把大將軍當年的政策法令都更改了，將公田的賦稅讓利予百姓，以此來顯示大將軍此前政策的失誤。還有很多儒生，原來出身貧寒，遠路來到京城，啼饑號寒，卻喜歡口出狂言，不避忌諱，大將軍最討厭這樣的人，現在陛下卻偏偏喜歡與這樣的人攪在一起，喜歡聽他們談論時政，這些人就乘機上書言事，在上書中，肆意攻擊我們霍家。曾經有人上書說，大將軍在世時，主弱臣強，大將軍專橫擅權，將自己的子孫安排在朝中擔任重要職務，昆弟驕橫跋扈，擔心危及到宗廟社稷，多次出現災異，就是因為這些原因造成的。其言語非常刻毒，我壓住這封上書，沒有奏報，以後上書的人，則變得更加狡猾，將上書密封，皇上則讓中書令直接取走上書，不再通過尚書奏事，對我更加不信任。”顯問：“丞相總是在說我們霍家的不是，丞相就沒有一點問題嗎？”霍山說：“丞相廉潔、正直，那裏有罪？我們家的子弟女婿，也太不爭氣，做事不考慮後果。民間還有人傳說，說霍家人當年害死了許皇後，真有此事嗎？”顯一聽到此話，有些慌了，就將實情告訴了霍山、霍雲和霍禹。三個人一聽，大驚失色，問道：“真是這樣啊，為什麼不早點兒告訴我們！皇上將霍氏親屬統統調離重要崗位，將霍家的女婿調離京城，原來就是因為這個呀。這可是大事，要殺頭的，這該怎麼辦？”於是一家人開始商討對策。
當初，趙平有一位門客，懂得天文星相學，對趙平講：“熒惑星（火星）侵犯了禦星，禦星，對應著朝中的太仆、奉車都尉，這表明他們將要受到貶黜，或者是將要有殺身之禍。”趙平為霍山等人擔憂。霍雲的舅舅李竟，有一位好朋友名字叫做張赦，張赦看到霍雲一家人，終日惶恐不安，對李竟說：“現在是丞相魏相和平恩侯許廣漢在朝中掌權，可以讓太夫人轉告皇太後，先將此二人殺掉。然後廢掉天子，這隻是太後一句話的事情。”長安有一位男子名字叫做張章的，告發了此事，案件交予廷尉審理。執金吾遂逮捕張赦、石夏等人，後來宣帝有詔，停止捕人。霍山等人更加惶恐，在一起商量說：“這是皇上不希望讓太後難堪，所以沒有將這件事情追查下去。可是陰謀已經暴露，還有當年害死許皇後的事情，陛下即使寬恕，恐怕還有左右的大臣，他們一旦不放過，時間久了，還是要追查，一旦查出來，哪可是滅族的重罪，不如先下手為強。”遂讓霍家的女人，回家後告訴自己的丈夫前後經過，以及此後的計劃，大家都說：“是禍躲不過，此時不動手，還等什麼？”
正好李竟因為私下裏與諸侯王勾結，有來往，被逮捕下獄，供詞中涉及到霍氏家族，宣帝遂下詔，霍雲、霍山不宜再在宮中擔任宿衛，將他們免去職位，回到家中。同時對霍光的幾個女兒在太後麵前無禮，馮子都多次犯法，在詔書中一並譴責，霍山、霍禹等霍氏家族中的人，更加惶恐不安。顯夢見自家院子中的井水溢了出來，流到大庭的下麵，做飯的爐灶跑到樹上，又夢見大將軍在夢中對顯說：“知道要逮捕你們嗎？馬上就要動手了。”家中的老鼠突然多了起來，大白天與人在屋子中相撞，用尾巴在地上描畫。貓頭鷹也飛到殿前的樹上鳴叫。大門自動壞掉了。霍雲在尚冠裏的住宅中門也壞了。住在巷子入口的人家，看到有人爬到霍雲的房頂上，向下扔瓦片，到了跟前一看，什麼也沒有看到，大家都感到奇怪。霍禹夢見有車輦、騎馬的聲音，正喧鬧著要來逮捕霍禹，醒來以後，舉家憂愁。霍山說：“丞相擅自減少宗廟祭祀用的羊羔、兔子、青蛙，可以將此作為丞相的一宗大罪。”他們於是暗地裏策劃，讓太後為宣帝的外祖母博平君設置酒宴，召丞相魏相、平恩侯許廣漢等人前來赴宴，讓範明友、鄧廣漢假傳太後的旨意，將他們斬首，隨即廢掉天子，立霍禹為皇帝。計劃還沒有開始，霍雲被任命為玄菟郡太守，太中大夫任宣擔任代郡太守。霍山又因為抄錄宮中的機密獲罪，顯此時不得不上書，向朝廷獻出城西的住宅，和一千匹馬，用來贖霍山的罪。上書遞上後，霍家的陰謀隨後被人揭發，霍雲、霍山、範明友自殺，顯、霍禹、鄧廣漢等人被逮捕。霍禹被腰斬，顯和霍家的女眷、昆弟被殺頭示眾。隻有霍皇後活了下來，也因此被廢，住在昭台宮。受到霍氏謀反案的牽連，被抓被殺的，有幾千家。