霍光想讓皇後獨自享受昭帝的寵愛，為昭帝生下兒子。昭帝此時身體已經不好，經常生病，左右侍從和太醫順從霍光的意思，說皇帝應該節欲。即使宮中的侍女，也要她們把褲襠縫起來，還要配上多條腰帶，後宮中的女子難以與昭帝親近。
上官皇後在位十年，昭帝駕崩，皇後這一年隻有十五歲。昌邑王劉賀受征到長安即皇帝位，尊皇後為皇太後。此後霍光與太後共謀又廢黜了劉賀，而後擁立孝宣皇帝。宣帝即位後，尊上官皇太後為太皇太後。在位四十七年，享年五十二歲，元帝建昭二年（公元前37年）駕崩，與昭帝在平陵合葬。
衛太子史良娣，是宣帝的祖母。太子的妻妾有三等，她們是妃，良娣，孺子，生下來的兒子都稱為皇孫。史良娣本來是魯國人，母親叫貞君，哥哥叫史恭。在武帝元鼎四年被納入太子家為良娣，生下一個兒子叫做劉進，號稱史皇孫。
武帝末年，巫蠱冤案驟起，衛太子和史良娣、史皇孫劉進先後在巫蠱案中遇害。史皇孫有一個兒子，號稱皇曾孫，在當時還隻有幾個月，也因為太子的誣蠱案，被關在監獄中，五歲時遇上大赦。負責監獄的官員丙吉可憐皇曾孫劉病已身邊已經沒有親人，將皇曾孫送往史恭的家中。史恭的母親貞君年紀老了，看到孫兒孤苦伶仃，非常可憐，遂親自撫養。
再後來，按照武帝遺詔，皇曾孫劉病已（劉詢）由掖庭撫養，最終劉病已（劉詢）登上皇帝的尊位，這是宣帝。此時貞君和史恭已經先後去世，史恭的三個兒子均以舊恩受封為列侯，長子史高受封為樂陵侯，史曾受封為將陵侯，史玄受封為平台侯，史高的兒子史丹以功德受封為武陽侯，史氏家族有四人受封為列侯。史高官至大司馬車騎將軍，史丹為左將軍，都有自己的傳記。
史皇孫的妻子王夫人，是宣帝的母親，名字叫做翁須，武帝太始年間（公元前96-前93年），翁須受到史皇孫的寵幸。皇孫的妻妾沒有名號，都叫做家人子。武帝征和二年（公元前91年），王夫人生下宣帝。宣帝生下後幾個月，衛太子、史皇孫先後遇害，家人子也受到株連，全部被殺，甚至沒有人敢收屍埋葬，隻有宣帝得以保全。等到宣帝繼位後，追尊母親王夫人諡號為悼後，祖母史良娣為戾後，重新改葬，修建墓園，當地的長丞奉命管護（詳情記載在《戾太子傳》中）。宣帝地節三年（公元前67年），宣帝找到外祖母王媼，王媼和大兒子王無故、小兒子王武跟隨著使者，來到長安皇宮中。當時乘著黃牛車，百姓因此稱王媼為黃牛嫗。
當初，宣帝即位後，多次派出使者尋找外祖母家，因為時間已經過去得太久遠，很多事情已經似是而非。後來找到王媼，宣帝詔令太中大夫任宣與丞相、禦史大夫一起向鄉裏認識的人盤問，都說這就是王嫗。王嫗說自己的名字叫做妄人，家裏原來是涿郡蠡吾縣（今河北省保定市博野縣）平鄉人。十四歲時，妄人嫁予同鄉王更得。王更得去世後，妄人又嫁予廣望縣人王迺始，生下兒子王無故、王武、女兒翁須。翁須在九歲時，寄居在廣望縣節侯的兒子劉仲卿家裏，劉仲卿對王迺始說：“把翁須交給我撫養吧，我把她養大成人。”王媼為翁須做了絹衣，送到劉仲卿的家裏。劉仲卿教翁須歌舞，曾經為翁須來家中取過冬衣、夏衣。過了四五年，翁須回來說：“邯鄲來的賈長兒想買一位會唱歌跳舞的女孩兒，劉仲卿要將我賣給他。”王媼一聽此話，即與翁須逃走，逃往娘家平鄉。劉仲卿用牛車載著王迺始一起來找王媼，王媼又氣又急，隻得將翁須帶回家去，王媼指責劉仲卿說：“我的兒住在你家裏，沒有拿過你一個錢的聘禮，你為什麼要把她賣給別人？”劉仲卿騙王媼：“我不會賣的。”過了幾天，翁須坐著賈長兒的車子經過家門，喊著媽媽說：“我還是被帶走了，要去柳宿邑。”王媼和王迺始趕到柳宿邑，抱著翁須相擁而泣，對翁須說：“我要告劉仲卿拐賣我的女兒。”翁須說：“媽媽，算了吧，在哪一家不是過？你就是告了，又有什麼用。”王媼和王迺始回來籌錢，想贖回孩子，返回後又追到中山國的盧奴縣，看到翁須與五個年齡相仿、也會唱歌跳舞的女孩兒住在一起，王媼和王翁須陪著她們一起住。第二天，王迺始留下來照顧翁須，王媼又回來籌錢，要跟著她們一起到邯鄲去。王媼回到家中，該賣的東西都賣光了，還是沒有籌齊錢，此時王迺始返回家，告訴妻子：“翁須她們已經走了，我身上沒有錢，隻能看著她們離開。”從此以後杳無音訊，直到今天，始終沒有孩子的下落。賈長兒的妻子貞和歌舞教師繼續往下講述：“在此前的二十年，太子家中舍人侯明從長安來，要買幾個能歌善舞的女孩兒，看中翁須等五個女孩兒。賈長兒讓妻子將這五個女孩兒送往長安，進了太子家。”結合廣望縣三老更始的解釋，劉仲卿的妻子以及其他四十五人的前後敘述，已經查驗清楚，悼後的家人可以確定。任宣上奏，王媼就是悼後的母親，確認無疑，宣帝遂召見母親的外家，賜王無故、王武關內侯爵，十幾天內，賞賜的金錢達到千萬。不久，宣帝又製詔書予禦史中丞，賜外祖母尊號為博平君，將博平、蠡吾兩縣一萬一千戶作為外祖母的湯沐邑。封舅舅王無故為平昌侯，王武為樂昌侯，每人享受食邑達六千戶。
後來，王迺始在宣帝本始四年（公元前70年）因病去世，又過了三年，家裏已經富貴，宣帝追封王迺始諡號為思成侯。下詔在涿郡修建墓塚，設置墓園，安排四百家民戶守護祭掃墓園，當地長丞奉命管護。一年後，博平君去世，諡號為思成夫人。宣帝下詔，在奉明顧成廟南邊與思成侯合葬，在此地重新設置墓園和負責祭掃的長丞，撤消涿郡的思成園。王氏家族受封為列侯的有二人，王無故的兒子王接後來做到大司馬車騎將軍，王武的兒子王商後來官至丞相，有自己的傳記。
孝宣許皇後，是元帝的母親。許皇後的父親名字叫做許廣漢，昌邑國人，年輕時是昌邑王的郎官。跟隨武帝遊幸至甘泉宮，誤取走其他郎官的馬鞍，安放在自己的坐騎上，被發覺，官吏以偷盜罪論處，要判處死刑，武帝有詔，赦免死罪，推下蠶室，實施了腐刑。後來許廣漢在宮中做到宦者丞。上官桀謀反時，許廣漢部署搜查罪證，在宮中上官桀住的廬舍裏，發現了幾千條長達數尺可以綁人的繩索，裝滿了一個密封的櫃子，許廣漢當時搜查時，沒有發覺，而其他官吏找到了。許廣漢因為此而被判為鬼薪刑，罰在掖庭做苦工，後來又來到暴（pù）室做嗇夫。奉武帝遺詔，宣帝由掖庭撫養，號稱皇曾孫，與許廣漢同住在一個宿舍。當時的掖庭令是張賀，張賀原來是衛太子的家吏，太子敗亡之後，張賀受到牽連，被實施了腐刑，因為曾經在太子身邊，感念太子的舊恩，對皇曾孫非常愛護。等到皇曾孫長大成人，張賀打算將自己的孫女嫁給皇曾孫。在當時，昭帝剛加冠，身高八尺二寸。張賀的弟弟張安世在朝中擔任右將軍，與大將軍霍光同朝輔政，聽說張賀稱讚皇曾孫，還想把孫女嫁給他，張安世發怒，說：“皇曾孫是衛太子的後代，幸得以在掖庭中以平民身份得到撫養，這就足夠了，不要再提將孫女嫁給他的事。”張賀隻好作罷。當時許廣漢也有一個女兒，名字叫做許平君，年紀十五歲，曾經許配給內者令歐侯氏的兒子。正要完婚，歐侯氏的兒子病死。許平君的母親占卜，為女兒看相，說女兒將要大貴，母親很高興。張賀聽說許嗇夫有這樣一位女兒，就擺設酒宴宴請許廣漢，酒酣耳熱後，張賀對許廣漢說：“皇曾孫是皇上的近親，雖然現在是下人，將來起碼可以受賜為關內侯爵，你應該將女兒嫁給他。”許廣漢答應了。第二天他的妻子知道此事，大怒。許廣漢說媒人是自己的上司掖庭令，還是決定將女兒嫁給皇曾孫，一年後生下元帝。元帝幾個月時，皇曾孫繼位為皇帝，封許平君為婕妤。在當時，霍光將軍也有一個女兒，又與皇太後是親屬。朝中公卿們在議立皇後時，都認為宣帝可以娶霍將軍的女兒，立為皇後，隻是沒有人先開口。宣帝下詔，要尋找在民間時的一把劍，大臣明白了宣帝的意思，遂奏請立許婕妤為皇後。宣帝立了許皇後之後，霍光認為皇後的父親許廣漢是受過腐刑的人，不宜受封為列侯，享有封國，一年後宣帝封許廣漢為昌成君。
霍光的夫人顯總想讓女兒尊貴，卻想不出好辦法。第二年，許皇後妊娠，將要生產時患病。女醫生淳於衍，是霍光夫人的密友，曾經在宮中伺候過許皇後的疾病。淳於衍的丈夫是宮中掖庭門衛，對淳於衍說：“你去霍夫人家裏時，為我請求官職，我想擔任安池監。”淳於衍果然將丈夫囑托的話告訴了顯。顯因此而留心，避開身邊的人，喊著淳於衍的字，說：“少夫假若能夠滿足我的要求，我自然也會報答少夫，怎麼樣？”淳於衍說：“夫人的話，誰敢不聽，有什麼吩咐！”顯說：“將軍一向寵愛小女兒成君，想讓她出人頭地，此事還要少夫來幫忙。”淳於衍說：“我能幫什麼忙？”顯說：“婦人分娩，是一場災難，九死一生。現在皇後就要分娩，你可以在此時投毒下去，一旦大功告成，成君就可以成為皇後。如果事情辦成了，還能少了少夫的富貴。”淳於衍說：“藥煮好以後，醫生要先嚐一下，這怎麼可以？”顯說：“事情的安排，全在少夫手中。將軍統領天下，到時候誰敢講話？如果有了差池，將軍自然會站出來保護，隻怕少夫不肯做吧！”淳於衍沉思良久，然後說：“我願意赴湯蹈火，盡力而為。”隨即淳於衍將毒藥附子搗碎，帶入長定宮。皇後分娩後，淳於衍取出附子合在太醫製成的大丸中，伺候皇後隨水喝下。過了一會兒，皇後說：“我的頭很痛，心胸煩悶，藥中是否有毒？”淳於衍回答：“藥中不會有毒。”過了一會兒，皇後更加煩躁，隨後駕崩。淳於衍趕忙退出來，來稟告顯，顯安慰淳於衍，但也不敢在當時就重謝淳於衍。後來有人上書，認為這些醫生和伺候病人的侍者有害死皇後的嫌疑，宣帝將所有涉及的人逮捕，投入詔獄，判她們為不道罪。顯此時驚慌失措，害怕淳於衍招供，就將事情的前後經過告訴了霍光，同時囑咐霍光：“既然事情已經到了這個地步，就別再讓官吏再逼問淳於衍了！”聽了事情的前後經過，霍光驚得目瞪口呆，沉思良久，一言不發。再後來上奏宣帝，不要再追究淳於衍的責任。
許皇後在位三年後駕崩，諡號為恭哀皇後，葬在宣帝的陵寢地杜陵的南邊，就是杜陵南園。此後第五年，宣帝立皇太子，封太子的外祖父昌成君許廣漢為平恩侯，在朝中享受特進待遇。又過了四年，再次封許廣漢的兩個弟弟，許舜為博望侯，許延壽為樂成侯，許氏家族中受封為列侯的有三人。許廣漢去世後，諡號為戴侯，沒有兒子，撤消封國。葬在杜陵南園的旁邊，設置墓園，安排三百家民戶祭掃守墓，當地的長丞奉命管護。宣帝任命許延壽為大司馬車騎將軍，在朝中輔政。元帝即位後，又封許延壽的二兒子許嘉為平恩侯。過繼給戴侯為繼嗣，許嘉後來也擔任了大司馬車騎將軍。
孝宣霍皇後，大司馬大將軍博陸侯霍光的女兒。母親顯，指使淳於衍陰謀殺害許皇後以後，顯就開始為成君製作嫁衣，準備入宮的用具，勸霍光將女兒送入宮中，此後不久，宣帝立霍成君為皇後。
最初許皇後出身卑微，登上皇後位置的時間很短，所使用的乘禦服飾都很儉樸，五天到長樂宮朝見皇太後一次，親自為皇太後端飯，擺上食案，遵從婦道，謹守禮儀。霍皇後被立為皇後以後，也學著許皇後的樣子去做。皇太後是霍皇後姐姐的女兒，因此對皇後很尊敬，常小心謹慎地對待皇後，敬而禮之。皇後的乘輿侍從很威風，皇後賞賜下麵的官屬，常常以千萬計，與許皇後在位時有天壤之別。宣帝也很寵愛霍皇後。讓她享受專房之樂。三年後霍光去世。又過了一年，宣帝立許皇後生的兒子為太子，昌成君為平恩侯。霍皇後的母親顯氣得吃不下飯，甚至氣得吐血，說：“這是民間生的兒子，怎麼能夠立為太子？等到皇後以後生了兒子，豈不是隻能封為諸侯王啦！”就又教唆皇後毒死太子。皇後多次召太子賜食，但侍奉太子的保姆都要接過來先嚐一嚐，再後來，挾毒害死太子的陰謀就行不通了。此時，當年殺害許皇後的事情敗露，顯和她的幾個女婿，還有家族中的兄弟密謀造反，被及時發覺，宣帝將謀反的人全部逮捕，投入監獄，霍氏家族遭到滅族。宣帝派有關官員賜予霍皇後冊書，說：“皇後不遵守婦道，心懷邪念，與母親博陸宣成侯夫人顯一起，陰謀挾毒害死皇太子，沒有做母親的資格，不宜再奉祀宗廟，不能再承受天命。嗚呼哀哉！貶入冷宮居住，交還皇後璽綬。”霍皇後在位五年，廢黜後住在昭台宮。又過了十二年，遷到上林苑的雲林館，隨後自殺，葬在昆吾亭的東邊。
當初，霍光和哥哥驃騎將軍霍去病都是因為功勞，得以受封為列侯，享受尊位，宣帝因為霍光的緣故，封了霍去病的孫子霍山、霍山的弟弟霍雲為列侯，霍氏家族中受封為列侯的前後有四人。
孝宣王皇後。她的先祖在高祖朝，因為有功受賜關內侯爵，從沛縣遷至高帝的陵寢地長陵縣居住，侯位傳到王皇後的父親王奉光。王奉光少年時喜歡鬥雞，宣帝在民間時，多次與王奉光因為鬥雞而會麵，結為朋友。王奉光有一位女兒，當年十幾歲，每次許配人家，就在要出嫁時，男方就死了，很久嫁不出去。宣帝即位之後，召入後宮，封為婕妤。在當時，館陶王的母親華婕妤和淮陽憲王劉欽的母親張婕妤、楚孝王劉囂的母親衛婕妤都正在宮中受到宣帝的寵愛。
霍皇後被廢之後，宣帝可憐許太子過早地失去母親，又幾次險些被霍氏所害，於是打算挑選後宮中一位謹慎而又沒有生育過的婕妤，立為皇後。最後選中了王婕妤，詔令王皇後作為母親，撫養皇太子。自從被立為皇後，王皇後就再難以得到宣帝的寵幸。宣帝封王皇後的父親王奉光為邛成侯。立為皇後第十六年，宣帝駕崩，元帝即位，王皇後成為王皇太後。元帝封太後的哥哥王舜為安平侯。又過了兩年，王奉光去世，諡號為恭侯，葬在長門的南邊，設置墓園，安排兩百家民戶守護祭掃墓園，當地的長丞奉命管護。元帝駕崩，成帝即位，王皇太後為太皇太後。成帝賜太皇太後的弟弟王駿關內侯爵，食邑一千戶。王氏家族中受封為列侯的有兩人，受賜關內侯爵的一人。王舜的兒子王章，王章的堂弟王鹹，都先後在朝中擔任過左右將軍。當時成帝的母親也姓王氏，因此世人稱王太皇太後為邛成太後。
邛成太後在位四十九年，享年七十幾歲，成帝永始元年（公元前16年）駕崩，葬在宣帝的陵寢地杜陵，稱為東園。王奉光的孫子王勳因為犯法而被免去侯位。平帝元始年間（公元1-5年），成帝的母親王太後下詔說：“孝宣王皇後，是朕的婆婆，我至今仍然在思念她的教誨和撫育之恩，恩結於心。現在邛成恭侯的封國已經被廢棄，祭祀斷絕，朕心中哀憐。封恭侯的曾孫王堅固為邛成侯。”王莽篡漢後爵位斷絕。