在武帝朝末年，朝廷以法律治理天下，刑罰越來越嚴酷。昭帝繼位之後，年齡還很小，大將軍霍光在朝中執掌朝政，大臣在下麵爭權，上官桀等人與燕王劉旦謀反作亂，霍光將他們一網打盡，全部誅殺。霍光仍然按照武帝朝的法令，用刑罰來管束朝廷上下官員，因此下麵的官吏也以嚴刑峻法，顯示執政能力，隻有黃霸在治民時用法較寬。
宣帝繼位之後，由於宣帝在民間長大，知道民間百姓的疾苦，以及官吏的殘酷，聽說黃霸執法持平，召黃霸擔任廷尉署獄正，負責處理疑案、冤案，廷尉署上下均認為黃霸執法公平。後來黃霸又代理丞相府長史，在一次朝議中，黃霸知道長信宮少府夏侯勝非議皇上詔書，犯下不敬罪，黃霸為此事而受到牽連，以知情不報罪，被逮捕投入廷尉署監獄，在獄中等死。在獄中，黃霸向夏侯勝學習《尚書》，經過兩個冬天，前後三年，才從獄中釋放出來，詳情記載在《夏侯勝傳》。夏侯勝出了監獄後，繼續擔任諫議大夫，讓左馮翊宋畸舉薦黃霸賢良。夏侯勝也在宣帝麵前舉薦黃霸，宣帝任命黃霸為揚州刺史。三年過後，宣帝下詔，說：“製詔書予禦史中丞：任命賢良高第揚州刺史黃霸為穎川郡太守，俸祿為比二千石，上任時賜予車蓋，可以把高度矗為一丈，其下屬別駕和主簿的坐車，車前可以裝上黃色的擋泥簾子，以彰顯官員有德。”
當時宣帝正致力於整頓吏治，多次下詔，鼓勵褒獎良吏，但下麵的官吏不能奉命宣傳。太守黃霸上任後，選擇良吏，分派下去宣讀詔令，讓百姓盡可能多地了解皇上的旨意，黃霸命令郡中的郵亭鄉官，均要飼養雞豚，用以資助鰥寡貧苦百姓。黃霸在地方上推行教化，在鄉間安排父老，率領伍長，將朝廷的旨意、政策在民間宣傳。黃霸勸民向善，防止鄉間的盜匪奸詐之徒橫行，勸民努力耕作，種桑養蠶，節省用度，積蓄家產，種植樹木，飼養牛馬，減少喂馬的糧食。黃霸在郡中實施政令，觸及到民間生活的各個細微末節，看起來很瑣碎，可是黃霸做起來盡心竭力。凡是有可能遇見的吏民，黃霸總是會不厭其煩地詢問，對治理本郡有何想法和意見，以供自己參考。黃霸曾經要督察一件事情，黃霸挑選一位年長的廉吏去做，特意囑咐要細致周密。官吏走了之後，不敢住在郵亭，隻好在道旁吃東西，烏鴉飛來，將手中的肉啄走。百姓中有人親眼看到此事，到郡府來麵見太守時，將此事告訴太守。後來這位官吏返回郡府彙報工作，黃霸親自迎接慰勞，說：“辛苦了！在道旁吃飯，還被烏鴉把肉搶跑了。”這位官吏聽到此話，大驚，以為黃霸已經了解此次出差的經過，掌握自己一路的行程起居，對黃霸所提出的問題不敢有絲毫隱瞞。鄉間的鰥寡孤獨，有些人去世後，無錢殯葬，鄉裏來信說明，黃霸會盡力幫助，予以解決，比如說某處有一棵大樹可以做棺木，某亭有肥豬，可以做祭品，官吏去看後發現，與黃霸所說的基本一樣。黃霸判斷處理問題，就是這樣地細致入微，精明幹練，不知道的吏民，還以為黃霸有神助。那些郡縣中的奸人，無處存身，隻好躲到其它郡裏去，郡縣中的盜賊日益減少。
黃霸堅持先施行禮儀教化，再實施處罰，務在成全維護手下屬吏。屬下許縣有一位老丞，年紀大了，耳聾眼花。督郵建議要將這位老丞趕走，黃霸說：“許縣的這位縣丞是一位廉吏，年紀就是大了些，還能夠起拜迎送，耳朵盡管聾了一點兒，又有何關係？要善待老丞，不要讓賢者失望。”有人請教為什麼要這樣做，黃霸說：“多次更換縣中的長吏，送舊迎新花去的費用，以及奸猾官吏臨走時銷毀計簿賬冊盜取財物，無論公家還是私人，均會造成很大損失，所有這些，都要由百姓來負擔，換上新的官員，也未必就比原來的官員好，甚至還有不如原來的，隻能加劇更換中的混亂。凡是處理政務，隻能將明顯不合格的官員罷免。”
黃霸外寬而內明，在官吏百姓中享有很高威望，黃霸所治理的地方，戶口數每年均有所增加，被評為政績天下第一。朝廷征召黃霸代理京兆尹，俸祿為二千石。上任後，黃霸安排百姓修整馳道，沒有預先告知，還有征發騎士到北軍，不能滿足馬匹的需要，被彈劾為執行軍法不力，遭到罰俸的處罰。宣帝頒發詔書，詔令黃霸返回潁川郡，繼續擔任太守，以八百石俸祿，在原任上戴罪立功。前後共八年時間，穎川郡得以大治。當時鳳凰神雀翔集在郡、諸侯國，潁川郡落下來的最多。天子以黃霸治理地方有方，又在穎川郡長期任職，下詔稱讚黃霸，詔書中說：“潁川郡太守黃霸，宣示皇帝的詔令，百姓得以受到教化，孝子悌弟貞婦順孫日以增多，百姓禮讓，道不拾遺，贍助貧民，撫恤鰥寡，執政八年，監獄中沒有重罪犯，官吏百姓均受到教化，郡中百姓遵循道義，蔚然成風，可謂是賢士君子。《尚書》中不是講嗎？‘股肱良臣！’賜黃霸關內侯爵，黃金百斤，俸祿升為中二千石。”潁川郡的孝悌和有行義的百姓、三老、力田（勞模），宣帝分別賜予爵位和絲帛。又過了幾個月，宣帝征黃霸擔任太子太傅，後來黃霸繼任禦史大夫。
宣帝五鳳三年（公元前55年），黃霸代替丙吉擔任丞相，受封為建成侯，食邑六百戶。黃霸的才能長於治民，等到做了丞相，需要有統率綱紀，號令天下的能力，其才能不如丙吉、魏相、於定國，其政績也遜於在穎川郡治理地方。在當時，有一群鶡雀，從京兆尹張敞住的院子中飛出來，飛到丞相府，黃霸以為是神雀，想要向宣帝奏報。張敞為此上奏宣帝，說：“我看到丞相與中二千石官員、博士一起詢問郡國中上繳計簿的官員守丞，讓他們彙報為百姓興利除害，實施教化的政績。他們彙報上來的，有耕者讓田，男女異路，道不拾遺，還有舉薦孝子悌弟貞婦等事情。丞相就在丞相府裏處理政事，彙報時不知道具體人數的排在後麵，沒有彙報內容的官吏，此時隻好趴在地上叩頭請罪。丞相雖然沒有規定他們必須這樣做，但內心還是希望他們這樣做。這些官吏守丞在回答問題時，臣張敞住的院子中有一群鶡雀飛到丞相府的屋頂上，丞相以下官員，看到這種情況的有幾百人，邊郡的官吏都認識鶡雀，問他們，此時卻佯裝不認識。丞相就要上奏皇帝：‘臣在詢問地方官吏守丞，彙報計簿時，強調了禮儀教化的重要性，皇天此時以神雀下凡回應。’後來知道是從臣張敞院子裏飛過去的，才沒有鬧出笑話。郡國中來的官吏，在下麵竊竊私語偷笑丞相仁厚，有智謀，對不懂的事情，喜歡大驚小怪。在前朝，汲黯擔任淮陽郡太守，臨上任前，對大行令李息說：‘禦史大夫張湯心懷奸詐，阿附上意，意圖顛覆朝廷，公不早些告訴皇上，以後會與張湯一起遭受懲罰。’李息害怕張湯，始終不敢講。後來張湯因為犯罪而自殺，武帝聽說了汲黯與李息的對話，將李息治罪，任命汲黯擔任諸侯國相，就是為了肯定汲黯的盡忠報國。臣張敞不敢詆毀丞相，但也害怕朝中的群臣有人會講，這些彙報計簿的官吏守丞懼怕丞相的旨意，不顧法令，各為私心，爭相效仿，使得質樸受損，虛偽橫行，有名無實，而將政事懈怠，再發展下去，將會不可收拾。即使京師率先禮讓耕田，道不拾遺，男女異路，把這些事情都做好了，也無關乎清廉貪腐，貞潔淫蕩，隻是在向天下人宣示一種虛偽的做作，這種做法不能鼓勵。郡、諸侯國均這樣做了，虛偽的風氣將會影響到京師，不應該看作這是小事情。漢朝建國以來，承接亡秦的弊端，因時權變，重新製定法令，為的就是勸善懲惡，法律條文詳備，不需要再增加不必要的內容。應該讓大臣明白無誤地告知官吏守丞，回去告訴當地的二千石官員，舉薦三老孝悌力田孝廉良吏，要選擇真正的人才，郡中的政務，要以禮儀法令作為依據，不能擅自製定條令；敢於挾詐偽以撈取名譽的人，一定要嚴懲不貸，以明確的態度，告知他們，朝廷的好惡是什麼。”宣帝讚成張敞的諫言，召上繳計簿的官吏，讓宮中的侍從按照張敞的奏章，當麵告知他們。黃霸因為此事而心中慚愧。
還有樂陵侯史高以外戚身份，以及對宣帝的舊恩，在宮中擔任侍從，受到宣帝信任，黃霸舉薦史高為太尉。宣帝讓尚書責問黃霸：“太尉官職，在前朝已經撤消，職責由丞相來兼任，以彰顯朝廷偃武修文的用心。如果國家一旦不虞，邊境有事，左右大臣，均可以擔任將軍，率軍出征。宣明教化，通達幽微，讓監獄中沒有冤案，郡國中沒有盜賊，這是君的責任所在。將相官職，是由朕來任命的。侍中樂陵侯史高，已經在宮中做了朕的近臣，而且是朕的外戚，君何必還要越職舉薦？”尚書讓丞相答問，黃霸免冠謝罪，幾天後才得到宣帝的原諒，從此以後黃霸再也不敢隨意舉薦官員。從漢朝建國以來，談到治理百姓有政績的官員，黃霸還算是做得較好的一個。
黃霸擔任丞相五年，在宣帝甘露三年（公元前51年）去世，諡號為定侯，黃霸死後，樂陵侯史高還是做了大司馬（太尉）。黃霸的兒子思侯黃賞繼承爵位，擔任關津都尉。在任上去世，兒子忠侯黃輔繼承爵位，官至衛尉和宮中九卿。在任上去世，兒子黃忠繼承侯位，在王莽篡漢後，爵位斷絕。子孫中擔任二千石以上官吏的，有五六人。
當初黃霸在年輕時，擔任陽夏縣的遊徼，與善於看相的人坐在一輛車上出行，路上看到一位婦人，看相人說：“這位婦人應當富貴，如果我說得不對，相書就沒有用了。”黃霸遂托人打聽這位婦人，是與他同鄉，一位巫師的女兒。黃霸娶了這位女子為妻，並且與她終身相守。黃霸當了丞相後，遷至杜陵（宣帝的陵寢）縣居住。
朱邑，字仲卿，廬江郡舒縣人。年輕時，朱邑曾經擔任過舒縣桐鄉的嗇夫，清廉公正，為官不苛刻，愛護當地百姓，為民謀取利益，沒有侮辱鞭笞過鄉鄰，經常撫恤慰問耆老鰥寡，對他們和善有恩，朱邑所任職的地方，吏民們都很敬重朱邑。後來朱邑補任為郡太守府卒史，通過舉薦賢良，朱邑擔任大司農丞，又轉任為北海郡太守，政績優異，朱邑後來被召入朝中擔任大司農。朱邑為人敦厚，珍重故舊友情，為官公正，不會因為私而做出損公的事情。天子因此很器重朱邑，朱邑在朝廷受到重用。