丙吉出身於監獄小吏，此後學習過《詩經》、《禮記》，深明大義。等到做了丞相，崇尚仁慈、寬厚，喜歡禮讓。如果丞相府中屬下的掾、史有了過錯，不稱職，丙吉就會讓他們在家中休長假，始終不願意對他們加以懲罰。有人勸丙吉：“君侯作為丞相，那些奸臣滑吏，以權謀私，君侯為什麼不懲治他們。”丙吉說：“以我三公之尊，去懲治一位小吏，實在是感到慚愧。”後來的丞相，向丙吉學習，三公府中，不懲治小吏，從丙吉開始。
對待丞相府中屬下的掾、史，丙吉總是為他們講好話，遮掩過失。丙吉有一位駕車的馭吏好喝酒，平時生活不檢點，有一次駕車載丙吉外出，喝醉酒，嘔吐在丞相的車上，丞相的下屬官員西曹主吏，告訴丙吉要懲辦這位馭吏，丙吉說：“他也就是因為喝醉酒誤事，丞相府現在把一個馭吏趕走，將來此人還能在何處安身？請西曹饒恕他這一次，他不過就是把丞相的車墊子搞髒了而已。”最終還是沒有趕走這位馭吏。這位馭吏來自於邊郡，了解邊塞的一些情況，有緊急情況時，邊塞會派出快馬向朝廷報告。有一次外出，馭吏碰巧看見一名騎兵背著公文袋飛馳而來，馭吏知道這一定是邊塞有了緊急公文到來，這位馭吏跟隨著這名騎兵來到公車府探聽消息，知道匈奴入侵雲中郡、代郡，馭吏馬上回來向丙吉報告，並建議說：“匈奴入侵邊郡，有些兩千石的官員會因為年老、有病而不能勝任職務，需要事先預做準備。”丙吉同意他的見解，召東曹查驗邊郡太守、郡吏的人事檔案，對邊郡的人事做到心中有數。不久宣帝召丞相、禦史大夫，了解匈奴入侵邊郡的官員情況，丙吉有問必答。而禦史大夫惶急中，竟不知該如何應對，受到宣帝的責備。丙吉被認為是重視邊防，恪盡職守，掌握情況的官員。對此，丙吉長歎道：“人都有長處，才能有所不同，各有所長，如果我事先沒有從馭吏那裏了解到邊郡的情況，何以談得上劬勞勤勉？”屬下的掾、史更認為丙吉是一位賢相。
丙吉有一次外出，碰見一群人在為清道而爭鬥，有死傷者躺在路上，丙吉從旁邊經過，不聞不問，隨行的掾、史感覺奇怪，又向前走了一段路，碰見有人趕牛，牛喘著氣，吐出舌頭。丙吉停下車來，讓騎吏去問趕牛人，“趕牛走了幾裏路？”掾、史頓時覺得丞相前後失據，有的甚至話中帶刺。丙吉說：“百姓鬥毆，有傷亡，是長安令、京兆尹管轄內的事務，自會有人前去製止、追捕，丞相府每年檢查工作時，按照他們的工作成績，實施賞罰。宰相不親臨小事，路上遇到的情況，不是宰相應該過問的。現在是春天季節，太陽沒有那麼強烈，天氣不應該炎熱，我恐怕牛走的不遠，因為暑熱而喘息，擔心的是時氣不調，對農事會有影響。三公之位主要是調和陰陽，了解四季的變化，這是我職責中需要考慮的問題，所以詢問。”掾、史聽了丙吉的一番話，都很欽佩，知道丙吉是一位抓大事的人。
宣帝五鳳三年（公元前55年）春天，丙吉患病，病情加重。宣帝親自到家中來探視，說：“君如果病有不測，誰可以代替君的職位？”丙吉辭謝道：“朝廷各位大臣的能力，陛下最清楚，臣沒有什麼可建議的。”宣帝一定要丙吉提出建議，丙吉頓首道：“西河太守杜延年熟悉法律，熟悉漢代以來前朝的諸多政事，做九卿有十多年時間，現在郡裏擔任太守，有政績。廷尉於定國斷案、執法公正，違法者經於定國判案，伏法認罪，不會認為冤枉。太仆陳萬年孝順後母，行為舉止，敦厚善良。這三人的能力都在臣的上麵，推薦給陛下加以考查。”宣帝肯定了丙吉推薦的這三個人。丙吉去世後，禦史大夫黃霸擔任丞相，宣帝征調西河郡太守杜延年擔任禦史大夫，杜延年此時已經年老，請求退休（乞骸骨），因病而免職。由廷尉於定國代替，擔任禦史大夫。黃霸去世後，於定國接任丞相，太仆陳萬年代替於定國擔任禦史大夫，這幾個人在任上都很稱職，宣帝稱讚丙吉了解人，善於舉薦人。
丙吉去世後，諡號為定侯。兒子丙顯繼承爵位，宣帝甘露年間（公元前53-前50年）因為犯罪，被削去侯爵，降為關內侯，官至衛尉、太仆。丙顯年少時擔任諸曹，曾經跟隨著皇帝祭祀高廟，祭祀前展示牲具，丙顯未齋沐，出來取祭服穿戴。丞相丙吉聽說此事後大怒，對夫人講：“祭祀高廟是件大事，丙顯這樣不慎重，不恭敬，早晚我們家丟掉爵位的就是這個丙顯。”夫人為兒子反複講好話，此事才罷休。丙吉的次子丙禹擔任水衡都尉，小兒子丙高擔任中壘校尉。
在元帝朝，長安有位名叫尊的下級軍官上書說：“臣年輕時擔任郡邸獄中的小吏，曾經在郡邸獄中見到過孝宣皇帝（皇曾孫）。當時監獄負責人丙吉看見皇曾孫如此幼小，橫遭無辜，丙吉仁心觸動，涕泣惻隱，挑選女囚徒胡組撫養皇曾孫，丙吉常在身邊照顧。我當時白天也曾經在庭上照顧。後來武帝詔命，要誅殺欽犯，丙吉不懼嚴刑峻法，挺身而出將使臣阻擋在監獄門外。而後武帝大赦天下，丙吉告訴郡邸守丞隨如，皇曾孫不應該再留在監獄中，同時讓隨如送文書給京兆尹，讓胡組抱著皇曾孫與隨如一起到京兆尹那裏去，京兆尹不敢接受，又送了回來。胡組刑滿釋放，要回家去，皇曾孫眷戀乳母，丙吉拿出自己的俸祿請胡組留下來，繼續照看皇曾孫，還請了另一名女犯郭徵卿與胡組一起照看了幾個月，等到郭徵卿熟悉以後，才讓胡組回家，再後來，少內、嗇夫兩名官員對丙吉講：監獄內沒有供養皇曾孫的費用。丙吉就用自己的俸祿購買食品、米、肉扶養皇曾孫。丙吉如果有病，不能夠親自照顧，就讓臣尊代替他看視皇曾孫，還特別囑咐臣，要留意臥具是否潮濕。督促胡組、郭徵卿，不得托故擅自離開皇曾孫，防止無人照看，特別留意幼兒適口的食物。托庇皇天護佑，皇曾孫得以脫離厄運，丙吉所做的一切真可謂是功德無量。丙吉當時怎麼可能知道皇曾孫能夠繼承帝位，今天可以得到回報！丙吉隻是君子仁慈，做人善良罷了。古代有介子推割肉存君的故事，但不能與丙吉為宣帝幼年時所做的一切相比。孝宣皇帝在世時，臣曾經上書講述過這些事，上書到了丙吉手中，丙吉謙虛，不讓宣傳，刪去臣講述的這些事情，隻是強調胡組、郭徵卿如何照看皇曾孫。胡組、郭徵卿後來得到賜錢、賜田、賜宅第的賞賜，丙吉受封為博陽侯。臣雖然不能與胡組、郭徵卿當年為皇曾孫所做的一切相比。但臣現在年老貧病，命在旦夕，如果再不告訴世人，恐怕有功之人，將會從此湮沒。丙吉的兒子丙顯犯罪，被褫奪侯爵，降為關內侯，臣認為，應該恢複丙顯的爵位，以報答丙顯先人的功德。”在此之前，丙顯曾經擔任太仆十餘年，與其他官員勾結，為家中牟利，家中藏有贓款千餘萬，名叫昌的司吏校尉負責查辦此案，認為罪行嚴重，奏請逮捕。元帝說，“前丞相丙吉對先帝有舊恩，朕不忍心將這件事情做得太絕。”隻免去丙顯的官職，削去食邑四百戶，再後來丙顯又重新擔任城門校尉。丙顯去世後，兒子丙昌繼承關內侯爵。
在成帝朝，恢複因故撤消爵位，原來功臣後代的封爵，因為丙吉對宣帝的舊恩最重，成帝鴻嘉元年（公元前20年），成帝下詔予丞相、禦史大夫，說：“朕聽說褒獎有功德的人，應該讓他的後世繼承已經斷絕的爵位，繼續奉祀先人的宗廟祭祀，以開辟廣招聖賢之路。去世的博陽侯丙吉有舊恩於宣帝，因功而受封，現在斷絕了祭祀，朕甚為痛惜。報恩之舉應該惠及子孫，這是古今通義，封丙吉的孫子中郎將關內侯丙昌為博陽侯，以奉祀丙吉的宗廟。”在封國斷絕三十二年後，丙昌重新繼承丙吉的博陽侯爵位。丙昌去世後傳給兒子，再傳至孫子，王莽篡漢後封國斷絕。
讚辭如下：古代起名，從象形考慮，遠的取物象，近的取自身。因此《尚書》中講，君為元首，臣為股肱，明確為一體，相輔相成。所以君臣配合，古今常道，可謂是自然之勢。近觀漢代，高祖開基，蕭、曹為冠，孝宣中興，丙、魏有聲。在當時，陟黜有序，朝中的官員們，都能夠恪盡職守，公、卿們大多數都很稱職，海內提倡禮讓。觀察大臣們的行事為人，豈能夠僅以虛名來看待！