匈奴向漢朝請求和親，武帝讓大臣們在朝中廷議，博士狄山說：“應該和親。”武帝讓狄山講出理由，狄山說，“戰爭是凶器，不可以輕易啟動。高祖當年討伐匈奴，最終受困於平城，後來也隻好采取和親的政策。在惠帝朝、高後（呂雉）執政時期，天下安寧。在文帝朝，文帝曾想通過使用武力，處理與匈奴的矛盾，當時北部邊郡苦於兵災。在景帝朝，吳、楚七國叛亂，景帝奔走於兩宮（未央宮、長信宮）之間商討平叛，在平叛的幾個月中，天下百姓蒙受戰禍。吳、楚叛亂平定後，景帝再也不談用兵的事情，天下因此而富足。今天陛下起兵攻打匈奴，可是國庫空虛，邊郡百姓生活困苦，從以上比較來看，臣認為還是和親好。”武帝問張湯，張湯說，“這隻是腐儒之見。”狄山說，“我是愚蠢、粗魯。禦史大夫張湯，貌似忠貞，其實奸詐。張湯此前處理淮南王、江都王的謀反案，用法嚴酷，傷害了諸侯王，離間了皇室骨肉，使封國的諸侯王驚恐不安，我早就知道張湯是一位貌似忠良、心懷奸詐的人。”聽到這裏，武帝變了臉色，問狄山：“讓你擔任一個郡的太守，你能保證匈奴不再侵犯邊郡嗎？”狄山回答：“不能。”擔任一個縣的縣令呢？“狄山答道，”不能。“武帝再問：擔任一個要塞長？”狄山知道再拒絕下去恐怕要治罪，隻好說：可以。於是武帝派狄山在邊郡的一個要塞駐守，隻過了一個月，匈奴將狄山斬首而去，從此後，群臣每當談起此事，都震恐不已。
張湯有位朋友，名字叫做田甲，是一位商人，很有節操，在張湯還是小吏時，與張湯有很多來往，等到張湯官職顯赫，田甲指責張湯做事的方法，但誇獎張湯有烈士之風。
張湯做了七年禦史大夫，最終因事獲咎，負罪自殺。
河東郡人李文，曾經與張湯有過矛盾，後來李文做了禦史中丞，憑借能夠閱讀宮中文書檔案的便利，李文從文檔中找出可以傷害張湯的材料，揭發攻擊張湯，毫不留情。張湯手下有一位極為信任的小吏，名字叫做魯謁居，為張湯鳴不平，此後安排人上書揭發李文所做的不法之事。李文被捕入獄，張湯依法處死了李文，也知道此事是魯謁居幹的。武帝詢問此事，“告發信是怎麼回事？”張湯故作驚訝地說，“這件事可能是李文的仇敵幹的。”魯謁居臥病在家休息，在長安的閭裏賃了一套房子，張湯前往探視，還為魯謁居按摩腳掌。趙國人很多以冶煉、鑄鐵為職業，趙王劉彭祖（武帝的兄弟）為冶煉、鑄鐵的事情，常與朝廷的官員有摩擦，張湯則常常依法指斥趙王。因此而產生矛盾，趙王暗中搜集張湯的違法證據。魯謁居曾經受命審理過趙王的案件，趙王非常惱恨，上書告發張湯：“張湯是國家大臣，下屬魯謁居有病，張湯竟然為魯謁居按摩腳掌，此事令人懷疑，他們之間是否有著不可告人的秘密。”武帝將此事交予廷尉審理，魯謁居在此期間病逝，事情牽連到他的弟弟，魯謁居的弟弟被關押在導官署。張湯在導官署也關有其他罪犯，看到魯謁居的弟弟也關押在裏麵，就暗地裏為他解脫，但是表麵上不漏聲色。魯謁居的弟弟不知道張湯在幫助自己，而怨恨張湯，讓人上書告發張湯，說張湯與魯謁居共謀，陷害李文。武帝將此事轉交予減宣審理，減宣與張湯平時即有矛盾，在這件事上大肆發揮，追根究底，案情有了進展也不向武帝奏報。碰巧，有人盜竊孝文帝陵寢地埋葬的殉葬錢，丞相莊青翟上朝，與張湯二人約好在武帝麵前一起檢討，到了武帝那裏，張湯卻認為，丞相負責皇帝陵寢地的四季護衛，出了問題，應該由丞相來負責，自己與此事無關，不應該分擔責任，拒絕檢討。丞相檢討後，武帝讓禦史大夫調查此事。張湯要按照法令處理丞相，丞相頓時惶恐不安，丞相府的三位長史非常痛恨張湯，就想陷害張湯。
此前，丞相府長史朱買臣已經與張湯結怨很久（詳情記載在《朱買臣傳》中）。王朝，齊國人，通曉經術，在朝中曾經擔任右內史。邊通，研究縱橫術，為人剛烈暴躁，曾經做過濟南國相，職位原來都在張湯上邊，後來遭到免官，此時三人擔任丞相府長史，需要向張湯報告工作。張湯因為受到武帝信任，長期行使丞相權利。知道這三位長史曾經職位很高，卻有意刁難他們，借以挫傷他們的銳氣，這三位長史為此私下裏商議道：“張湯與丞相原來商量好，一起在皇帝麵前檢討，卻又出爾反爾，現在又要借宗廟的事情懲治丞相，說白了，就是想取而代之。誰不知道張湯背後做的那些汙濁事！”於是逮捕證人田信等人，欲指責張湯向田信等商人泄露國家製定的政策。奏請皇上批準前，又私下裏向田信等人通風報信，讓他們借機聚斂錢財，事成後與張湯分贓。除此以外，還有其它不法事情。並且將逼供的材料廣泛散播。武帝問張湯，“我打算推行的政策，這些經商的人怎麼會事先知道，而且借此機會聚斂錢財？好像有人事先通風報信。”張湯不承認錯誤，裝出很驚訝的樣子，“怎麼會這樣呢？”加上減宣將魯謁居的事情報告給武帝，武帝開始懷疑張湯不老實，當麵欺詐，就讓人用揭發出來的八件與張湯有關聯的案件詰問張湯，張湯一概否認，拒不交待。武帝於是讓趙禹責問張湯，趙禹來後，勸張湯說：“你怎麼這樣不知進退！你辦理的案件，殺了多少人！別人揭發你的，都是有憑有據，天子不想為難你，把你關進監獄。你也要好自為之，難道一定要找出更多的證人來與你當麵對質？”張湯隻得寫出檢討，承認錯誤：“湯無尺寸之功，起於刀筆吏，陛下拔擢，位居三公，而今事出有因，臣卻無力申辯，設謀陷害張湯的人，就是丞相府的三位長史。”隨即自殺。
張湯死後，全部家產價值不到五百金，還都是朝廷給予的俸祿以及皇帝的賞賜，並沒有其它經濟來源。家族兄弟和兒子們想要厚葬張湯，張湯的母親講，“張湯是天子大臣，而今被人用惡言陷害而死，你們要厚葬他，想要說明什麼？”隻是用牛車送葬，有棺材但沒有外槨。武帝知道了此事，說“有其母方有其子。”遂將誣陷張湯的三位丞相府長史抓起來，一律誅殺，丞相莊青翟也被逮捕入獄，後來自殺，朝廷釋放了田信。武帝痛惜失去張湯，於是一而再地提拔張湯的兒子張安世。
張安世，字子儒，少年時因為張湯在朝中的職務，在朝中擔任郎官。張安世善於書寫，在尚書省供職，工作勤懇，休息日也不外出。武帝巡幸河東郡，丟失三篋書籍，詢問有關人員，均答不上來，隻有張安世記得，將書中所記載的內容一一陳述。後來又購得原書，經校對與原書內容相同。武帝驚歎張安世有這樣的才能，提拔張安世為尚書令，後來又升任為光祿大夫。
漢昭帝繼位，大將軍霍光主持朝政，看到張安世工作勤懇，任勞任怨，甚為器重。當時左將軍上官桀父子與禦史大夫桑弘羊和燕王（劉旦）、蓋長公主因為謀反罪而被殺，霍光認為，朝廷已經沒有前朝的舊臣，奏請任命張安世為右將軍、光祿勳輔助自己。過了幾年，漢昭帝下詔，“右將軍、光祿勳張安世輔政宿衛，任勞任怨，勤懇守責，毫無懈怠，十三年來，天下太平。親近的大臣，更要重用賢者，這是堯、舜治國的經驗，封張安世為富平侯。”
第二年，昭帝駕崩（公元前74年），還沒有下葬，大將軍霍光向太後奏請，改任張安世為車騎將軍，與自己一起迎立昌邑王。等到發現昌邑王劉賀品行惡劣，不堪繼任皇位，霍光又與張安世一起密謀，奏請廢黜昌邑王，重新擁立宣帝劉詢。宣帝繼位初，要褒賞大臣，宣帝下詔：“褒有德，賞有功，這是古今通義。車騎將軍、光祿勳、富平侯張安世忠貞宿衛，宣德明恩，勤勞國家，守職秉義，安定宗廟，加封食邑一萬零六百戶，功勞僅次於大將軍霍光。”張安世的兒子張千秋，張延壽，張彭祖則被宣帝任命為中郎將或者宮中侍從。
大將軍霍光去世幾個月後，禦史大夫魏相密封上書：“聖王褒有德，以撫萬方，顯有功，以勸百僚。朝廷尊賢，則天下效仿。現在陛下繼承祖宗的基業，是諸侯王的首領，又剛剛失去大將軍，應該向天下宣示聖德，向藩國彰顯功臣，不要讓大將軍的位置長久空缺，杜絕非分之人懷有覬覦企圖，這才是安定社稷、防止隱患需要考慮的。車騎將軍張安世在武帝、昭帝朝供職三十餘年，忠信謹慎，勤勞政事，夙興夜寐，與大將軍一起製定國策，天下人已經享受到福祉，張安世是國家的重臣，應該讓張安世享有尊位，擔任大將軍，免去張安世的光祿勳職務，讓他專心致誌考慮大事，考慮有關國家利害的大事。張安世的兒子張延壽厚道穩重，可以任命為光祿勳，兼任宮中宿衛。”宣帝也有此想法。張安世聽說此事後，堅決辭讓，不敢接受，奏請宣帝召見，張安世摘下冠，伏在地上叩頭，張安世說：“老臣聽到些風言風語，事情決定之前，談論此事本來不妥，不說內心又不安，臣誠惶誠恐，自認為不能擔負這樣的重任，臣不能接任大將軍。懇請天子可憐老臣，讓老臣得以終其天年。”宣帝笑了，說：“君太謙虛了，君說不可以，朝中還有誰可以呢？”張安世一再辭讓，但終於未獲批準，幾天後，宣帝任命張安世為大司馬、車騎將軍，兼領宮中尚書事務。幾個月後，免去張安世的車騎將軍屯兵職務，改任為衛將軍。兩宮（未央宮、長信宮）衛尉，城門護衛、北軍均屬張安世統領。
在當時，霍光的兒子霍禹擔任右將軍，宣帝同時任命霍禹為大司馬，免去霍禹右將軍屯兵職務，這是一個虛職，其實是想要奪去霍禹的兵權。一年多後，霍禹謀反，遭到滅族。張安世一向小心，內心誠惶誠恐。張安世的孫女張敬嫁給了霍氏家族，因為謀反罪而受到株連，要被處死，張安世寢食不安，麵容消瘦，暴露在外麵。宣帝看到了，心中頗覺不忍，問了左右人，才知道事情原委，遂赦免張敬，以安慰張安世。張安世更加惶恐不安。張安世掌管國家的中樞機要，做事情小心謹慎，朝內朝外，不敢將任何事情外泄。每當製定大的政策決定之後，即告病出宮；聽到朝廷有詔令，就會顯得惶恐不安。讓屬吏到丞相府多次打探。朝廷大臣，事前均不知道張安世曾經參與過製定政策。
張安世向朝廷舉薦某人，某人來謝，張安世就會很生氣，認為向國家舉薦賢才是應該的，怎麼能夠私底下相謝？為此，與此人斷絕來往。張安世府中有一位郎官認為有功，卻得不到升遷，經常有怨言，張安世對他說，“你認為功高，上司會知道的，作為人臣，做了一點事情，怎麼能把這些事情總是放在心裏！”還是拒絕提拔他，這個郎官後來調換了職務。一位叫做遷的將軍幕府長史，辭官到別處任職，張安世問其原因。長史說：“將軍作為朝廷股肱，下級長期得不到提拔，也怕被人說閑話。”張安世說，“明主在上，賢與不肖，看得一清二楚，作為臣下，嚴於律己就是了，何必總惦念著要提升？”張安世總是想躲避虛名，遠離權勢。