張安世擔任光祿勳時，有一次，一位郎官喝醉酒，在宮殿上小便，主事官員報告，要依法嚴懲，張安世說，“你怎麼知道這不是地麵上返潮，留下來的痕跡？不要抓住一點小過錯，就給人定罪。”有位郎官調戲官婢，官婢的哥哥告到張安世這裏，張安世說，“這是奴婢與郎官鬧著玩，結果惱羞成怒，她是在誣陷郎官。”然後告訴官署，讓官署處分官婢。張安世就是這樣為下屬遮掩過失，化解矛盾。
張安世看到家中父子均在朝中擔任著重要職務，位尊爵顯，內心常感到不安，請求朝廷讓兒子張延壽出京城補官，宣帝任命張延壽擔任北地郡太守。又過了一年多，宣帝看到張安世年老體衰，需要有人照顧，重新將張延壽調回來，擔任左曹、太仆，掌管皇帝的車、馬。
此前，張安世的哥哥張賀在衛太子劉據身邊任職，衛太子身敗命喪，家裏人、賓客均遭到誅殺，張安世為了張賀向武帝上書，張賀得以活命，但還是被推入蠶室，接受了腐刑。後來張賀擔任掖庭令，宣帝在年幼時，以皇曾孫身份在掖庭得到皇室供養，張賀同情衛太子無辜殞命、皇曾孫孤苦無依，所以對皇曾孫照顧得非常周到，給予宣帝的恩情很深。皇曾孫長成少年時，張賀又親自教皇曾孫讀書，花錢請東海郡人澓中翁教授皇曾孫《詩經》，等到皇曾孫長大成人，張賀又為皇曾孫劉病已（宣帝劉詢）在民間納聘、娶了許家的姑娘（許皇後），所有的聘禮均由張賀負擔。劉病已在民間時，有很多怪異的事情發生（詳情記載在《宣帝紀》中），張賀知道後，常對張安世談起，稱頌皇曾孫是位俊才。張安世阻止張賀，說當今皇帝（昭帝）在上，不宜過多地談論皇曾孫（廢太子孫）。宣帝繼位時，張賀已經去世。宣帝曾經對張安世說，“掖庭令（張賀）在世時，稱讚我，將軍阻止他，將軍做得對。”宣帝追思張賀的養育之恩，追封張賀為恩德侯，安置二百戶百姓為張賀守護墓塚。張賀下蠶室前，生有一個兒子，很早去世，宣帝又詔令張安世過繼自己的幼子張彭祖，作為張賀的後嗣。張彭祖在年幼時，與宣帝同席讀書，宣帝想封賞張彭祖，先賜張彭祖關內侯爵。張安世此前辭謝對張賀的封賞，接下來請求宣帝減少張賀的守護墓塚戶數，請求減到三十戶。宣帝說，“我這是在為掖庭令安排呀，不是為了將軍你。”張安世這才作罷，不再堅持。宣帝下詔，“為已故掖庭令張賀設置守護墓塚民戶三十家。”宣帝親自為張賀的墓塚選定墓址，將張賀的墓塚安排在長安西鬥雞翁居住的房子南邊，這裏是宣帝小時候經常遊玩的地方。第二年，宣帝再次下詔，“朕年幼時，已故掖庭令張賀輔導朕躬，讀書學習，恩惠卓異，功德茂盛。《詩經》中講：‘無言不讎，無德不報。’封張賀弟弟（張安世）的兒子侍中、關內侯張彭祖為陽都侯，賜張賀諡號為陽都哀侯。”在當時，張賀還有一位在世的孫子張霸，年齡七歲。宣帝任命張霸為散騎中郎將，賜關內侯爵，食邑三百戶。張安世認為父子都已經封侯，享受的恩賞太重，請求減少俸祿。宣帝詔令都內府庫暫存張氏的一些閑錢，有一百萬之多。
張安世貴為三公、列侯，享受食邑上萬戶，身上卻常穿著粗絲織成的廉價衣服，夫人在家中親自紡織，家中有僮仆七百人，人人安排做事，都掌握有一門手藝，家裏治產業，錙鑄積累，累積纖微，家產不斷地增多，財富多過大將軍霍光。宣帝繼位後，對霍光敬重，但心存忌憚，內心更加親近張安世，心裏有想法絕不向霍光透露。
宣帝元康四年（公元前62年）春天，張安世生病，上書歸還列侯印綬，請求乞骸骨退休。宣帝傷感地說：“將軍年老有病，朕甚為哀痛。將軍您不能親自視事，還是可以為朕出出主意，將軍是先帝的老臣，善於處理複雜問題，這一點，朕不如您，可以就近請教。將軍怎麼可以感情用事，歸還衛將軍、富平侯印綬呢？這不是要疏遠朕，忘卻舊情嗎，這可不是朕希望的！請將軍努力加餐，服藥治病，心無雜念，頤養天年。”張安世勉強處理政務，當年秋天病逝。宣帝賜予印綬，動用戰車、武士送葬，諡號為敬侯。賜墓塚葬在杜陵（宣帝的陵寢）東麵，將作大匠安排挖土起墳，修建墓園祭祀祠堂。兒子張延壽繼承侯位。
張延壽此時已經位列九卿，張延壽繼承了張安世的爵位，封國在陳留郡，另外在魏郡還有封邑。封國、封邑中的收益，每年可達上千萬。張延壽認為自己身無寸功，卻享受著這樣高的封賞，屢次上書，請求皇上減去封賞的戶數，又通過弟弟陽德侯張彭祖向宣帝當麵陳述，態度誠懇。宣帝認為張延壽有謙讓之德，將他的封邑轉到平原縣，將兩處封邑並為一處，總戶數不變，租稅減半。張延壽去世後，追諡為愛侯。兒子張勃繼承爵位，擔任散騎諫議大夫。
元帝繼位初，下詔讓列侯舉薦茂才，張勃舉薦了太官獻的一位下屬官員陳湯。陳湯因為某事獲罪，張勃因為舉薦陳湯，受到牽連，削去封邑兩百戶，不久張勃去世，因為舉薦陳湯，元帝賜諡號為繆侯。後來陳湯在西域立功，世人都說張勃知人，舉薦了良才。兒子張臨繼承爵位。
張臨同樣謙虛、謹慎，每次登臨宮內的殿、閣。常歎息說：“桑弘羊、霍光是前車之鑒，不敢不警惕啊！”臨死之前，張臨將財產分予宗族、故舊，要求薄葬，不起高墳。張臨娶了敬武公主（宣帝女兒）。去世後，兒子張放繼承爵位。
成帝鴻嘉年間（公元前20-前17年），想效仿武帝朝與近臣舉行宴會，張放是公主的兒子，人很聰明，性格也開朗，受到成帝喜愛，受到邀請。張放娶皇後弟弟平恩侯許嘉的女兒，成帝為張放安排帷帳，賞賜宅邸，乘輿、服飾，向世人宣稱：這是在為天子娶兒媳，為皇後嫁女兒。朝廷為婚慶提供了食宿，還有兩宮的（長樂宮、未央宮）使者幫助操辦婚禮，冠蓋不絕，賞賜達到上千萬。張放擔任宮中侍從，兼任中郎將，負責平樂宮的屯兵護衛，可以設置幕府，與將軍規格一樣。張放和成帝同起同坐，受到成帝的極大寵愛，常常與成帝微服出遊，向北抵達長安北邊的甘泉宮，向南抵達長楊宮、五莋宮，在長安鬧市中，與平民百姓一起鬥雞走馬，長達數年之久。
當時成帝的幾位舅舅看到張放如此受寵，深感憂慮，奏報王太後（王政君）。太後也感覺到成帝年輕貪玩，不能不加以勸導，嚴詞責備張放。加上災害頻發，議論者紛紛將責任歸咎於張放。於是丞相薛宣、禦史大夫翟方進上奏：“張放驕縱恣肆，奢侈淫靡。前不久有一位叫做修的侍禦史等四人，奉命到張放府中捕捉盜賊，張放在家中，竟然讓手下人閉門拘捕，用弩箭射傷捕吏，政府官員最終不能入內。張放聽說有一位名叫李遊的男子，向樂府送了一位漂亮女子，就讓人到樂府音樂監景武那裏索要此女子，沒有得到，竟然讓一位名叫康的家奴和手下人到音樂監景武家裏打傷三人。又因為公事與樂府官員發生衝突，這名官員名叫莽，是一名遊徼（遊徼:主管巡邏，防備盜賊的官員），張放竟然指使手下一位名叫駿的豪奴，率領四十餘人手持兵器，白日闖入樂府，射傷官佐，綁縛官吏，斫破官府的器物，官府裏的人驚恐不安，紛紛奔走逃匿。結怨的官吏莽隻好戴上刑具（髡鉗），身穿赭衣（囚衣），以及樂府官員（守令）調率領眾人，光著腳，向張放磕頭謝罪，張放才肯罷休。手下的豪奴及其下屬仗勢欺人，強霸一位官吏的妻子，沒有得逞，竟然殺死這名女子的丈夫；與人發生糾葛，竟然殺死此人的親屬，殺人者逃入張放的府邸，受到張放的庇護，使得罪犯逍遙法外。張放品性惡劣，蔑視法律，罪惡昭彰，為臣不忠，觸動陰陽，違逆天命，實在是累犯之首。犯下大罪，幸蒙皇恩，沒有受到懲治。仍然驕橫不法，形同背叛，臣子的罪惡，沒有比這更嚴重的，不宜讓張放再繼續擔任宿衛。奏請罷免張放，將其貶回封國，以消除邪惡，以儆效尤，平撫海內的怨情。”
成帝不得已，隻好將張放貶為北地郡都尉。僅過去幾個月，又將張放召回身邊，擔任宮中侍從。太後不得不出麵講話，成帝隻好又將張放外放到天水郡，擔任屬國都尉。成帝永始、元延年間（公元前16-前9年），連續幾年發生日食，張放有很長時間不能被召回，成帝就用璽書形式慰問張放。又過了一年，批準張放回家，照看母親敬武公主的疾病。在家裏呆了幾個月，公主病愈，才把張放外放到河東郡擔任都尉。成帝雖然愛惜張放，但上有太後的監督，下有大臣的主張，不得不將張放調出京城，每次分手，都要流淚相送。張放後來又擔任了宮中侍從，兼任光祿大夫，俸祿為兩千石。一年後，丞相翟方進彈劾張放，成帝不得已，再次罷免張放，賜錢五百萬，讓張放回到封國。幾個月後，成帝駕崩，張放因為思念成帝，悲泣而死。
在當初，張安世的長子張千秋和霍光的兒子霍禹，都在朝中擔任中郎將，曾經帶兵跟隨度遼將軍範明友攻打烏桓。戰事結束歸來，一起拜謁大將軍霍光，霍光問起張千秋，此次戰事的方略，沿途的山川形勢，張千秋一邊彙報，一邊用手指著地圖軍陣，對答如流，一清二楚。霍光又問霍禹，霍禹竟然張口結舌，不知道該如何應答，隻會說：“這是文書掌握的。”從這一點，霍光就很看重張千秋，認為霍禹無能，霍光歎息道，“霍氏恐怕要衰敗，張氏要興旺了。”等到霍禹謀反，遭到滅族。張安世的子孫，從宣帝、元帝朝以來，在宮中擔任侍從、中常侍、諸曹、散騎、校尉者有十幾人。在功臣的後代裏，隻有金日磾的後代，張湯的後代能夠得到皇室如此親近，他們所享受到的尊崇，可以與外戚相埒。
張放的兒子張純繼承侯位，張純勤儉恭敬，注意自身修養，熟悉朝廷的製度、法令，以及前朝的政事，有敬侯（富平敬侯張安世）的遺風。王莽篡位時，張純仍然享有爵位，建武年間（公元25-57年，東漢光武帝年號），張純在朝中擔任大司空，隻是將富平侯改稱為武始侯。
張湯居住在杜陵縣，在武帝、昭帝、宣帝朝，張安世的居住地隨著在位的皇帝，遷徙至他們的陵寢所在地，三次遷居，最終住在了杜陵縣。
讚辭如下：馮商說，張湯祖上與留侯張良是同一個祖先，司馬遷對此沒有記載。《史記》中有缺失。漢朝建國以來，先後封侯的有一百四十幾人，但能夠保國固寵，沒有人能夠比得上富平侯家族。張湯在任職期間，雖然執法嚴酷，最終導致獲咎自殺，但張湯能夠推賢揚善，這也惠及到他的後人。張安世履職，位尊而不驕，張賀雖然去世，但生前積有陰德，這些都幫助了家族的興旺。