湯死，家產直不過五百金，皆所得奉賜，無它贏。昆弟諸子欲厚葬湯，湯母曰：\"湯為天子大臣，被惡言而死，何厚葬為！\"載以牛車，有棺而無槨。上聞之，曰：\"非此母不生此子。\"乃盡按誅三長史。丞相青翟自殺。出田信。上惜湯，複稍進其子安世。
安世字子孺，少以父任為郎。用善書給事尚書，精力於職，休沐未嚐出。上行幸河東，嚐亡書三篋，詔問莫能知，唯安世識之，具作其事。後購求得書，以相校無所遺失。上奇其材，擢為尚書令，遷光祿大夫。
昭帝即位，大將軍霍光秉政，以安世篤行，光親重之。會左將軍上官桀父子及禦史大夫桑弘羊皆與燕王、蓋主謀反誅，光以朝無舊臣，白用安世為右將軍光祿勳，以自副焉。久之，天子下詔曰：\"右將軍光祿勳安世輔政宿衛，肅敬不怠，十有三年，鹹以康寧。夫親親任賢，唐、虞之道也，其封安世為富平侯。\"
明年，昭帝崩，未葬，大將軍光白太後，徙安世為車騎將軍，與共征立昌邑王。王行淫亂，光複與安世謀，廢王、尊立宣帝。帝初即位，褒賞大臣，下詔曰：\"夫褒有德，賞有功，古今之通義也。車騎將軍光祿勳富平侯安世，宿衛忠正，宣德明恩，勤勞國家，守職秉義，以安宗廟，其益封萬六百戶，功次大將軍光。\"安世子千秋、延壽、彭祖，皆中郎將侍中。
大將軍光薨後數月，禦史大夫魏相上封事曰：\"聖王褒有德以懷萬方，顯有功以勸百寮，是以朝廷尊榮，天下鄉風。國家承祖宗之業，製諸侯之重，新失大將軍，宜宣章盛德以示天下，顯明功臣以填籓國。毋空大位，以塞爭權，所以安社稷絕未萌也。車騎將軍安世事孝武皇帝三十餘年，忠信謹厚，勤勞政事，夙夜不怠，與大將軍定策，天下受其福，國家重臣也，宜尊其位，以為大將軍，毋令領光祿勳事，使專精神，憂念天下，思惟得失。安世子延壽重厚，可以為光祿勳，領宿衛臣。\"上亦欲用之。安世聞指，懼不敢當。請聞求見，免冠頓首曰：\"老臣耳妄聞，言之為先事，不言情不達，誠自量不足以居大位，繼大將軍後，唯天子財哀，以全老臣之命。\"上笑曰：\"君言泰謙。君而不可，尚誰可者！\"安世深辭弗能得。後數日，竟拜為大司馬車騎將軍，領尚書事。數月，罷車騎將軍屯兵，更為衛將軍，兩宮衛尉，城門、北軍兵屬焉。
時，霍光子禹為右將軍，上亦以禹為大司馬，罷其右將軍屯兵，以虛尊加之，而實奪其眾。後歲餘，禹謀反，夷宗族，安世素小心畏忌，已內憂矣。其女孫敬為霍氏外屬婦，當相坐，安世瘦懼，形於顏色，上怪而憐之，以問左右，乃赦敬，以尉其意。安世浸恐。職典樞機，以謹慎周密自著，外內無間。每定大政，已決，輒移病出；聞有詔令，乃驚，使吏之丞相府問焉。自朝廷大臣莫知其與議也。
嚐有所薦，其人來謝，安世大恨，以為舉賢達能，豈有私謝邪？絕井複為通。有郎功高不調，自言，安世應曰：\"君之功高，明主所知。人臣執事，何長短而自言乎！\"絕不許。已而郎果遷。莫府長史遷，辭去之官，安世問以過失。長史曰：\"將軍為明主股肱，而士無所進，論者以為譏。\"安世曰\"明主在上，賢不肖較然，臣下自修而已，何知士而薦之？\"其欲匿名跡遠權勢如此。
為光祿勳，郎有醉小便殿上，主事白行法，安世曰：\"何以知其不反水漿邪？如何以小過成罪！\"郎淫官婢，婢兄自言，安世曰：\"奴以恚怒，誣汙衣冠。\"告署適奴。其隱人過失，皆此類也。
安世自見父子尊顯，懷不自安，為子延壽求出補吏，上以為北地太守。歲餘，上閔安世年老，複征延壽為左曹、太仆。
初，安世兄賀幸於衛太子，太子敗，賓客皆誅，安世為賀上書，得下蠶室。後為掖庭令，而宣帝以皇曾孫收養掖庭。賀內傷太子無辜，而曾孫孤幼，所以視養拊循，恩甚密焉。及曾孫壯大，賀教書，令受《詩》，為取許妃，以家財聘之。曾孫數有征怪，語在《宣紀》。賀聞知，為安世道之，稱其材美。安世輒絕止，以為少主在上，不宜稱述曾孫。及宣帝即位，而賀已死。上謂安世曰：\"掖廷令平生稱我，將軍止之，是也。\"上追思賀恩，欲封其塚為恩德侯，置家塚二百家。賀有一子蚤死，無子，子安世小男彭祖。彭祖又小與上同席研書，指欲封之，先賜爵關內侯。故安世深辭賀封，又求損守塚戶數，稍減至三十戶。上曰：\"吾自為掖廷令，非為將軍也。\"安世乃止，不敢複言。遂下詔曰：\"其為故掖廷令張賀置守塚三十家。\"上自處置其裏，居塚西鬥雞翁舍南，上少時所嚐遊處也。明年，複下詔曰：\"朕微眇時，故掖廷令張賀輔道朕躬，修文學經術，恩惠卓異，厥功茂焉。《詩》雲：'無言不仇，無德不報。'其封賀弟子侍中關內侯彭祖為陽都侯，賜賀諡曰陽都哀侯。\"時，賀有孤孫霸，年七歲，拜為散騎、中郎將，賜爵關內侯，食邑三百戶。安世以父子封侯，在位大盛，乃辭祿。詔都內別臧張氏無名錢以百萬數。