延年字幼公，亦明法律。昭帝初立，大將軍霍光秉政，以延年三公子，吏材有餘，補軍司空。始元四年，益州蠻夷反，延年以校尉將南陽士擊益州，還，為諫大夫。左將軍上官桀父子與蓋主、燕王謀為逆亂，假稻田使者燕倉知其謀，以告大司農楊敞。敞惶懼，移病，以語延年。延年以聞，桀等伏辜。延年封為建平侯。
延年本大將軍霍光吏，首發大奸，有忠節，由是擢為太仆、右曹、給事中。光持刑罰嚴，延年輔之以寬。治燕王獄時，禦史大夫桑弘羊子遷亡，過父故吏侯史吳。後遷捕得，伏法。會赦，侯史吳自出係獄，廷尉王平與少府徐仁雜治反事，皆以為桑遷坐父謀反而侯史吳臧之，非匿反者，乃匿為隨者也。即以赦令除吳罪。後侍禦史治實，以桑遷通經術，知父謀反而不諫爭，與反者身無異；侯史吳故三百石吏，首匿遷，不與庶人匿隨從者等，吳不得赦。奏請複治，劾廷尉、少府縱反者。少府徐仁即丞相車千秋女婿也，故千秋數為侯史吳言。恐光不聽，千秋即召中二千石、博士會公車門，議問吳法。議者知大將軍指，皆執吳為不道。明日，千秋封上眾議，光於是以千秋擅召中二千石以下，外內異言，遂下廷尉平、少府仁獄。朝廷皆恐丞相坐之。延年乃奏記光爭，以為“吏縱罪人，有常法，今更詆吳為不道，恐於法深。又丞相素無所守持，而為好言於下，盡其素行也。至擅召中二千石，甚無狀。延年愚，以為丞相久故，及先帝用事，非有大故，不可棄也。間者民頗言獄深，吏為峻詆，今丞相所議，又獄事也，如是以及丞相，恐不合眾心。群下讙嘩，庶人私議，流言四布，延年竊重將軍失此名於天下也！”光以廷尉、少府弄法輕重，皆論棄市，而不以及丞相，終與相竟。延年論議持平，合和朝廷，皆此類也。
見國家承武帝奢侈師旅之後，數為大將軍光言：“年歲比不登，流民未盡還，宜修孝文時政，示以儉約寬和，順天心，說民意，年歲宜應。”光納其言，舉賢良，議罷酒榷、鹽、鐵，皆自延年發之。吏民上書言便宜，有異，輒下延年平處複奏。言可官試者，至為縣令，或丞相、禦史除用，滿歲以狀聞，或抵其罪法，常與兩府及廷尉分章。
昭帝末，寢疾，征天下名醫，延年典領方藥。帝崩，昌邑王即位，廢，大將軍光、車騎將軍張安世與大臣議所立。時，宣帝養於掖廷，號皇曾孫，與延年中子佗相愛善，延年知曾孫德美，勸光、安世立焉。宣帝即位，褒賞大臣，延年以定策安宗廟，益戶二千三百，與始封所食邑凡四千三百戶。詔有司論定策功；大司馬大將軍光功德過太尉絳侯周勃；車騎將軍安世、丞相楊敞功比丞相陳平；前將軍韓增、禦史大夫蔡誼功比潁陰侯灌嬰；太仆杜延年功比朱虛侯劉章；後將軍趙充國、大司農田延年、少府史樂成功比典客劉揭，皆封侯益土。
延年為人安和，備於諸事，久典朝政，上任信之，出即奉駕，入給事中，居九卿位十餘年，賞賜賂遺，訾數千萬。
霍光薨後，子禹與宗族謀反，誅。上以延年霍氏舊人，欲退之，而丞相魏相奏延年素貴用事，官職多奸。遣吏考案，但得苑馬多死，官奴婢乏衣食，延年坐免官，削戶二千。後數月，複召拜為北地太守。延年以故九卿外為邊吏，治郡不進，上以璽書讓延年。延年乃選用良吏，捕擊豪強，郡中清靜。居歲餘，上使謁者賜延年璽書，黃金二十斤，徙為西河太守，治甚有名。五鳳中，征入為禦史大夫。延年居父官府，不敢當舊位，坐臥皆易其處。是時，四夷和，海內平，延年視事三歲，以老病乞骸骨，天子優之，使光祿大夫持節賜延年黃金百斤、酒，加致醫藥，延年遂稱病篤。賜安車駟馬，罷就第。後數月薨，諡曰敬侯，子緩嗣。
緩少為郎，本始中以校尉從蒲類將軍擊匈奴，還為諫大夫，遷上穀都尉，雁門太守。父延年薨，征視喪事，拜為太常，治諸陵縣，每冬月封具獄日，常去酒省食，官屬稱其有恩。元帝初即位，穀貴民流，永光中西羌反，緩輒上書入錢、穀以助用，前後數百萬。
緩六弟，五人至大官，少弟熊曆五郡二千石、三州牧刺史，有能名，唯中弟欽官不至而最知名。
欽字子夏，少好經書，家富而目偏盲，故不好為吏。茂陵杜鄴與欽同姓字，俱以材能稱京師，故衣冠謂欽為“盲杜子夏”以相別。欽惡以疾見詆，乃為小冠，高廣財二寸，由是京師更謂欽為“小冠杜子夏”，而鄴為“大冠杜子夏”雲。
時，帝舅大將軍王鳳以外戚輔政，求賢知自助。鳳父頃侯禁與欽兄緩相善，故鳳深知欽能，奏請欽為大將軍軍武庫令。職閑無事，欽所好也。
欽為人深博有謀。自上為太子時，以好色聞，及即位，皇太後詔采良家女。欽因是說大將軍鳳曰：“禮壹娶九女，所以極陽數，廣嗣重祖也；必鄉舉求窈窕，不問華色，所以助德理內也；娣侄雖缺不複補，所以養壽塞爭也。故後妃有貞淑之行，則胤嗣有賢聖之君；製度有威儀之節，則人君有壽考之福。廢而不由，則女德不厭；女德不厭，則壽命不究於高年。《書》雲‘或四三年’，言失欲之生害也。男子五十，好色未衰；婦人四十，容貌改前。以改前之容侍於未衰之年，而不以禮為製，則其原不可救而後徠異態；後徠異態，則正後自疑而支庶有間適之心。是以晉獻被納讒之謗，申生蒙無罪之辜。今聖主富於春秋，未有適嗣，方鄉術入學，未親後妃之議。將軍輔政，宜因始初之隆，建九女之製，詳擇有行義之家，求淑女之質，毋必有（聲色）〔色聲〕音技能，為萬世大法。夫少，戒之在色，《小卞》之作，可為寒心。唯將軍常以為憂。”
鳳白之太後，太後以為故事無有。欽複重言：“《詩》雲‘殷監不遠，在夏後氏之世’。刺戒者至迫近，而省聽者常怠忽，可不慎哉！前言九女，略陳其禍福，甚可悼懼，竊恐將軍不深留意。後妃之製，夭壽治亂存亡之端也。跡三代之季世，覽宗、宣之饗國，察近屬之符驗，禍敗曷常不由女德？是以佩玉晏鳴，《關雎》歎之，知好色之伐性短年，離製度之生無厭，天下將蒙化，陵夷而成俗也。故詠淑女，幾以配上，忠孝之篤，仁厚之作也。夫君親壽尊，國家治安，誠臣子至願，所當勉之也。《易》曰：‘正其本，萬物理。’凡事論有疑未可立行者，求之往古則典刑無，考之來今則吉凶同，卒搖易之則民心惑，若是者誠難施也。今九女之製，合於往古，無害於今，不逆於民心，至易行也，行之至有福也，將軍輔政而不蚤定，非天下之所望也。唯將軍信臣子之願，念《關雎》之思，逮委政之隆，及始初清明，為漢家建無窮之基，誠難以忽，不可以遴。”鳳不能自立法度，循故事而已。會皇太後女弟司馬君力與欽兄子私通，事上聞，欽慚懼，乞骸骨去。
後有日蝕、地震之變，詔舉賢良方正能直言士，合陽侯梁放舉欽。欽上對曰：“陛下畏天命，悼變異，延見公卿，舉直言之士，將以求天心，跡得失也。臣欽愚戇，經術淺薄，不足以奉大對。臣聞日蝕、地震，陽微陰盛也。臣者，君之陰也；子者，父之陰也；妻者，夫之陰也；夷狄者，中國之陰也。《春秋》日蝕三十六，地震五，或夷狄侵中國，或政權在臣下，或婦乘夫，或臣子背君父，事雖不同，其類一也。臣竊觀人事以考變異，則本朝大臣無不自安之人，外戚親屬無乖剌之心，關東諸侯無強大之國，三垂蠻夷無逆理之節；殆為後宮。何以言之？日以戊申蝕，時加未。戊未，土也。土者，中宮之部也。其夜地震未央宮殿中，此必適妾將有爭寵相害而為患者，唯陛下深戒之。變感以類相應，人事失於下，變象見於上。能應之以德，則異咎消亡；不能應之以善，則禍敗至。高宗遭雊雉之戒，飭己正事，享百年之壽，殷道複興，要在所以應之。應之非誠不立，非信不行。宋景公，小國之諸侯耳，有不忍移禍之誠，出人君之言三，熒惑為之退舍。以陛下聖明，內推至誠，深思天變，何應而不感？何搖而不動？孔子曰：‘仁遠乎哉！’唯陛下正後妾，抑女寵，防奢泰，去佚遊，躬節儉，親萬事，數禦安車，由輦道，親二宮之饔膳，致（昏晨）〔晨昏〕之定省。如此，即堯、舜不足與比隆，咎異何足消滅！如不留聽於庶事，不論材而授位，殫天下之財以奉淫侈，匱萬姓之力以從耳目，近諂諛之人而遠公方，信讒賊之臣以誅忠良，賢俊失在岩穴，大臣怨於不以，雖無變異，社稷之憂也。天下至大，萬事至眾，祖業至重，誠不可以佚豫為，不可以奢泰持也。唯陛下忍無益之欲，以全眾庶之命。臣欽愚戇，言不足采。”
其夏，上盡召直言之士詣白虎殿對策，策曰：“天地之道何貴？王者之法何如？《六經》之義何上？人之行何先？取人之術何以？當世之治何務？各以經對。”
欽對曰：“臣聞天道貴信，地道貴貞；不信不貞，萬物不生。生，天地之所貴也。王者承天地之所生，理而成之，昆蟲草木靡不得其所。王者法天地，非仁無以廣施，非義無以正身；克己就義，恕以及人，《六經》之所上也。不孝，則事君不忠，蒞官不敬，戰陳無勇，朋友不信。孔子曰：‘孝無終始，而患不及者，未之有也。’孝，人行之所先也。觀本行於鄉黨，考功能於官職，達觀其所舉，富觀其所予，窮觀其所不為，乏觀其所不取，近觀其所為〔主〕，遠觀其所主。孔子曰：‘視其所以，觀其所由，察其所安，人焉廋哉？’取人之術也。殷因於夏尚質，周因於殷尚文，今漢家承周、秦之敝，宜抑文尚質，廢奢長儉，表實去偽。孔子曰‘惡紫之奪朱’，當世治之所務也。臣竊有所憂，言之則拂心逆指，不言則漸日長，為禍不細，然小臣不敢廢道而求從，違忠而耦意。臣聞玩色無厭，必生好憎之心；好憎之心生，則愛寵偏於一人；愛寵偏於一人，則繼嗣之路不廣，而嫉妒之心興矣。如此，則匹婦之說，不可勝也。唯陛下純德普施，無欲是從，此則眾庶鹹說，繼嗣日廣，而海內長安。萬事之是非何足備言！”