杜延年為人隨和，善於處理複雜問題，又長期在朝中任職，受到宣帝信任，宣帝出巡，常常隨侍在左右，在宮中則協助處理政務，擔任九卿職務十幾年，皇帝的賞賜和其它饋贈，累計達數千萬。
霍光去世後，霍光的兒子霍禹和霍氏家族謀反，被滅族。宣帝認為杜延年是霍氏舊屬，因而想疏遠杜延年，丞相魏相上奏皇帝，說杜延年一向貴寵，在朝中任職，做了很多奸邪事情，於是宣帝派出官吏調查，隻是發現杜延年所負責的苑馬死亡很多，官府的奴婢缺少衣食，杜延年因為此而被免官，被削去二千戶食邑。又過了幾個月，杜延年被外放，擔任北地郡太守。杜延年以朝中九卿外放為邊郡官吏，治理邊郡的政績一般，宣帝以璽書形式責備杜延年。杜延年於是選用得力官吏，逮捕當地豪強，郡中的治理很快見到成效。一年過後，宣帝派謁者再次賜予杜延年璽書，予以表彰，賞賜黃金二十斤，杜延年又轉任為西河郡太守，在職期間，也做出了成績。宣帝五鳳年間（公元前57-前54年），宣帝征調杜延年擔任禦史大夫。杜延年住在父親當年任職的府衙，不敢坐在父親曾經坐過的位置，坐臥要回避父親曾經用過的地方。當時天下安定，四夷臣服，海內祥和，杜延年在禦史大夫任上三年，以年老有病請求退休，天子予以優待，讓光祿大夫持苻節，賜予杜延年黃金一百斤、牛、酒，還有醫藥。杜延年此時已經病危。宣帝又賜予安車駟馬，杜延年退休回家。幾個月後去世，諡號為敬侯，兒子杜緩繼承爵位。
杜緩少年時，已經是郎官，宣帝本始年間（公元前73-前70年），杜緩以校尉身份跟隨蒲類將軍趙充國抗擊匈奴，撤軍返回後在朝中擔任諫議大夫，又轉任為上穀郡都尉，雁門郡太守。父親杜延年去世後，宣帝召杜緩回家料理喪事，然後拜杜緩為太常，負責治理各皇陵縣，每年冬天判案裁定後，杜緩封上案卷，而後撤去酒食，屬下官吏都說杜緩有恩。元帝剛繼位，當時糧食昂貴，百姓流離失所，元帝永光年間（公元前43-前39年），西部羌人發生叛亂，杜緩向朝廷上書，請求捐助錢、糧，以助軍用，前後達數百萬。
杜緩有六個弟弟，五人當過大官，小弟弟杜熊在五個郡先後擔任二千石官員，三個弟弟擔任過州部刺史，均有政績，隻有中間的弟弟杜欽沒有當過官，但是名氣最大。
杜欽，字子夏，從小鑽研經書，家庭富有，杜欽有一隻眼睛失明，因此杜欽不願意做官。茂陵（武帝的陵寢）縣人杜鄴與杜欽是同姓、同字，均是以才能在京師聞名，有些讀書人稱杜欽為“盲杜子夏”。杜欽討厭他們取笑自己的殘疾，於是戴上小帽，高寬皆為二寸，京師裏的讀書人又改稱杜欽為“小冠杜子夏”，稱杜鄴為“大冠杜子夏”。
當時成帝的舅舅大將軍王鳳以外戚身份輔政，求賢若渴，希望招納賢士，協助自己處理政事。王鳳的父親頃侯王禁與杜欽的哥哥杜緩關係很好，王鳳也了解杜欽的才能，奏請皇帝，任命杜欽為大將軍幕府武庫令。職務清閑，這正是杜欽所喜歡的職務。
杜欽為人深沉博學而有見解。成帝還是太子時，喜歡女色，繼位之後，皇太後詔令，在良家女子中為皇帝挑選嬪妃。杜欽向大將軍王鳳諫言：
“禮製規定，天子可以娶九位女子，是最高的陽數，為的是多生育子女。在民間一定能夠挑選到窈窕淑女，但不必強求姿色，這有助於皇帝的聖德，有助於後宮治理。嬪妃少了，不必續補，有助於皇帝養壽，也避免後宮爭寵。後宮中的嬪妃要有淑德貞行，繼承皇位的太子才能夠成為聖君，後宮要訂立嚴格的製度，這樣皇帝才能夠養壽，保持身體健康，享受天年。後宮舍棄製度不用，皇帝則會沉溺於女色，沉溺於女色，皇帝的壽命即會受到影響。《尚書》中講‘縱欲過度，或三四年’，強調了帝王在後宮中縱欲過度的危害。男子五十歲，仍然好色；婦人四十歲，容貌已經大不如前。以衰老前的姿色侍奉仍有色欲的男子，不用禮儀製度加以限製，那些不能挽回容貌的嬪妃，即會產生妒忌心理；有了妒忌心理，後宮嬪妃間則會產生猜忌，因此而產生隔閡。在春秋時，晉獻公被後宮讒言所迷惑，申生無辜受到傷害。現在皇帝正是年輕氣旺，還沒有生下兒子，正在努力學習，增長知識，後宮也沒有確立親近後妃的製度。大將軍輔政，應該著手做這件事情，按照古時的禮製，為皇帝迎娶九位女子，選擇有德的家庭，選求淑女，不一定非要美貌，或者能歌善舞的美女，以此作為皇帝挑選嬪妃的萬世大法。年輕人，戒之在色，《詩經·小弁》中對此有所提醒，須時時留意。願大將軍重視。”
王鳳將此事奏報太後，太後認為上古時的事情未必當真。杜欽又再次諫言：
“詩經》中說：‘殷鑒不遠，在夏代末世。’這其中有著強烈的諷諫意義，不重視古訓的人常會忽略這些，不能不慎重！上次講到皇帝迎娶九位女子，隻是大致談了皇帝娶親，事關帝王禍福的重要性，應該警惕，我擔心將軍沒有聽進我的話。皇後、嬪妃製度，是皇帝能否享有天年，國家是否遭受禍亂的關鍵。考察三代在末世時，縱觀殷代的高宗，周代的周宣王，他們都是中興的帝王，近代漢朝的經曆，所產生的禍亂也同樣與女德有關。因此在古時，周康王因為貪戀女色，早晨晏起，夫人不鳴玉璜，《關雎》為此做詩，感歎女德的重要，古人都知道好色之人，好色短壽，脫離禮儀製度的約束，帝王即會好色而不加節製，社會也會因此而受到影響，這樣還會敗壞社會風氣。因此在《詩經》中，歌頌淑女，是君子的好配偶，強調忠孝的作用，仁德的重要性。人們都希望皇帝有仁德，享壽天年，國家太平祥和，這是做臣子的最大願望，要時時謹記。《易經》中講：‘正其本，事情才能通順。’但凡對事情產生疑問就難以確立，向古人尋求智慧，典籍中沒有記載，與今天相比，卻吉凶相同，對待此事仍然猶疑不決，民眾即會產生猜疑，僵持下去，製度就難以確立。現在皇帝迎娶九女的製度，合乎上古時的遺訓，於今天也無害，也不逆於民意，應該盡早實施，它會為天下帶來福祉。大將軍現在輔政，如果不盡早確立製度，恐怕會令天下人失望。懇請大將軍相信臣子的忠心，顧念《關雎》暗示的含義，不辜負先帝的囑托，擔負起輔弼朝政的重任，從天子繼位開始，就要保證後宮製度清明，為漢家天下夯實基礎，此事不能疏忽，不能再遲疑。”
王鳳不能製定製度，還是按照老規矩辦事。恰好皇太後的妹妹司馬君力與杜欽哥哥的兒子通奸，有人將此事報告皇太後，杜欽頓時感到慚愧，惶恐，請求免去官職，退休在家。
再後來發生了日蝕、地震，朝廷在全國舉薦賢良方正，以及敢於直言的士人，合陽侯梁放舉薦杜欽，杜欽上奏：
“陛下畏懼天命，對發生的災異感到恐懼，召見公卿，在全國舉薦敢於直言的士人，希望通過他們，能夠了解上天的旨意，檢討治國理政的缺失。臣杜欽愚蠢、笨拙，學術淺陋，不足以回答皇上的策問。臣聽說發生日蝕、地震，是由於陰盛陽衰。臣子，是君的陰麵；兒子，是父親的陰麵；妻子是丈夫的陰麵；夷狄，是中國的陰麵。《春秋》中記載，在二百四十餘年間，日蝕發生過三十六次，地震發生過五次，每次發生，或者是夷狄侵犯中國，或者是朝政被臣下掌握，或者是婦人欺淩丈夫，或者是臣子背叛君主，事情雖然不同，但道理卻是相通的。臣暗中觀察當朝人事的變化，考查與災異有關聯的事情，本朝大臣沒有不安分的人，外戚中沒有背叛乖戾的人，崤山以東的諸侯國，沒有強大到不可遏製，三麵邊疆的蠻夷，沒有悖逆叛亂的行為，剩下來的隻有後宮。根據什麼呢？太陽在戊申時出現日蝕，一直持續到未時。戊時未時，是土。土的位置，位於中宮。夜晚在未央宮的殿中可以感覺到地震，這一定是皇後嬪妃間在爭寵，以至於相互間詆毀傷害，希望陛下能夠有所警惕。一切變故均有著天人感應，人世間的事情出現缺失，災異就會發生。在此時以德來應對，災異就會消退；以善來應對，禍亂就不會再延續。商代的高宗武丁看到野雉飛到鼎耳上，向武丁發出警示，隨後武丁自我檢討，修正錯誤，此後享壽百年，殷商因此而中興，關鍵是要有措施。要有應對的方法，還要有誠意，非誠不立，非信不行。在春秋時，宋景公是一位小國諸侯，不願意將災禍嫁禍予他人，再三表示人君的誠意，熒惑星因此而隱退。以陛下的英明，對後宮以至誠相待，檢討災異出現的原因，一定會有所感應，即使有災禍出現，也難以撼動朝廷。孔子說：‘仁很遠嗎，求仁得仁！’希望陛下能夠擺正皇後、嬪妃間的關係，抑製後宮嬪妃的權利，戒除奢侈，減少遊樂，躬身節儉，親自處理朝政，出行時要乘坐禦車，在輦道上行駛，關心二位後宮太後的起居，按時作息。如此行事，即使堯、舜也能夠與他們比較聖德，就是有一些災異，也會被消除！如果不留心民間的議論，不能按照德才授予官員職務，用天下財富，享受著奢侈淫逸的生活，舉天下百姓的辛勞，來滿足耳目娛樂，接近諂諛小人，遠離正直大臣，相信賊臣，使得忠良受到傷害，賢者遠離朝堂，忠臣得不到信任，即使沒有災異，社稷也會遭遇危害。天下如此浩大，萬事如此繁多，祖業如此珍重，陛下切不可淫逸度日，奢侈無度。希望陛下能夠拋棄那些沒有益處的享受，為天下百姓著想。臣杜欽愚蠢，說話不知高低，所言不足以采納。”
這年夏天，成帝召集敢於直言的士人，來到白虎殿對策，成帝策問：“天地間的道理為何寶貴？先王製定的法規如何執行？《六經》中的義理為何能夠垂範後世？聖人做事首先應該選擇什麼？選取賢者有什麼方法？當今要做的事情，那些最為重要？各位按照經學，對這些問題給予對策。”
杜欽回答策問：
“臣聽說天道以誠信為貴，地道以正直為貴；不能誠信正直，萬物不能生長。生命，是天地間所珍視的。君王接受天命，對於天地賦予的生命，按照道義，進行撫育，昆蟲草木，均能夠享受到帝王的恩惠。君王效法天地，不具備仁，就不能廣施恩德，不具備義，就不能正身克己。克己為義，寬恕待人，是《六經》中所推崇的。不具備仁孝的人，事君也不會忠誠，擔任官職也不會敬業，奔赴戰場也不會勇敢，結交朋友也不會誠信。孔子說：‘沒有孝行的人，不遭遇災禍，是不可能的。’孝行，是人在做事情以前，首先要考慮的。也是鄉鄰觀察一個人品行的依據，考查一個人擔任官職，是否能夠稱職的依據，人有了成就，要看他舉薦誰，人獲得富貴，要看他施予誰，人雖然貧窮，要看他能不做什麼事，人一旦困窘，要看他能拒絕什麼事，親近者，要觀察他的品行，疏遠者，要觀察他的主張。孔子說：‘觀察人的結交，觀察人的行為，觀察一個人對於人生的態度，就可以全麵地了解一個人。’這是了解一個人的方法。殷代的風俗繼承夏代，崇尚質樸，周代的風俗繼承殷代，崇尚文雅，現在漢朝繼承衰周、暴秦的弊端，應該抑製文，而崇尚質，拋棄奢靡，而提倡節儉，求真務實，去除虛偽。孔子說：‘討厭邪惡的紫色壓製朱紅的正色。’這是當今治國理政中的要務。臣內心憂慮，講的都是一些逆耳之言，不講出來，怕日積月累，對朝政有所傷害，臣不敢違背道義，屈從於世俗，背離忠誠，而一味地阿諛逢迎。臣聽說好色無度，就一定會產生好惡；好惡之心產生，就會將寵愛集於一人；寵愛集於一人，後宮繁育後代則會受到影響，妒嫉也會隨之產生。如此一來，後宮婦人的怨言就會逐漸增多，問題會逐漸地積累起來。希望陛下能夠普施恩惠，不要把寵愛集於一人，這樣萬民才會喜悅，皇位繼承人也才能夠有所保證，海內長治久安。即使有一些議論，又何足掛慮！”