成帝性情寬厚，喜歡文辭，長久沒有孩子，因此多次微服出行，親近一些佞幸小臣。趙皇後、李婕妤出身卑微，在後宮受到專寵，這也是皇太後和成帝幾位舅舅日夜擔心的事情。作為至親，難以反複提醒這些話，所以推舉穀永等人，借天變和出現的災異勸諫成帝，希望成帝能夠接受。穀永知道有後宮支持，所以大膽諫言，不避忌諱，每次諫言，總是能夠得到朝中的厚禮答複。但這次遞上奏章後，成帝看了奏章大怒。衛將軍王商暗地裏讓穀永趕快離開長安。成帝派出侍禦史追捕穀永，敕令一直追到距離長安六十裏的交道廄才停下來。侍禦史沒有追上穀永，回來報告，成帝此時也消了氣，有些後悔。第二年，征穀永擔任太中大夫，又轉任為光祿大夫兼任給事中。
成帝元延元年（公元前12年），穀永擔任北地郡太守。當時災異頻繁出現，穀永將要上任時，成帝讓衛尉淳於長前來詢問穀永，臨別前還有什麼話要說。穀永回答：
臣穀永幸得以以愚鈍之材，擔任太中大夫，作為朝廷拾遺補缺的大臣，跟隨在朝臣後麵，進不能盡忠竭慮，輔佐皇上宣揚聖德，退不能披堅執銳，立下討伐賊寇的功勞，仍然蒙受皇上厚恩，現在要轉任為北地郡太守。即使讓臣絕命隕首，身沒荒草，也不足以報答皇上的厚恩。陛下聖德仁厚，沒有忘記微臣，像周文王一樣虛心納諫，不嫌棄愚夫說話荒謬，下詔派衛尉來向臣穀永詢問臨行前還有什麼話要說。臣聽說服侍君王，要有向君王袒露忠心的義務，表述忠言；擔任官職要敢於承擔責任，恪盡職守。臣穀永幸得以作為朝廷官員，雖然不能諫言得失，還是要盡心竭力地恪盡職守，在任上努力奉獻，為皇上撫恤百姓，很難談出有關得失的言辭。忠臣對於皇上，誌在忠誠，雖然臣身處邊郡，時刻不敢忘懷君王的恩德，臣將會以死來報效國家。在春秋時，史魚臨終時遺言，餘忠未盡，屍臥棺柩，猶顯忠誠；汲黯身居朝外，思慮憂憤，仍然寄言於李息。《尚書》中講：“雖然身居朝外，心中無時無刻不留在王室。”臣穀永幸得以在朝中做官出入三年，即使現在要執幹戈守衛邊陲，思慕皇上之心，仍然讓臣常掛念宮中，因此臣在此越職，略談一些這幾年的憂慮。
臣聽說上天撫育百姓，因為難以治理，所以為他們安排君主，加以統治，擁有海內並不是為了天子，封疆裂土也不是為了諸侯，他們心中要裝著百姓。垂三統，列三正，去無道，開有德，天下不會永遠私於一姓，君王要向天下人宣示，天下是天下人的天下，不是一個人的天下。王者要躬行道德，順從天地，博愛寬恕，恩德要惠及野草，朝廷征收賦稅，安排徭役，雖然取之於民，但不能超過限度，宮室車服，不能逾越製度，隻有節省財用，國家才能夠祥和，天下才能理順陰陽，自然現象才會合乎常理，百姓也才能祥和長壽，稼禾茂盛，符瑞顯現，這些都是上天護佑的結果。假若君王失道妄行，暴殄天物，窮奢極欲，沉湎於荒淫之中，聽信婦言，驅逐賢臣，離棄骨肉，專用佞臣，嚴刑峻法，苛捐雜稅，百姓就會產生怨恨，陰陽也會產生錯謬，自然現象會出現災異，到那時，上天震怒，災異頻繁，日月薄食，五星失序，山崩河潰，水泉奔踴，妖孽顯現，彗星逞威，饑謹遍野，百姓短壽，萬物毀傷。君王如果還不知道改悔，厄運還會接踵而至，到那時，上天就不再發出警告，直接更換有德之君。《詩經》中說：“上天西顧，垂青文王。”
上天拋棄邪惡，摒棄弱者，授命聖賢，這是天地不變的法則，古往今來均是這個道理。功德有薄厚，壽限有長短，時世有更替，天道有盛衰。陛下繼承八位先帝的功業（包括呂後），是陽數中最後一位數字，涉及三七數字的節點，又遭遇無妄的卦運，還有一百零六數字的災厄。這三種厄運當頭，難以預料，疊加在一起。建始元年以來，一共才二十幾年，災異頻發，相繼出現，其數字超過《春秋》中記載的數字。從高祖到元帝，八代帝王記載的災異，至今還沒有消除，今年的正月己亥朔日，再次出現日食，在一年之中三個初始時間發生，四月丁酉，四方星辰，在白晝間發生流星雨，七月辛未，彗星從天際間掃過。三種災異相繼出現，從年初到年中，這樣頻繁地出現，昭示著災異眾多，還會陸續出現，接下來還會發生饑饉，百姓又要流離失所，啼饑號寒。彗星出現，本身就是大災異，是土精所生，流星雨出現，預示著要出現饑饉災荒，在此後，民眾騷動，可能會發生動亂，時間不會太久，即使積德行善，還要擔心，災禍難以避免，早晚還會到來。加上深宮後庭，還有驕臣悍妾，醉酒狂悖荒謬之事迭起，北宮苑囿街巷之中，臣妾之家，幽閑之處，還有像春秋時的夏徵舒、崔杼這樣的亂臣賊黨；朝外有地方上的樊並、蘇令，類似陳勝、項梁舉兵造反的暴徒。內亂之禍早晚也會到來，外亂之禍，也要警惕，舉兵造反的時間，要看火星芒角發亮。到那時，安危隻是轉瞬間，宗廟墜毀堪憂。臣穀永想到這些，不禁膽戰心寒，所有這些事情的發生，預言了幾年。其萌芽在下麵出現，其災禍要在上麵兌現，敢不警惕嗎！
禍端起於細微，奸邪生於隨意。願陛下端正君臣位序，不再與群小遊戲宴飲；那些中黃門宦官與後宮妃妾一向驕橫恣肆，凡是醉酒失禮之人，要將他們驅逐出皇宮，嚴格執行三綱，整頓後宮，製止驕妒漫延，鼓勵婉約的禮儀，從失意士人中選拔優秀人才，對有怨恨的士人要加以撫慰。君主應該有至尊之重，有帝王之威，出行時要有法駕隨行，陳兵清道後再行，不可微服出行，不可在臣妾家中用餐。戒除這三項，內亂之禍或許可以免除。
民間百姓造反，大多是因為百姓饑寒困苦，官吏不加以撫恤，如果百姓已經饑困，還要加重賦斂，民怨就會沸騰，最擔心的是，君主還茫然不知。《易經》中說：“囤積膏腴，占卜小事者吉，占卜大事者凶。”又說：“饑困沒有大的損失，為泰，災禍橫生，水害頻發，則會滅亡。”《妖辭》中有：“門閂響動，飛落，象征無道，象征臣下為非作歹，亂臣謀反篡位。”君主遭遇衰世，會有饑饉之災，不減少用度，還要大肆揮霍，則凶，百姓困苦，無力交納賦稅，愁苦怨恨，水災頻發；城門關鎖，是守護國家用的，門閂無故飛落，象征著國將不國，門閂才會飛落。在往年，下麵的郡、諸侯國中有二十一次發生水災，糧食歉收。今年蠶桑、麥子收成不好。江河洶湧，河堤潰決，大水泛濫，有十五個郡、諸侯國遭受水災。莊稼連年歉收，現在又錯過了農時，種不上冬小麥。流離失所的百姓，將會遍布海內，流民擁塞在關外，祈求活命。大災已經交替出現，水災浩蕩，黎民百姓如此困苦，應該減少常稅，減省宮中的享用，但是有關部門還在奏請，要增加百姓的賦稅，真是荒謬絕倫，悖逆民心，這是布怨趨禍的做法。城門關鎖飛落，是因為有這些現象，才發出關鎖飛落的警示。在古時候，穀物歉收，皇宮要減少膳食，災害發生，要減少服飾，凶年不建房屋，這是明王的製度。《詩經》中說：“凡民有喪，要加以撫恤。”《論語》中說：“百姓不足，君何以享受？”臣願陛下不要批準加賦的奏請，還要減少宮中太官、導官、中禦府、均官、掌畜、廩犧的用度，停止尚方、織室、京師、郡、國官員製作服飾，停止運輸新的器物、衣服，用這些錢財資助大司農。將皇上的恩德遍施予海內，賑濟困苦，打開關津，接納困苦饑民，盡力地幫助他們，以解燃眉之急。到了立春，再派出使者巡行各地，引導風俗，宣揚聖德，撫恤孤寡，問民疾苦，慰勞二千石官員，勸農耕桑，不妨礙農時，以寬免撫恤饑困中的黎民百姓，在此時，更要防止奸邪趁機作亂。海內的亂源，或許可以平息。
臣聽說聖明的君主可以與他一起做善事，不可以與他一起做惡事，昏聵的君主可以與他一起做惡事，不可以與他一起做善事。陛下的天性，聰明睿智，應該是聖明君主的資質。希望能夠體察愚臣的忠言，警惕三難的危險，懷有畏懼之心，下定決心為善，拋棄過去的邪念，不再重複以往的錯誤，勵精圖治，以至誠感動上天，那麼即使有災禍，也會停留在上麵，不會讓災禍降臨到下麵，這還有什麼憂慮呢？臣隻是擔心陛下不能夠專心致誌，仍然沉溺於過去的癖好，親近群小，不肯去做！
成帝讀了上奏，被穀永的話深深打動。
穀永對於經書的學習，一般能夠通達，與杜欽、杜鄴的知識水平相當，但不如劉向父子和揚雄。穀永對於天官、《京氏易經》掌握得很好，因此可以談論災異，穀永向成帝先後上書四十幾件事，大都是陳述相同的道理，主要是談論皇上的錯誤，與後宮嬪妃間的問題。穀永與外戚王氏的關係很好，成帝知道這些，對穀永不是很信任。
穀永所擔任的職務，基本上都能夠稱職，在北地郡擔任太守一年多，衛將軍王商去世，曲陽侯王根以驃騎將軍身份輔佐朝政，推薦穀永，征入朝中擔任大司農。一年後，穀永生病，又過了三個月，有關部門奏請免去穀永的職務。按照舊例，公卿有病，皇上應給予特別賞賜，準假休息，到了穀永，卻予以免職。幾個月後，穀永在家中病逝。穀永本名並，因為尉氏縣的樊並造反，改名為永。
杜鄴，字子夏，原來是魏郡繁陽縣人。祖父和父親積累功勞，後來做了郡太守，在武帝朝遷至茂陵（武帝的陵寢）縣居住。杜鄴從小失去父親，母親是張敞的女兒。杜鄴長大後，跟隨張敞的兒子張吉學習，得以閱讀張吉家中收藏的書籍。以孝廉，被舉薦為郎官。
杜鄴與車騎將軍王音的關係很好。平阿侯王譚不接受城門校尉的職務，去世之後，成帝為此事而懊悔，哀傷不已，又任命王譚的弟弟成都侯王商享受特進待遇，負責城門守衛，可以像將軍一樣設置幕府，舉薦官吏。杜鄴看到王音此前與平阿侯王譚有矛盾，就對王音講：“杜鄴聽說，一般的人情世故，對於恩深的人，要謹慎侍奉，對於親愛的人，要有求必應。親戚之間與關係較遠的人，不能沒有區別地加以對待，如果這樣做了，怎麼會不遭人怨恨？這就是《詩經·棠棣》、《詩經·角弓》中所講的道理。在春秋時，秦伯有千乘之國，卻不能容納同母弟弟，《春秋》中記下這件事加以諷刺。周公、召公不是這樣做，他們忠可以輔佐成王，義可以相互幫助，對待親人一視同仁，與尊貴的人平等相處，不以聖德獨攬國家恩寵，也不以年長額外接受榮譽，二人的封國均在陝地，共同輔佐周王室。因此在朝內，沒有恩愛、怨恨的裂痕；在朝外，沒有相互侵奪的羞辱，均能得到上天的護佑。也正因為這些，他們兩位才被後人稱為聖人。我注意到成都侯在朝中享受特進，負責城門守衛，還有皇上的詔命，可以設置將軍幕府，舉薦官吏，這明顯是皇上要尊寵重用成都侯。將軍應該順從皇上的旨意，應該與成都侯共商國事，共同參與朝中的廷議。最終的決策，自然要由將軍來決定。這樣做了，誰還能不服從？在古時，魏文侯感悟大雁的奉獻，後來父子間感情加深，陳平感謝壹飯的舊恩，使得將相間關係融洽，這些事情雖然發生在楹階俎豆之間，但在處理國家危難時，卻意義重大！我深感大臣趙倉唐、陸賈的深明大義，所講的這些話隻能意會，願將軍深思。”王音被杜鄴的話打動，從此後，王音與成都侯王商日益親密；二人均很看重杜鄴。後來杜鄴因為有病離任。王商擔任大司馬衛將軍後，又任命杜鄴擔任將軍幕府主簿，作為心腹，推薦杜鄴擔任侍禦史。哀帝繼位之後，杜鄴轉任為涼州刺史。在任上執政寬鬆，很少濫施威風，幾年後因病而被免職。
在哀帝朝，哀帝的祖母定陶傅太後，稱號為皇太太後。哀帝的母親丁姬稱號為帝太後，皇後是傅太後堂弟的女兒。傅氏家族中有三人受封為列侯，丁氏家族中有二人受封為列侯。皇上又封了傅太後同母弟的兒子鄭業為陽信侯。傅太後喜歡幹預朝政。元壽元年（公元前2年）正月初一，哀帝任命皇後的父親孔鄉侯傅晏為大司馬衛將軍，任命舅舅陽安侯丁明為大司馬驃騎將軍。在授命那一天，天上出現日食，哀帝下詔，要舉薦敢於諫言的方正士人。扶陽侯韋育舉薦杜鄴為方正，杜鄴回答皇上策問：
臣聽說禽息憂國，破首不恨；卞和獻寶，刖足甘心。臣幸得以奉詔直言，也不會有上述二人的遭遇，不敢不盡言！臣聽說，世上萬物，陽尊陰卑，卑者隨尊，尊者兼卑，這是天道。男人雖賤，在家中也是陽；女人雖貴，在家中也是陰。因此禮經有三從的道理，即使女子有文王母親的賢惠，也應該服從於兒子。《春秋》中記述了紀侯母親的故事，目的是為了減少女子對朝政的幹預。在春秋時，鄭伯放任薑氏的欲望，終於有了叔段篡國的災禍；周襄王在宮中迫於惠後的非難，最後不得不亡命於鄭國。漢朝建國之後，呂太後在朝中，以權利將恩惠濫施於親屬，又讓外孫女，做了惠帝的皇後，在當時，皇位繼承變得撲朔迷離，很多事情在暗室中操作，白天昏暗，冬天打雷，這些災異的出現，難以勝數。臣注意到陛下奉行不偏不倚的政策，每件事情都要力求儉約，非禮不動，確實希望率身垂範，讓國家治理有一個新的氣象。可是嘉瑞還沒有顯現，反而頻繁地發生日食地震，民眾中謠言四起，還有所謂行籌的荒唐行為，也是在此時發生，造成百姓驚恐不安，考察《春秋》中記載的災異，這是上天在降臨災異前，警示人君，從這些現象中，要及時發現問題的端倪。日食，是指陽明被陰所覆蓋，《坤》卦在《離》卦上麵，是《明夷》現象。《坤》主要掌管地，為土、為母，以安靜為德。地震發生，是沒有遵守陰德的表現。卦象講得很清楚，臣對於這些，不敢不直言進諫！
在春秋時，曾子曾經問過老師，所謂聽從父命的道理，孔子說：“這還需要解釋嗎？”孔子讚賞學生閔子騫，遵守禮儀，一絲不苟，尊重親人的行為，沒有不合乎道理的，因此不會受到外人離間。此前大司馬新都侯王莽遭到免職，住在弟弟家中，皇上下詔，王莽不得不回到封國。高昌侯董宏離開蕃地自絕於朝廷，仍然得到封邑。皇帝製詔書，貶斥宮中侍從駙馬都尉傅遷，說傅遷為人不忠，奸佞巧偽，將傅遷免職，貶回故鄉，不到一個月，又下詔將傅遷召回，大臣們上奏，堅持對傅遷的懲治，最終傅遷沒有得到懲治，反而又擔任了重要職務，奉命出使，受到的尊寵超過以往。還有陽信侯鄭業，也是因為皇上的私恩，得到封賞，享受食邑，並不是真地建立了功勞。幾位外戚的兄弟無論賢與不肖，都安置在朝中，作為皇上近臣，列於朝堂，並且掌握著宮中侍衛，或者率領守軍，將皇上的恩寵集於一家，他們得到的恩寵，世所罕見，沒有先例。以至於丁氏、傅氏在朝中並列，在朝中擔任大司馬將軍。在春秋時，皇甫在王室雖然尊寵，魯國的三桓勢力雖然強大，在魯國也隻能有三軍，仍然難以與當今的外戚權貴相比。在封賞爵位時，天上黯然無光，出現日食。發生的時間如此巧合，居然不前不後，就在封賞的同時出現，這已經是在明確地告誡陛下，隻顧得謙遜，卻不能乾綱獨斷，政由己出，太後所言則聽，太後所欲則行，有罪者不能懲罰，無功者享受祿位，流弊積累，問題即出在這裏，我力圖將這些事實，奏報聖朝。古時候《詩經》中詩人的諷刺，《春秋》中的記載，都已經指明了問題的起因，不是在其它方麵。後人在反思曆史上出現的這些問題時，常憤恨不已，現在皇帝卻在身體力行，仍然看不出問題的存在，還認為做得很對，實在是當事者迷。臣才能疏淺，見解可能有所偏頗，懷疑後宮中是否還有受寵過分的人和事情。上天在昭示災異時，不會沒有原因，保佑君王竟然以這種方式，為什麼君王還不采取行動！
臣聽說野雞飛到鼎耳上，商朝的高宗為之震動；大風過後出現的異象，使得周成王為之驚竦。希望陛下也能夠認真思考，想一想繼承皇位時的初衷，從古人的經驗和教訓中得到啟示，努力做一個萬民滿意的好皇帝，則黎民百姓將會歡欣鼓舞，上天和百神也會收回憤怒，用祥瑞福祿來回報皇上的努力！
杜鄴沒有得到官職，因病去世。杜鄴所說的百姓傳布謠言，傳送行籌，以及穀永所說的君王購買私田，彗星隕石門閂飛落的卦驗（詳情記載在《五行誌》中）。
最初，杜鄴跟隨張吉學習，張吉的兒子張竦從小失去父親，後來也跟隨杜鄴學習，在當時很有名氣，特別精通於文字學。杜鄴的兒子杜林清靜好古，也有雅材，（東漢）建武年間（公元25-57年），在朝中位列九卿，後來官至大司空。杜林的文字學超過杜鄴、張竦，世人都說小學（文字學）的研究，是從杜公開始。
讚辭如下：在成帝朝，朝政掌握在外戚手中，成帝的幾個舅舅把持著朝政。在哀帝朝，哀帝又重用外戚丁氏、傅氏。因此杜鄴諷刺丁氏、傅氏家族。杜欽、穀永不敢諷刺王氏，是因為形勢所迫。杜欽希望王鳳在朝中有所收斂，杜鄴卻阿諛王音、王商。穀永陳述三七災厄之戒，忠心可嘉。但穀永舉申伯的例子，阿諛王鳳，讓平阿侯王譚不接受城門守衛的職務，致使王譚和車騎將軍王音失和。又以金星、火星的變化，來勸說王音、王譚和好，可謂是信義不足，空談有餘。孔子說“朋友間多聞多識”，杜鄴、杜欽、穀永三人較為合適。