先是，烏孫昆彌翁歸靡因長羅侯常惠上書，願以漢外孫元貴靡為嗣，得複尚少主，結婚內附，畔去匈奴。詔下公卿議，望之以為：烏孫絕域，信其美言，萬裏結婚，非長策也。天子不聽。神爵二年，遣長羅侯惠使送公主配元貴靡。未出塞，翁歸靡死，其兄子狂王背約自立。惠從塞下上書，願留少主敦煌郡。惠至烏孫，責以負約，因立元貴靡，還迎少主。詔下公卿議，望之複以為：\"不可。烏孫持兩端，亡堅約，其效可見。前少主在烏孫四十餘年，恩愛不親密，邊境未以安，此已事之驗也。今少主以元貴靡不得立而還，信無負於四夷，此中國之大福也。少主不止，繇役將興，其原起此。\"天子從其議，征少主還。後烏孫雖分國兩立，以元貴靡為大昆彌，漢遂不複與結婚。
三年，代丙吉為禦史大夫。五鳳中匈奴大亂，議者多曰匈奴為害日久，可因其壞亂舉兵滅之。詔遣中朝大司馬車騎將軍韓增、諸吏富平侯張延壽、光祿勳楊惲、太仆戴長樂問望之計策，望之對曰：\"《春秋》惡士B04F帥師侵齊，聞齊侯卒，引師而還，君子大其不伐喪，以為恩足以服孝子，誼足以動諸侯。前單於慕化鄉善稱弟，遣使請求和親，海內欣然，夷狄莫不聞。未終奉約，不幸為賊臣所殺，今而伐之，是乘亂而幸災也，彼必奔走遠遁。不以義動兵，恐勞而無功。宜遣使者吊問，輔其微弱，救其災患，四夷聞之，鹹貴中國之仁義。如遂蒙恩得複其位，必稱臣服從，此德之盛也。\"上從其議，後竟遣兵護輔呼韓邪單於定其國。
是時，大司農、中丞耿壽昌奏設常平倉，上善之，望之非壽昌。丞相丙吉年老，上重焉，望之又奏言：\"百姓或乏困，盜賊未止，二千石多材下不任職。三公非其人，則三光為之不明，今首歲日月少光，咎在臣等。\"上以望之意輕丞相，乃下侍中建章衛尉金安上、光祿勳楊惲、禦史中丞王忠，並詰問望之。望之免冠置對，天子由是不說。
後丞相司直緐延壽奏：\"侍中謁者良使承製詔望之，望之再拜已。良與望之言，望之不起，因故下手，而謂禦史曰'良禮不備'。故事丞相病，明日禦史大夫輒問病；朝奏事會庭中，差居丞相後，丞相謝，大夫少進，揖。今丞相數病，望之不問病；會庭中，與丞相鈞禮。時議事不合意，望之曰：'侯年寧能父我邪！'知禦史有令不得擅使，望之多使守史自給車馬，之杜陵護視家事。少史冠法冠，為妻先引，又使賣買，私所附益凡十萬三千。案望之大臣，通經術，居九卿之右，本朝所仰，至不奉法自修，踞慢不遜攘，受所監臧二百五十以上，請逮捕係治。\"上於是策望之曰：\"有司奏君責使者禮，遇丞相亡禮，廉聲不聞，敖慢不遜，亡以扶政，帥先百僚。君不深思，陷於茲穢，朕不忍致君於理，使光祿勳惲策詔，左遷君為太子太傅，授印。其上故印使者，便道之官。君其秉道明孝，正直是與，帥意亡愆，靡有後言。\"
望之既左遷，而黃霸代為禦史大夫。數月間，丙吉薨，霸為丞相。霸薨，於定國複代焉。望之遂見廢，不得相。為太傅，以《論語》、《禮服》授皇太子。
初，匈奴呼韓邪單於來朝，詔公卿議其儀，丞相霸、禦史大夫定國議曰：\"聖王之製，施德行禮，先京師而後諸夏，先諸夏而後夷狄。《詩》雲：'率禮不越，遂視既發；相士烈烈，海外有截。'陛下聖德充塞天地，光被四表，匈奴單於鄉風慕化，奉珍朝賀，自古未之有也。其禮儀宜如諸侯王，位次在下。\"望之以為：\"單於非正朔所加，故稱敵國，宜待以不臣之禮，位在諸侯王上。外夷稽首稱籓，中國讓而不臣，此則羈縻之誼，謙亨之福也。《書》曰'戎狄荒服'，言其來服，荒忽亡常。如使匈奴後嗣卒有鳥竄鼠伏，闕如朝享，不為畔臣。信讓行乎蠻貉，福祚流於亡窮，萬世之長策也。\"天子采之，下詔曰：\"蓋聞五帝、三王教化所不施，不及以政。今匈奴單於稱北籓，朝正朔，朕之不逮，德不能弘覆。其以客禮待之，令單於位在諸侯王上，讚謁稱臣而不名。\"
及宣帝寢疾，選大臣可屬者，引外屬侍中樂陵侯史高、太子太傅望之、少傅周堪至禁中，拜高為大司馬車騎將軍，望之為前將軍光祿勳，堪為光祿大夫，皆受遺詔輔政，領尚書事。宣帝崩，太子襲尊號，是為孝元帝。望之、堪本以師傅見尊重，上即位，數宴見，言治亂，陳王事。望之選白宗室明經達學散騎、諫大夫劉更生給事中，與侍中金敞並拾遺左右。四人同心謀議，勸道上以古製，多所欲匡正，上甚鄉納之。
初，宣帝不甚從儒術，任用法律，而中書宦官用事。中書令弘恭、石顯久典樞機，明習文法，亦與車騎將軍高為表裏，論議常獨持故事，不從望之等。恭、顯又時傾仄見詘。望之以為中書政本，宜以賢明之選，自武帝遊宴後庭，故用宦者，非國舊製，又違古不近刑人之義，白欲更置士人，由是大與高、恭、顯忤。上初即位，謙讓重改作，議久不定，出劉更生為宗正。
望之、堪數薦名儒茂才以備諫官。會稽鄭朋陰欲附望之，上疏言車騎將軍高遣客為奸利郡國，及言許、史子弟罪過。章視周堪，堪白令朋待詔金馬門。朋奏記望之曰：\"將軍體周、召之德，秉公綽之質，有卞莊之威。至乎耳順之年，履折衝之位，號至將軍，誠士之高致也。窟穴黎庶莫不歡喜，鹹曰將軍其人也。今將軍規B22A雲若管、晏而休，遂行日仄至周、召乃留乎？若管、晏而休，則下走將歸延陵之皋，修農圃之疇，畜雞種黍，俟見二子，沒齒而已矣。如將軍昭然度行，積思塞邪枉之險蹊，宣中庸之常政，興周、召之遺業，親日仄之兼聽，則下走其庶幾願竭區區，底厲鋒鍔，奉萬分之一。\"望之見納朋，接待以意。朋數稱述望之，短車騎將軍，言許、史過失。