且鞮侯單於正要派使者護送蘇武等人返回，恰好趕上緱王與長水胡人虞常等人在匈奴謀反。緱王，是昆邪王姐姐的兒子，與昆邪王一起投降漢朝，後來又跟隨浞野侯趙破奴出擊匈奴，兵敗後投降匈奴。等到衛律帶領的漢朝出使人員投降匈奴，他們在一起陰謀串連，謀劃劫持單於的母親閼氏，而後重返漢朝。虞常在漢朝時，即與副使張勝的關係很好，等到蘇武等人出使來到匈奴，虞常私下裏找機會對張勝說：“我聽說漢天子非常痛恨衛律，我能夠設法布置下埋伏，為朝廷射殺衛律。我的母親和弟弟現在還在漢朝，希望能夠得到朝廷賞賜。”張勝答應了虞常的請求，還送予虞常一些禮物。又過去一個多月，且鞮侯單於出外打獵，隻留下閼氏和幾個子弟在家。虞常率領七十餘人乘機起事，其中有一人在起事前趁著夜色逃了出來，報告閼氏。且鞮侯單於手下的子弟立即帶兵與叛軍交戰。緱王等人戰死，虞常被生擒。
且鞮侯單於派衛律審理此案。張勝聽說是衛律負責這個案子，擔心此前講過的話被招供出來，即將此次謀反案的前後經過告訴了蘇武。蘇武說：“事情既然如此，我一定會受到牽連。等到受辱再死，更對不起國家。”於是就想自殺，張勝、常惠連忙攔住。虞常招供，果然牽出張勝。且鞮侯單於大怒，召集貴族們討論，都說要殺掉漢朝派來的使臣。左伊秩訾說：“謀殺衛律要被處死，假若要謀害單於，該如何加重處罰？最好讓他們全部投降。”單於派出衛律召蘇武聽取供辭，蘇武對常惠等人說：“作為漢使，屈膝聽取供辭，蒙受羞辱，這是讓朝廷受辱，即使能活，還有何麵目歸漢！”遂拔出佩刀自殺。衛律見狀大驚，慌忙抱住蘇武，派快馬召來醫生，在地上鑿開一個大坑，燃起煴（yān）火，把蘇武放置在上麵，用手輕扣蘇武的背部，擠出身上的淤血，蘇武昏死過去，很久才蘇醒過來。常惠等人在旁邊觀看，流下眼淚，用車子載著蘇武，返回漢使營地。且鞮侯單於很敬佩蘇武的氣節，早晚派人向蘇武問候傷情，逮捕了張勝。
蘇武的傷勢逐漸痊愈，且鞮侯單於派使節勸喻蘇武，讓他參加對虞常的審判，想以此來迫使蘇武投降。匈奴人用劍刺死了虞常，衛律說：“漢朝使者張勝參與到此次謀反中，謀殺單於近臣，按律當死，單於說了，投降可以免罪。”說完舉劍，佯裝要砍殺張勝，張勝慌忙請求投降。衛律又對蘇武說：“副使有罪，正使應該負連帶責任。”蘇武說：“我沒有參與，又不是他的親屬，我為什麼要負責？”衛律又舉起劍來，做出要砍的樣子，蘇武巋然不動。衛律說：“蘇君，衛律在此前負漢投降了匈奴，幸蒙單於大恩，賜我為王的稱號，現在我擁有部眾數萬，牛羊滿山，享受如此富貴。蘇君如果肯今日投降，明天就會與我一樣。否則被殺，葬身荒野，誰還能記得！”蘇武不理他。衛律又說：“君通過我向單於投降，我願意與君結為兄弟，今天不聽我的勸告，以後再想見到我，恐怕就難了？”蘇武痛罵衛律，說：“你原來是漢朝的臣子，不顧朝廷恩義，背主叛親，做了蠻夷的降虜，我為什麼要見你？況且單於相信你，讓你決定人的生死，你不能主持公正，卻想使兩國爭鬥，從中觀看勝負。你記住：南粵國殺了漢使，被漢朝大軍滅國，其國土已經成為漢的九個大郡；大宛王殺了漢使，大宛王的頭顱被漢軍砍下，掛在朝廷的北闕；朝鮮國殺了漢使，國家即刻被漢軍滅亡。現在隻有匈奴還沒有遭此下場。你明知我不會投降，如果想要以此作為借口來殺我，招致兩國交戰，匈奴滅國之禍就從我開始吧。”
衛律知道蘇武不可能被逼降，向且鞮侯單於報告了勸降經過。且鞮侯單於卻更加想招降蘇武，於是把蘇武囚禁在大土窖中，不給蘇武提供飲食。天上下雨雪，蘇武躺在土窖裏，用雪拌著氈毛一起吞下去，竟然連續數日不死，匈奴人認為蘇武有神靈相助，後來將蘇武遷徙至北海邊上沒有人煙的地方，讓蘇武放牧一群公羊，講明等到公羊產奶、生下羊羔，蘇武才能離開。一起出使匈奴的其他官員和常惠等人，另外安置。
蘇武剛來到北海邊，吃的、住的都沒有，隻好挖出野鼠貯藏的草籽來充饑。但是在牧羊時，仍然緊握著出使用的節杖，每天起臥，都把節杖放在身邊，拿在手上，節杖上的旄飾已經脫落。五六年過去了，即位的狐鹿姑單於的弟弟於靬（jiān）王在北海邊射獵。蘇武懂得織網和製作箭繳，校正弓弩，為此於靬王很高興，給蘇武留下了一些糧食、衣物。又過去三年多，於靬王生病，賜予蘇武馬匹、牛羊、衣服以及居住的穹廬。於靬王死後，於靬王帶來的部眾先後離去。到了冬天，丁令族的牧民盜走了蘇武的牛羊，蘇武再一次陷入困境。
最初，蘇武和李陵在朝中均為侍中，蘇武出使匈奴第二年，李陵兵敗投降，不敢來見蘇武。過了很久，繼位的狐鹿姑單於派李陵出使北海，為蘇武設置酒宴，勸說蘇武，李陵對蘇武說：“單於聽說我與子卿的關係很好，因此派我來勸說子卿，狐鹿姑單於願意誠心對待子卿。恐怕子卿現在也難以再返回中原，獨自留在這荒無人煙的地方，誰又能看見子卿的忠義？此前你哥哥長君擔任奉車都尉，跟隨皇帝到雍縣棫（yù）陽宮，扶著輦車下台階時，撞在一根柱子上，車轅折斷，被有關部門彈劾為大不敬，你哥哥為此而拔劍自刎，朝廷賜錢二百萬埋葬。你弟弟孺卿跟隨皇上到河東郡祭祀後土祠廟，宮中的宦官騎士與黃門的附馬爭船，將駙馬推到河中淹死，推人的宦官逃走，皇帝詔令你弟弟孺卿追捕逃犯沒有抓到，你弟弟害怕，竟然服藥自盡。我領兵離開長安時，你母親太夫人不幸去世，是我送的葬，葬在陽陵（景帝的陵寢）縣。你妻子還年輕，聽說已經改嫁。現在家中隻有你的兩個妹妹，你的兩個女兒和一個兒子，又過去十幾年了，也不知道她們的死活。人生猶如朝露，何必這樣苦了自己！我剛投降時，痛恨自己為什麼要這樣做，背叛朝廷。加上老母還關在保宮，精神恍惚，如癡如狂。子卿今天不願意投降，你的痛苦感受，能超過我當年嗎？現在陛下已經到了暮年，法律常常朝令夕改，大臣沒有大罪，被滅族的就有幾十家，朝中大臣常有生死難料的感覺，子卿現在又能為誰盡忠？希望子卿能夠聽進我的苦言相勸，什麼也別說了。”蘇武說：“蘇武父子幾代人沒有什麼本事，所有的成就都是陛下賜予的，位置做到將軍，爵位封至列侯，兄弟幾人均為皇帝身邊的近臣，常發誓願意為皇上肝腦塗地。今天正是殺身報國之時，即使讓我身受斧鉞湯鑊那樣的酷刑，我也心甘情願。臣忠於自己的君王，就像兒子忠於父親，兒子為父親去死，有什麼可遺恨。請你不必再言。”李陵與蘇武一連喝了幾天酒，李陵最後說：“子卿聽我一句忠言吧。”蘇武說：“我覺得自己早就該死了！大王一定要勸蘇武投降，趁著今天的酒宴，就讓我死在大王的麵前吧！”李陵看到蘇武對漢朝的一片赤誠，喟然長歎道：“天哪，這才是真正的義士！我李陵與衛律的罪，隻有讓蒼天來審判啦。”說罷熱淚盈眶，大顆的淚珠落在衣襟上，與蘇武告別。
李陵羞於親自向蘇武贈送禮物，讓妻子送予蘇武幾十頭牛羊。再後來，李陵到北海邊來看望蘇武，對蘇武說：“邊境上捕獲雲中郡的漢軍說，太守以下官員、百姓都已經穿上孝服，聽說武帝駕崩了。”蘇武聽到這個消息，麵朝向南號啕大哭，最後哭得竟嘔出血來，每天早晚，在武帝靈位前祭拜。
昭帝即位，幾個月後，匈奴又開始與漢朝和親。朝廷打聽蘇武的消息，匈奴詐言蘇武已經不在人世。後來漢使來到匈奴，常惠請求看守他的匈奴與他一起，趁著夜色來見漢使，向漢朝派來的使者陳述這些年來自己與這批漢使在匈奴的遭遇。並教給使者對新即位的壺衍鞮單於說，漢天子在上林苑射獵，射得一隻大雁，雁足上係有一封帛書，上麵講，蘇武還活著，住在一個荒漠的大水澤邊。使者聞言大喜，按照常惠教的話質問單於。壺衍鞮單於望著左右大臣，大驚失色，向漢朝使者謝罪道：“蘇武等人的確還活著。”蘇武等人，就要跟隨使者返回漢朝了，李陵設酒為蘇武餞行，李陵說：“子卿而今就要返回漢朝了，子卿在匈奴的遭遇，其事跡將會傳頌於四海，其功績將會光耀於漢廷，留名於青史，那些竹帛記載的古人，雖然被後世人所傳誦，丹青所描繪，又怎能與子卿相比！我雖然怯懦、愚蠢，但假若朝廷當初能夠赦免我的罪行，保全我的老母，讓我再改過自新，等待機會，像春秋時的曹沫一樣，為漢廷再立新功，贖清前罪，到那時……，我日夜期盼著，刻骨銘心哪！現如今，李陵全家已經遭到殺害，麵對著如此慘禍，李陵再回去，還能留戀什麼？算了吧！但願子卿，能夠明白我心中的痛苦，不肯再回去的原因。我已經是異域之人，今天與子卿一別，恐怕再難以相見了！”說罷李陵起舞，邊舞邊歌道：“跋涉萬裏兮，遠渡流沙，為國效死兮，搏擊胡虜。路已窮盡兮，箭矢全無，將士用命兮，頹勢難遏。老母已不在人世！身欲報恩兮，癡心何顧！”歌罷，李陵淚如泉湧，與蘇武告別。壺衍鞮單於召見隨同蘇武來的屬下，除了已經投降匈奴的和已經死亡的，隨同蘇武此次返回的隻剩下九人。
蘇武在昭帝始元六年（公元前81年）春天，抵達京師。昭帝下詔，蘇武等人準備一太牢禮，祭拜武帝陵寢、祠廟，朝廷任命蘇武擔任典屬國，俸祿為中二千石，賜錢二百萬，公田二頃，宅邸一處。常惠、徐聖、趙終根被任命為中郎，每人賜帛二百匹。其餘六人告老還鄉，每人賜錢十萬。終身免除徭役。常惠後來官至右將軍，受封為列侯，也有傳紀。蘇武滯留在匈奴，前後十九年，壯年出塞，返回漢朝時，須發已經全白。
蘇武歸來後第二年，上官桀父子與桑弘羊、燕王、蓋公主謀反。蘇武的兒子蘇元因為參與上官安的密謀，被處死。
當初上官桀、上官安與大將軍霍光爭權，將霍光的錯誤逐條記錄，傳遞給燕王，假借燕王之手，向昭帝上書。說蘇武出使匈奴二十年不投降，回來後僅被任命為典屬國，大將軍幕府長史楊敞沒有什麼功勞，卻擔任了搜粟都尉，霍光專權，把持朝政，等等。燕王等人謀反被殺，朝廷要徹底清算謀反的參與者，蘇武與上官桀、桑弘羊關係一向很好，又多次為燕王申述，兒子也牽連進謀反案中，廷尉奏請逮捕蘇武。霍光壓下奏章，隻是免去了蘇武的官職。
幾年後，昭帝駕崩，蘇武以原二千石官員身份，參與擁立宣帝，因此而受賜為關內侯爵，食邑三百戶。再後來，衛將軍張安世向宣帝推薦蘇武，說蘇武熟悉先帝治國的經驗，出使匈奴不辱使命，昭帝在位時常談起這些。宣帝召見蘇武，安排在宦者署任待詔，多次接見蘇武，後來又重新任命蘇武為典屬國，兼任右曹，在皇帝左右隨侍。因為蘇武是前朝有氣節的老臣，宣帝詔令蘇武隻在每月初一、十五上朝，賜蘇武祭酒稱號，在朝中享有非常尊貴的地位。
蘇武得到的賞賜，均送予族中兄弟與過去的朋友，家中不留餘財。皇後的父親平恩侯許廣漢、宣帝的舅舅平昌侯王無故、樂昌侯王武、車騎將軍韓增、丞相魏相、禦史大夫丙吉都很敬重蘇武。蘇武年紀老了，兒子在此前的謀反案中被處死，宣帝非常同情蘇武，問左右侍從：“蘇武在匈奴那麼久，還有兒子嗎？”蘇武通過平恩侯許廣漢，向宣帝奏報：“以前在匈奴時，匈奴妻子曾經生下過一個兒子，名字叫做蘇通國，還有音訊往來，希望朝廷通過使者，用金、帛把兒子接回來。”宣帝答應了請求。再後來蘇通國隨同漢朝使者來到父親身邊，宣帝任命蘇通國為郎官。又把蘇武弟弟的兒子任命為右曹。蘇武享年八十餘歲，神爵二年（公元前60年），因病去世。
宣帝甘露三年（公元前51年），呼韓邪單於開始入朝拜謁漢朝皇帝。宣帝想到那些輔助自己登上帝位，又輔佐自己治理國家的重要大臣，命人在麒麟閣懸掛他們的圖像，畫出形貌，署上官、爵、姓名。隻有霍光沒有署上名字，而是寫著大司馬大將軍博陸侯霍氏，第二位是衛將軍富平侯張安世，第三位是車騎將軍龍頟侯韓增，第四位是後將軍營平侯趙充國，第五位是丞相高平侯魏相，第六位是丞相博陽侯丙吉，第七位是禦史大夫建平侯杜延年，第八位是宗正陽城侯劉德，第九位是少府梁丘賀，第十位是太子太傅蕭望之，第十一位就是典屬國蘇武。這些人功勳卓著，堪為當時的勳臣，因此予以表彰。以彰顯他們在漢朝中興，輔佐朝廷時的功績，以及做出過的貢獻。他們的功勳，可以與周代輔佐周宣王的古人方叔、召虎、仲山甫相提並論。共有十一人，在《漢書》中，每一人都有傳紀。以丞相黃霸、廷尉於定國、大司農朱邑、京兆尹張敞、右扶風尹翁歸和大儒夏侯勝等人來比較，他們也都是善始善終，而且是宣帝朝享有盛名的宏儒或者大臣，但卻不能列在名臣的圖像中，由此也可以看出，選拔的標準非常嚴格。
讚辭如下：李廣將軍待人誠懇，與人見麵就好像市井中的俗人，心中有話，卻不善於言辭，在李廣死後，無論熟悉或者不熟悉李廣的人，無不為之流淚，因為李廣待人誠懇，李廣的為人讓所有的人為之感動，包括朝中的士大夫。民諺常講：“桃李不言，下自成蹊。”話語雖然簡單，卻能夠從話語中，透露出真情。李家三代人均為名將，為道家所忌，從李廣到李陵，家族斷了後嗣，令人扼腕歎息！孔子說：“誌士仁人，有殺身以成仁，無求生以害仁。”“出使四方，不辱君命。”蘇武在匈奴十九年，可謂是名副其實。