1964年7月4日，張學良與小他9歲的趙一荻正式結婚，在台北杭州南路美國人吉米·愛爾竇的家中舉行婚禮。宋美齡、張群、莫德惠等出席了婚禮。
張學良晚年交往最多的是張群、張大千和王新衡。張群乃國民黨元老，與張學良有著幾十年的交情。王新衡是蔣經國在莫斯科中山大學留學時的同學，擔任過國民黨特工，曾任保密局上海站站長，後來從商，擔任台灣的亞洲水泥公司董事長。至於畫家張大千，跟張學良原本素昧平生。
1930年張學良任國民政府陸海空副總司令，常去北平買名家書畫。一天他花重金購得明末清初著名畫家石濤的一幅山水畫，後來方知是贗品，偽造者是青年畫家張大千。張學良非但沒有責難張大千，反而欣賞他的才華，與張大千有了許多交往。張學良與張群、張大千和王新衡輪流坐莊，每月宴請一次，人稱“三張一王”。
在張學良晚年，身邊增加了一位至親，那就是侄女張閭蘅。她在美國讀完大學，於1967年回台北，得以照料張學良。張閭蘅常去看望張學良和趙一荻，而張學良和趙一荻也總是每隔幾天到張閭蘅處一趟。
張閭蘅後來回憶說：
“大伯似乎已經習慣了這種被人監視的生活，他很坦然，依舊與我們家人大擺‘龍門陣’，聊到高興時，笑聲朗朗。或者拉我們一同去下館子，邊吃邊聊。我就是從那時起，才真正認識了我這位‘鼎鼎有名’的大伯，我與大伯的感情，也是在這段交往中、在聽他的講述中慢慢建立起來的。”
“大伯家在北投，在他們家裏，除了吳媽，其餘‘服侍’他們的人，都是派來的看守特務。在大伯家的外圍，也布滿警衛點，不讓外人靠近。我們平時不能常去大伯家，偶爾去了，家人總要再三交代，說話要小心，隔牆有耳，不能口無遮攔，免得給他們添麻煩。當時我真是無法理解，看著他們宛如生活在‘鳥籠’中，心裏很壓抑也很氣憤。大伯的‘自由’是很有限的，來往的朋友也少得可憐，大伯每次外出都要提前報告，出門時總是兩輛車，前一輛是大伯、大媽，跟隨的一輛就是便衣特務或警衛。”
“大伯、大媽最開心的日子是逢年過節。每到年三十，我們與大伯、大媽一起在北投過年，平時他們家冷清寂寞，連玩牌都不允許。這一天可以例外。大媽忙裏忙外準備年夜飯，她燒得一手好菜，中西餐都很拿手，尤其是西式蛋糕更是一絕，小巧精致、香甜誘人。吃過年夜飯，大伯帶頭玩牌，別看他的視力聽力均不好，每次贏家總是他，我們口袋裏的‘紅包’還未焐熱，大部分的壓歲錢都回到他手裏，看我們沮喪的樣子，他嗬嗬一笑說，耍錢，你們差遠了，我是拜過師的！有時，玩過了通宵他亦不知疲倦，而我們都東倒西歪了。這就是我的大伯，天性愛熱鬧、愛玩、愛生活。”
張學良非常喜歡到張閭蘅家，“有時一待就是半天，吃了晚飯還沒有動身的意思，‘跟班’的就不時上樓來催，大媽有些緊張，可大伯正聊到興頭上，故意裝聽不見，能多待一會兒，他就多‘賴’一會兒……每次看到大伯如貪玩的頑童不願‘回家’，而‘跟班’的又不停地催促，我心裏又痛又恨！大伯、大媽已經被他們囚禁了那麼久，為什麼還不放過他們？聽大伯講，他在20世紀30年代就擁有自己的‘私人飛機’，甚至自己駕駛飛機到南京開會，再想想現在，這叫什麼日子？他內心的痛楚，是言語無法表達的。環境、容貌都在改變，唯一沒變的，是他性格中的開朗豁達與率真。連我的朋友都知道，我家有一個‘頑童’般的大伯，喜歡與他聊天，聽他講故事。隻要你跟他待一會兒，你就會被他的睿智所吸引。我常對自己說，我真幸運能有這麼一位長輩，從他那裏，我學會了許多做人處世的道理。從他的言談中，我能感受到他對家人、家鄉、國家、民族的摯愛。談起這些話題時，他興奮不已、神采飛揚，有時說著說著，又黯然神傷，音落神凝。”
在逆境中長壽
在蔣介石、蔣經國先後去世之後，對於張學良的“監管”漸漸鬆動。
1990年，在張群的建議下，張學良的一些老部下和學生在台北為張學良慶賀九十大壽，張學良公開露麵。“總統”李登輝也宣布予以張學良“自由”。