嚴家淦卸任“總統”之後，擔任國民黨中常委兼“中華文化複興運動推行委員會”會長。1986年3月因患腦溢血住院，從此退出政壇，在那幢維多利亞式樓房裏安度晚年。
嚴家淦家庭和睦。1924年12月14日，嚴家淦與劉期純結婚，育有5子（嚴雋榮、嚴雋森、嚴雋同、嚴雋泰、嚴雋建）、4女（嚴雋華、嚴雋菊、嚴雋芸、嚴雋荃），內、外孫21人。現全國人大常委會副委員長、中國民主促進會主席嚴雋琪是嚴家淦侄女。劉期純雖然曾是台灣“第一夫人”，但是跟嚴家淦一樣低調，她幾乎不出席種種社會活動。
1993年12月24日晚10時，嚴家淦因心髒衰竭病逝於台北“榮總醫院”，終年88歲。去世7年之後，夫人劉期純也於2000年病逝。
嚴家淦官邸乃是“公產”，產權屬於台灣銀行。在嚴家淦夫人劉期純去世之後，台灣銀行打算拆除嚴家淦故居，重建新樓，畢竟嚴家淦故居地處黃金地段，而且占地麵積很大。
2001年4月6日，台北市文化局局長龍應台率專家學者李幹朗、林會承、黃蘭翔、丘如華、徐裕健、王惠君、黃俊銘、賴誌彰、康旻傑等人前往嚴家淦故居會勘並當場召開鑒定審查會議，認定嚴家淦故居及緊鄰的大同之家為“市定古跡”。當天龍應台就召開記者招待會，宣布嚴家淦故居包括主建物、圍牆內所有植栽、防空洞、屋內陳設及大同之家、網球場等，列為台北市第九十二處古跡。據稱，台灣銀行的代表感到相當錯愕，不得不取消改建新樓的計劃。從此嚴家淦故居作為文化古跡得以保留。
不過嚴家淦故居畢竟是建於1915年的老建築，維修、保養不容易。
我看到多處架設了防護鋼棚以保護。由於經費短缺，嚴家淦故居成了“危樓”，無法全麵整修，當然也就談不上布置成嚴家淦紀念館對外開放了。
隻有像我這樣對於台灣名人故居有著濃厚興趣的人，才會去細細參觀，領略當年“總統”官邸的風光。
“很平民”的馬英九家
尋訪馬英九家，是一次難忘的經曆。
2009年1月那天，我的長子、長媳都休息，問我想去哪裏，我說去尋訪馬英九家，他們也很有興趣，因為他們雖然生活在台北，也沒有去過馬英九家。照例，是長媳開車。開車前，她問我馬英九家的地址，我告訴她在文山區興隆街，她把幾段幾號都輸入GPS。然後，照著GPS的指點，直奔文山區而去。
對於台北的文山區，我並不陌生。我曾經多次前往台灣政治大學，那所大學就在文山區。我出席台灣“行政院陸委會”在貓空舉行的宴會，貓空也在文山區。我去深坑探訪“豆腐一條街”，去台北縣永和訪問永和豆漿老店，都途經文山區。來來去去文山區那麼多趟，卻沒有想到，馬英九就住在這裏。
文山區是台北市邊遠的區，位於台北市的東南郊，跟台北縣的新店市接壤。其實，這一帶原本屬於台北縣，直到1968年7月1日才劃歸台北市，當時設木柵區和景美區兩區。1980年3月12日台北市行政區調整，把景美區和木柵區合並為文山區。
據考證，文山這地名的來曆是這樣的。這裏有一座山，形狀如拳，名叫拳山，這一帶也就叫拳山堡。由於地名不雅，日本統治台灣時期取“文山秀氣”之意，改稱為文山堡，後又改設文山郡。當景美區和木柵區合並時，便以文山區命名。不過，許多台北市民說慣了景美區、木柵區，所以通常都說馬英九住在木柵。
如今，文山區最著名的旅遊景點有二，一是木柵動物園，一是貓空纜車。