有過如此“精彩”的恩恩怨怨，到了台灣，閻錫山在蔣介石麵前更要擺出一副“追隨鈞座”的樣子，生怕得罪蔣介石，因此主動請辭“行政院院長”之職。
閻錫山在卸任“行政院長”之後，遷往台北城東南的麗水街一幢日式別墅居住。那一帶原本是“高等日本人”的居住區，有很多幢日式別墅，原本叫“富田町”、“古亭町”、“龍安坡”。台灣光複之後，用浙江南部的城市命名那裏的街道，諸如溫州街、泰順街、麗水街、青田街、雲和街、龍泉街等。閻錫山家的對麵鄰居是當時的上將彭孟緝。
閻錫山為了避免惹是生非，深居簡出，杜門謝客，但是畢竟他曾經是“黨國元老”，客人還是不請自來。閻錫山“謹言慎行”，不問政治。他也托病幾乎不出席各種會議，因為他知道凡是出席會議必定要發言，凡是發言就很容易“觸雷”，所以這“兩個凡是”是萬萬使不得的。
為了更加徹底遠離政治漩渦，閻錫山有兩種選擇：
第一選擇就是李宗仁道路。李宗仁躲到美國去，遠離蔣介石的淫威。閻錫山的兒子在美國，所以閻錫山倘若以探親的名義去美國，可以一去不複返。閻錫山在日本也有許多親友，他也可以前往日本安度晚年。重要的的是，閻錫山在逃離大陸時，攜帶了相當數量的黃金，供他和家人在國外生活綽綽有餘。
然而當閻錫山向蔣介石試探口風的時候，蔣介石說，還是在台灣好呀，何必到國外去呢？
蔣介石此言，使閻錫山的出國之夢破碎。閻錫山知道，蔣介石是輕易不會把自己昔日的政敵放走的。
擺在閻錫山麵前的，隻有第二選擇，那就是找一個遠離台北市中心的荒僻之處躲起來。
於是，閻錫山四處踏訪，想尋覓一個在台灣的安全住處。
建在荒山僻嶺的閻錫山居所
山西多山。閻錫山從小就在五台山長大，他喜歡山。他看中了台北的陽明山。
陽明山是台灣達官富賈的別墅區所在地，是避暑聖地。可是閻錫山在陽明山踏勘，眼光卻與眾不同。閻錫山居然看中了陽明山裏的菁山。
菁山原本是日本占領台灣期間打算興建的一個農場，欲建而未建。這裏非常偏僻，交通極其不便。在當時，要沿著一條砂石鋪成的小路步行30分鍾，才能到達陽明山公路，然後乘車進台北市區。菁山野草叢生，沒有人煙，沒有電燈、電話、自來水，隻有四處奔竄的野兔。
閻錫山在菁山建造了草屋（其實是簡易木板房），取名“菁山草廬”。他在台北市區的麗水街日式別墅隻住了5個月，便於1950年8月遷往“菁山草廬”。他的秘書、司機、廚師、負責保衛安全的30名警衛人員以及1個連的憲兵，也隨他遷往菁山，同樣一律住簡易木板房。那30名警衛人員來到這荒郊野外，並無怨言，因為這些警衛人員大都是山西人。閻錫山跟蔣介石一樣，重用同鄉。隻不過當時的憲兵部隊大都是廣東人，頗有怨言，他們無法理解“閻院長”放著豪華的日式別墅不住，卻要到這偏僻山區過“原始生活”。好在閻錫山手頭寬裕，給他們加點額外津貼，也就把怨言平息下去。
閻錫山這“山西王”沒有領教過台灣台風的厲害。“菁山草廬”那些簡易木板房的屋頂，在台風中整個被掀掉，風雨直灌屋裏，警衛和憲兵們叫苦不迭。
當時隻建簡易木板房，是因為他太“樂觀”，以為很快就可以“反攻大陸”，重回山西。可是嚴峻的形勢使他明白“反攻大陸”談何容易，而且台灣的台風接二連三，使閻錫山終於下決心在菁山建造永久性居所。
閻錫山此人確實與眾不同。他居然異想天開，要在陽明山建造窯洞作為永久性居所！他的山西老家到處是山，到處是窯洞。窯洞不僅無懼於台風，而且能夠抵擋炮彈、炸彈，更何況冬暖夏涼。
然而台灣沒有會建造窯洞的工匠，因為台灣雖然多山，卻沒有一孔窯洞，當然也就沒有會挖窯洞的工匠。閻錫山向當地人詢問，為何台灣無窯洞？答曰：“台灣土地潮濕，不適合挖窯洞。倘若挖窯洞，勢必洞裏整天滴滴答答滴水，地上也滿是泥水。再說，台灣多地震，住在窯洞裏不安全。”