蔣介石借此安插自己的人馬擔任各“部長”，而且削去閻錫山的兼職——“國防部部長”，改由蔣介石嫡係、“參謀總長”顧祝同兼任“國防部部長”。這表明閻錫山被剝奪兵權。蔣介石名義上說是跟閻錫山商議，實際上是蔣介石說了算。閻錫山明白，台灣不是山西，他在台灣沒有根基，隻能唯蔣介石之命是從。
不過，蔣介石以一個黨的總裁去“領導”一個“行政院長”，於理於法都是不通的，盡管閻錫山口口聲聲表示“服從”。
1950年3月1日，蔣介石終於宣布在台北正式複職，亦即複“總統”之職。在蔣介石重新披上龍袍之際，閻錫山向蔣介石遞上辭呈，請求辭去“行政院長”之職。
蔣介石本來就打算撤換閻錫山，如今閻錫山主動請辭，真是求之不得。不過，戲還得要演。於是乎，蔣介石在複“總統”之職的翌日，親自來到閻錫山的辦公室，再三表達“挽留”之意。
蔣介石“挽留”是假，閻錫山請辭是真。閻錫山又一次表達，台灣人才濟濟，賢能眾多，他才疏學淺，不堪重任。
戲演到這種地步，也就差不多了。3月6日，蔣介石主持國民黨中央常委臨時會議，批準了閻錫山的辭呈，決定由陳誠繼任“行政院長”。
就這樣，閻錫山當了9個月的“行政院長”，下台了。對於閻錫山來說，“行政院長”是他一生中的最高職務。雖然他當“行政院長”不過9個月，但畢竟是國民黨政府遷往台灣之後的首任“行政院長”。此後，盡管閻錫山在台灣隻掛了“總統府資政”以及國民黨中央評議委員這麼兩個虛銜，但是人們對於他的稱呼一直是“閻院長”。
有人曾經問閻錫山，你從“行政院院長”這樣的“大官”位置上退下來，起碼也應該向蔣介石要個像樣的官位。閻錫山苦笑道：“力憑理壯，理憑力伸。”言外之意是說，眼下他在台灣已經沒有實力，人家要是不主動給他什麼，他是不會求人賞賜什麼的。
閻錫山從呼風喚雨、手握重兵的“山西土皇帝”，變成無職無權、無兵無卒的閑人一個——當然，作為前“行政院院長”，作為陸軍一級上將，即便是賦閑，也還有30名警衛人員保衛他的安全，另外有1個連的憲兵負責外勤。
閻錫山可謂急流勇退，也可謂無可奈何。不管怎麼說，識時務者為俊傑，閻錫山算得上是一個識時務者，是一個明白人。
閻錫山拱手向蔣介石交權，是因為他並非蔣介石嫡係，他與蔣介石之間有過“說不清，理還亂”的曆史積怨。其中的“高潮戲”是1930年的“蔣馮閻大戰”。當時，蔣介石羽翼未豐，與閻錫山、馮玉祥、李宗仁並列為中國四大軍閥。蔣介石視閻錫山為眼中釘，1930年1月3日趁閻錫山赴鄭州指揮作戰，蔣介石密令河南省主席韓複榘相機捕閻。不料這一高度機密的電話，被閻錫山部下竊聽，閻錫山急忙化裝逃出鄭州，回到老窩太原。此後，閻錫山誓除蔣介石，雙方劍拔弩張。閻錫山還聯合馮玉祥、李宗仁共同倒蔣。
1930年3月14日，原第二、三、四集團軍將領57人，通電全國，擁護閻錫山為陸海空軍總司令，馮玉祥、李宗仁、張學良為副總司令，出兵討蔣。
4月1日，閻錫山、馮玉祥、李宗仁分別宣誓就職。閻錫山在就職通電中，斥責蔣介石把國民黨變為“一人之化身，專製獨裁，為所欲為”，致使“黨不黨，政不政，國不國，民不聊生”，“猶複迫我以武力，助其鏟除異己”。閻錫山宣稱，自己不得已“應軍民之請求”，以戰爭手段重建黨國。
這時，閻錫山作為陸海空軍總司令，紅極一時。1930年5月19日出版的美國《時代》周刊，把閻錫山作為封麵人物，足見當時閻錫山之不可一世。
蔣介石把持的“國民政府”則針鋒相對，宣布撤除閻錫山所有職務，並“通令緝捕”。蔣介石控製的國民黨中常會則決定永遠開除閻錫山的黨籍。
閻錫山以牙還牙，在1930年8月聯合馮玉祥在北平另組“國民政府”，閻錫山自任“國民政府”主席。
以閻錫山、馮玉祥為一方，以蔣介石為另一方，進行了“蔣馮閻大戰”。最初，蔣介石差一點在柳河車站被馮玉祥部隊俘虜。
然而張學良在沈陽通電擁護蔣介石，出兵進山海關，使蔣介石聲勢大振。這場軍閥混戰最後以閻錫山、馮玉祥戰敗告終。陸海空軍總司令閻錫山於1930年10月15日宣布下野。12月閻錫山潛往大連，保住一命。1931年8月5日，乘飛機潛回山西大同，回到山西五台山隱居，然後趁著1931年的“9·18事變”全國掀起抗日高潮，閻錫山複出。蔣介石表示要與閻錫山聯手抗日，1932年2月20日任命閻錫山為太原綏靖主任。閻錫山趕緊拍蔣介石的馬屁，致電蔣介石：“錫山向來追隨鈞座，受國家之優遇，亦當追隨鈞座，赴國家之危難。中央為保全國土而忍辱，錫山願與鈞座分禍；如為發揚民族精神而奮鬥，願隨鈞座犧牲。”