唇槍舌劍並不能決出他們的雌雄，真槍真炮才判定了他們的勝負，7月14日，兩軍在涿州、高碑店、琉璃河一帶交戰，戰鬥比較激烈。此時，奉軍大批入關，“定國軍”在直、奉軍隊的夾擊下，潰不成軍（此役詳情在曹錕一節有載）。戰報傳來，段祺瑞氣得三屍暴跳，七竅生煙，吐血的舊病也複發了。他眼巴巴地看著自己用幾年的時間和巨大的代價經營起來的軍隊幾天功夫就覆沒了。他又想到，沒有軍哪有權？哪還有自己的立足之地？還憑什麼去逞“虎”威？於是，他傷心了，絕望了，拿著手槍對著自己的腦袋就開了一槍，子彈擦耳飛過，身後的衛士應聲倒地，他卻沒有死。他本打算遁入外國使館，隱退息肩，但又一轉念，還要留下後路，以便東山再起。於是，7月20日，他自請免去身兼各職，“以謝國人”。徐世昌看了辭呈，笑著說：“早知今日，悔不當初。”
段祺瑞雖退居天津，但並不甘心於從此息影政壇。他仍積極活動，多方拉攏，糾結反直勢力，積蓄力量，等待時機以求東山再起。他看到直、奉矛盾逐漸惡化，便暗中勾結張作霖，如1922年初，段祺瑞曾派段芝貴赴奉聯絡；同時他也懾於南方革命勢力的增長而曾聯絡一貫反對軍閥統治的孫中山，其間信使往返頻繁，如1921年12月22日，段祺瑞派最親信的愛將徐樹錚到粵商談聯合討直問題，孫中山則指派要員廖仲愷、蔣介石與徐會商。1922年2月間，張作霖、段祺瑞又先後派人到粵見孫商談，反直聯盟基本組成。
直奉軍閥自直皖戰後由於權力分配不均，加之吳佩孚誌得意滿，咄咄逼人，大有驅奉獨霸之勢。他以反對為張作霖支持的梁士詒內閣為發軔攻訐奉張，終由電報戰而發展到兵戎相見。1922年4月29日至5月5日，第一次直奉戰爭在津浦、京漢線北段地區展開。這次戰爭以奉係的失敗宣告結束，而直係軍閥取得獨占北京政府的優勢。吳佩孚也更加專橫獨斷，使總統形同虛設，內閣惟命是聽。但直係內部卻因權力再分配而萌生分裂，出現保、洛兩派之分。奉係軍閥張作霖蒙戰敗之辱，退回關外，自成局麵，處心積慮，圖謀複仇。他雖在直皖戰爭時與直係聯合，參與過反皖倒段，但時過境遷，奉係又主動與皖係修好，互商反直對策。同時，南方的孫中山一直以反對北京政府的軍閥統治為職誌，也準備利用軍閥內部矛盾，聯合段張來反對實際執政的直吳。段祺瑞窺視已久，見有機可乘，大肆活動。1922年9、10月間，皖係軍閥徐樹錚即秉承段祺瑞的意旨主動聯合孫中山部下許崇智及駐在福建延平的皖係軍閥王永泉驅除叛段的閩督李厚基，建立“建國軍政製置府”，奉孫中山與段祺瑞為首領。這次反直活動雖然很快被製服，使皖係勢力受到打擊，孫、張、段的反直聯合並未屈服，繼續策劃會商。1923年是孫、張、段三方接觸頻繁的一年，往往在一個月中有多次密謀策劃。2月，孫中山公開承認“三角同盟”進行順利；6月間，粵、奉、皖三方代表集於廣州，再次商討反直事宜。這些活動加深了直、皖、奉三派係的矛盾。1924年8月，孫中山、段祺瑞和浙督盧永祥的代表彙集奉天，共同商定反直密約；9月初，作為第二次直奉戰爭前奏的江浙戰爭終於爆發。這是一次以屬皖係軍閥的浙督盧永祥與屬直係軍閥的蘇督齊燮元之間進行的戰爭。9月30日江浙戰爭開始，次日，盧永祥正式請求孫中山出兵援助；得到同意；奉張也表示支持，並給以物質資助。17日，第二次直奉戰爭繼之爆發，雙方都投入大量兵力進行激戰。10月23日，直係將領馮玉祥倒戈相向，製造北京政變，吳佩孚猝不及防，招致第二次直奉戰爭的失敗，同時使直係操縱的北京政權隨之傾覆。戰後，馮玉祥曾主張請孫中山北上主持國事，但奉係則為擴張實力，急需另外物色政府人選來平衡各方關係以穩定局勢。段祺瑞此時已失勢，且資曆較長，因而成為適當人選，所以由張作霖出麵邀約馮玉祥於1924年11月10日在天津與段祺瑞會晤。
11月10日，在段的主持下，召開了解決時局的會議，劃分了馮玉祥的國民軍和奉係軍閥的“勢力範圍”。在這次會議上，他根據困獸不可窮追的“理論”，對曹錕、吳佩孚在長江流域的勢力不主張用兵，堅持用和平辦法解決。在這種“和平辦法”的背後，他的打算是，趁曹錕、吳佩孚倒台後，長江流域各省實力派急於另找靠山的機會，將其收歸己有，成為自己在張作霖、馮玉祥之間搞平衡、玩權術的政治資本，進而當上淩駕二者的北洋派惟一領袖。張作霖、馮玉祥明明知道他葫蘆裏賣的什麼藥，但也無可奈何。果然，直係在各省的軍閥見曹錕、吳佩孚無可指望，而就要上台的段祺瑞又有收容之意，便於11月上旬起，紛紛發出了擁護他出山收拾時局的通電。在這種眾星捧月的形勢下，1924年11月15日，由張作霖、盧永祥、胡景翼、孫嶽五人聯名推戴他為“中華民國臨時執政”，執行政府職權。22日，他回到北京，24日，在陸軍部宣誓就職；同時，公布了“中華民國臨時政府製”，條文第一條規定：“臨時執政總攬軍民政務，統率海陸軍。”