由此可見，袁世凱生前，徐世昌無法取代，隻能屈居“輔佐”地位；袁世凱死後，則以其曆史形成的“元老”地位利用擅長操縱的手腕，伺機問鼎了。
黎元洪在袁世凱死後順利繼任總統。黎非北洋係，又無武力作後盾，以北洋派正統自居的段祺瑞，手握軍權，控製北京政府，視黎元洪為擺設。黎不甘任人擺布，“府院之爭”迭起。1916年徐世昌兩次出麵調停，尤其是11月間，由王士珍至輝縣邀請來京後，宣布不入政界，不受職掌，專任調解，以元老身份，“正色教誡、若師保然”。將府、院秘書長孫洪伊、徐樹錚同時免職，勸段祺瑞打消辭意。府院矛盾表麵緩和。徐欲再回錚縣，黎、段挽留再三，遂移居天津。徐世昌兩出調停總統、總理之間矛盾，雖然聲明無意權位，但確實增加了政治生活中的分量，調停成為積累聲望的手段。
1917年5月，“府院之爭”因“參戰”問題再次爆發。23日，黎元洪通電免去段祺瑞國務總理職務，敦勸徐世昌出山。段則通電以更換總理命令，未經副署，一切後果概不負責。段派北洋軍人齊集天津，設立軍務總參謀處，並準備設立臨時政府，召集臨時議會，密電張勳聯合各省公推徐世昌為陸海軍大元帥。因張勳拒絕未果。而徐世昌向以沉穩見稱，也未敢輕於一試。以複辟清室為己任的“辮帥”張勳召集的四次徐州會議，徐均與聞其事。徐念念不忘食祿清室之恩，不絕還政清室之想，企圖通過複辟清室，攜北洋軍閥勢力，取得主持朝政的權位。日本支持段祺瑞，但反對複辟清室，使徐世昌更加謹慎。6月，張勳借調停黎、段衝突進京，途經天津會晤徐世昌，徐認為“今非其時”。張勳發動複辟後，清室委任徐為弼德院院長，又晉太傅，促其迅速來京，徐均推脫不就。複辟失敗後，全國紛紛通電要求嚴懲禍首張勳，取消優待清室條件，貶溥儀為平民，以正本清源。徐世昌斡旋於段祺瑞、馮國璋等之間，為清室洗刷，為張勳開脫，清室優待條件得以繼續保持。徐對清室竭盡傅保之責，也保全了本人清室遺臣的“名節”。
靠張勳驅走黎元洪，解散國會，段祺瑞以“再造共和”的政治資本再次出任國務總理，同時由副總統馮國璋代行總統職權，黎段之爭讓位於馮、段之爭，直皖之爭。徐世昌以清客超脫於直、皖兩派之間，再一次處於調和者的有利地位，觀風望氣，捕捉機會。
馮、段上台後，即推翻舊約法，召集臨時議會，重訂國會組織法和選舉法，召集新國會，公開宣布：“一不要約法，二不要國會，三不要總統”，進一步加強軍事獨裁統治。孫中山高舉“護法”旗幟，於8月25日在廣州召開非常國會，9月1日，成立護法軍政府，形成了南北對峙局麵，護法烽火燃遍十數省。日、美帝國主義攜手支持段祺瑞推行“武力統一”政策，討伐西南。段祺瑞不甘心馮國璋擔任總統，馮也欲以直係實力取得北洋領袖地位，把北京政權完全控製在本派手中。對南方的“統一”中，交織著馮、段爭鬥。對川湘戰事失利後，段祺瑞於11月20日辭職，王士珍出任國務總理。日本帝國主義則表示，此後的對華方針仍認定“東海、合肥為政局之中心”。徐世昌居於兩派之間，舉足輕重，一身進退係全局。段祺瑞下台並不善罷幹休，他的“小扇子軍師”徐樹錚策劃“聯奉製直、倒王擁段”、準備迫退王士珍，讓徐抑節組閣以為過渡，最終擁段任總統，張作霖任副總統，自任內閣總理。徐非居於馮、段之下的角色，則段的出頭成為必然。徐世昌居於幕後，暗中偏向於皖段，把矛頭指向居於總統之任的直係首領馮；皖係各督軍一再聯電向馮施加壓力倒王，徐拒絕出麵調停。當王士珍稱病請假後，時奉軍入關頓紮軍糧城，日本公使出麵促段出山，徐世昌一錘定音，迫使馮國璋於1918年3月23日明令免王任段。
段祺瑞再次上台，但與馮國璋仍相爭不已。梁士詒請徐出麵作調停人，徐回答說：“往者府院明爭，吾能解，今則暗鬥，無從為役，奈何？”梁說：“舊事如此，寧忍其日益糜爛？”徐良久說：“惟改弦易轍耳！”遂於1918年4月18日出京再次退隱河南輝縣水竹村。
6月初，梁士詒等聯合名流，主張調和南北，推徐世昌出麵斡旋。徐翩然入京。馮、段交訌，兩敗俱傷，調停不成，必然形成徐世昌出山的局麵。9月4日，安福國會開會，安福係、研究係、交通係出席436人，徐世昌得425票。徐世昌久久覬覦的大總統地位，水到渠成，唾手而得。馮國璋、段祺瑞同時辭職。在選舉時，有一議員投了“漁翁”一票，暗譏馮、段鷸蚌之爭，徐世昌得漁翁之利。
徐世昌當選總統之後，以自己的題名照片分贈議員，藉資籠絡。各方賀電紛至，很多人登門促駕早日就職。當選次日，徐通電各省軍民長官，西南之岑春煊、伍廷芳及在野之趙爾巽、張謇等，以循例之辭讓，試觀風色。馮國璋於6日通電各省表示擁護，北洋直、皖、奉各係將領均響應擁戴。9月17日，徐通電允就總統。唱反調者，惟有北洋第三師師長吳佩孚通電勸先調停南北，改造國會議員後再選總統。西南的岑春煊、伍廷芳複電，反對徐任非法總統，雖然有些異議，擁戴者在北洋派中仍居多數。徐乃於10月10日宣誓就職。時人以徐隱居輝縣舊事，撰一聯諷誚之：“芒鞋布襪從此脫，三海原來水竹村。”
民脂民膏盡入總統私囊
徐世昌就職後，副總統虛懸，不願身邊有個跋扈專橫的軍人，時常放出空氣，屬意於南方之岑春煊。曹錕始終有意於這個席位，徐派秘書長吳芨孫勸說，副總統隻設一人，總統左右為難，曹隻好表示放棄。終徐之任，副總統迄未產生。徐就任後解除段祺瑞總理職務，大權獨攬，使責任內閣徒具形式。其內閣成員多為舊日僚屬，如素有淵源的舊交通係的周樹模、朱啟鈐、梁士詒、葉恭綽、周自齊等。