次日一早，諫司徐蘊正式提出了彈劾書，彈劾韓世忠未經朝廷和主帥批準，擅自出兵北上，要求朝廷解除韓世忠的兵權。
這份彈劾可謂來得格外及時，尤其彈劾者徐蘊既非秦檜黨羽，也不是太後集團，更不是徐先圖同門，他屬於張浚派係，張浚再次被罷相後，秦檜一直對他打壓。
就是這麼一個被孤立的諫官對韓世忠進行彈劾，一石激起千層浪，頓時引起滿朝矚目。
但天子趙構卻很平靜，他接到彈劾書後，隨即召見了徐先圖，趙構決心已下，對他來說，是怎麼迫使韓世忠交權，同時怎麼安排韓世忠的問題，徐先圖是關鍵，徐先圖是韓世忠在朝中盟友，他的態度至關重要。
“微臣參見陛下！”
趙構語氣溫和道：“這是諫官彈劾韓世忠的報告，徐愛卿先看一看吧！”
徐先圖接過彈劾報告，匆匆看了一遍，沉吟一下道：“卑職覺得這份報告方向是對的，但措辭過於嚴厲，在結論方麵也有失偏頗。”
徐先圖的反對在趙構的意料之中，但他更關注徐先圖讚同的一方麵，“徐愛卿讚同哪個方向？”
“微臣也認為韓世忠不該認同韓家軍的稱呼，也不該把朝廷軍隊視為自己的軍隊，這一點微臣讚同彈劾報告。”
趙構點點頭又問道：“那擅自出兵的指控呢？”
徐先圖歎口氣道：“陛下，韓世忠是淮東宣撫使，本身有出兵權，他又是北征的副元帥，在主帥不在前敵之時，他可以行使主帥的權力。
正月初十，朱勝非還在臨安，而這個時候如果出現戰機，韓世忠完全可以決定出兵，抓住戰機，正所謂機不可失，時不再來，事實也證明他偷襲的正確，橫掃宿州、邳州和海州，殲敵一萬三千人，直逼徐州城下，陛下，這是大功，應該封賞他，而不是指責他擅自出兵。”
趙構沉默片刻道：“徐愛卿，我們之前達成共識的，韓世忠必須撤番。”
“陛下，微臣讚同韓世忠撤番，但不是按照彈劾報告那樣，將他問罪撤番，微臣說得嚴重一點，這有可能將他逼反，微臣的建議，最好以表彰功績的方式將他升職撤番。”
表彰撤番趙構也不反對，畢竟當年平定劉苗之變時，韓世忠立下過大功，趙構擔心的是戰時撤番，沒有一個好的借口。
趙構負手走了幾步，便道：“但他現在在戰場上，必須將他撤回來才能撤番，難道朕下令韓世忠軍隊撤退？沒有理由啊！”
“陛下，有理由！”
趙構立刻問道：“什麼理由？”
徐先圖取出胡雲給他的正式抗議書，呈給天下趙構，“這是雍王特使胡雲提交給樞密院的抗議書，抗議韓世忠不顧大局，悍然向西軍發動進攻！”
趙構一驚，急忙接過抗議書坐下細看，看了一遍，他一拍桌子怒道：“這個韓世忠怎麼如此不懂大局，朕再三告誡過他們，隻能進攻酈瓊軍隊，不準和西軍交戰，他不但不聽，還主動去挑釁，他把朕的話當耳旁風了嗎？”
徐先圖歎口氣道：“陛下，這就是文官領兵和武將帶兵的區別，文官會考慮大局，盡量權衡利弊，但武將往往很難把握住這個度，他們覺得有威脅了，就會立刻出兵，這也不能完全怪韓將軍。”
趙構沉思片刻道：“這樣也好，朕就有理由命令他撤出徐州，同時給雍王特使一個交代。”
“陛下盡管擬旨，臣再給韓世忠寫一封信，臣可以替他擔保，保證他的部將不會被貶黜撤職，依舊官任原職。”
趙構也知道這是撤番嶽飛留下的後遺症，把嶽飛軍隊解散，很多將領都被罷官免職，所以韓世忠有想法完全可以理解。