看過李德裕的奏疏之後，牛僧孺立即表示反對，他對文宗皇帝說：“唐朝和吐蕃有盟約在先，如果擅自接納對方的叛將，無疑將是毀約的行為。與此同時，吐蕃方麵也可能會接納唐朝方麵的叛將，從長遠來講顯然是弊大於利的。何況，吐蕃疆土何止萬裏，一座小小的維州城縱然戰略意義重大，也不足以威脅整個吐蕃。如果因為一座小小的維州城激怒吐蕃，憑借他們的良馬精兵，三五日就可以推進到鹹陽；相反，如果我們能夠以誠信對待吐蕃，日後即便他們生出侵占大唐的心思，也會因為我們的誠信而打消。”文宗皇帝最終被牛僧孺說動，拒絕了悉怛謀獻城投降的請求，李德裕的軍功也就因此化為泡影了。盡管無奈，李德裕還是將維州城和悉怛謀所部交給吐蕃中央政權處理，以至於悉怛謀所部盡數被誅。
消息傳來，文宗皇帝心有不忍，對於牛僧孺的主張也有所芥蒂了。這個時候，與李德裕交好的宦官監軍王踐言回京任樞密使，屢次對文宗皇帝提到牛僧孺對於維州事件的處理有所失當。文宗皇帝覺得他所言在理，因而越來越覺得自己在這件事上做錯了，對於牛僧孺也越來越疏遠了。後來，文宗皇帝再次密謀鏟除宦官勢力，直接尋求牛僧孺的幫助，結果遭到牛僧孺委婉拒絕。事實上，此時的牛僧孺已經心生退誌，並且接連數次上書文宗皇帝。表麵來看，牛僧孺辭相的原因是年老體衰，真正的原因是他已經陷入進退維穀的困境。要知道，牛僧孺對付李德裕一黨尚且艱難，如果發起對宦官集團的攻擊，將無異於自取滅亡。另一方麵，如果繼續在宰相位上無所事事地耗下去，又必然會得罪文宗皇帝。相比之下，還不如像李德裕那樣，到地方上去做一點實事，這才是牛僧孺辭相的真正原因。
隨著李德裕勢力在朝廷的日漸抬頭，貶謫牛僧孺的呼聲越來越高，再加上牛僧孺本人多次上書辭相，文宗皇帝隻好順水推舟，同意了他的辭相請求。於是，牛僧孺再次被罷相，改為淮南節度使，出鎮地方。關於牛僧孺的此次罷相，後世史家還有一種說法，認為牛僧孺擔心自己成為眾矢之的，因而選擇急流勇退，明哲保身。應該說，文宗皇帝是鐵了心想要鏟除宦官勢力的，但是前有宋申錫，後有鄭注和李訓，一個個被文宗皇帝倚重的大臣都可謂下場淒慘。牛僧孺在這種情況下選擇辭相，雖然有消極應對的嫌疑，但也是無奈的明智之舉。而接下來他又請為淮南節度使，說明他並沒有完全放棄自己的使命，隻是一時隱忍蟄伏罷了。
讓人扼腕歎息的是，牛李兩黨的鬥爭，實際上背後都有宦官集團的影子。具體來說，由於宦官集團過於龐大，其內部勢力發生分裂，牛李兩黨為求政爭勝利，不得不分別尋求不同派別的宦官支持。比如牛僧孺曾經在王守澄的幫助下戰勝李德裕，李德裕也曾經在楊欽義的幫助下打敗牛僧孺。從另外角度來看，無論是牛黨還是李黨，隻要想在朝廷生存，都必須依靠強大的宦官集團，有時候甚至不惜出賣自己的政治利益和原則。不得不說，這是唐朝士大夫階級莫大的悲哀，同時也可以看出宦官集團在當時的權勢之大。後世史家曾經做出評論，宦官專權在東漢、唐朝和明朝都曾出現，但是唐朝的宦官專權顯現最為深重。
最後，關於牛李兩黨的領袖，史學界還有另外一種說法。牛李黨爭雖然以牛僧孺的姓氏冠之，但史料當中關於牛李黨爭的記載卻少有牛僧孺的身影，所以牛僧孺很可能是另外一位牛黨大佬李宗閔的“幌子”。要知道，早在穆宗時期，牛僧孺就曾被李逢吉舉薦為相，後世史家對此已經做出論斷，認為李逢吉此舉是為了利用牛僧孺正直廉潔的美譽增加自己的政治資本。由此進行推斷，李宗閔舉薦牛僧孺為相，也極有可能出於這樣的目的，而牛僧孺又隻好盡量見機行事。如果這一說法成立，牛僧孺的領袖地位就是名義上的，其個人意誌也根本代表不了以其姓氏冠名的政治集團。
地方任上
抵達淮南節度使任上後，牛僧孺發現了一個非常有意思的現象，這也讓他的人生境界有了新一層次的提高。具體來說，在朝廷為官的時候，仔細想來沒有什麼具體的事情需要做，大部分時間和精力都用來鉤心鬥角了；而到了地方為官之後，具體需要做的事情每天應接不暇，但還是能夠得到大把的空閑時間，隻因沒了那些鉤心鬥角的事情。為此，牛僧孺在淮南節度使任上所做最多的事情，就是潛心撰寫自己的文學著作，其代表作之一的傳奇作品《黨氏女》就是在這一時期完成的。
讓牛僧孺感到落寞的是，著名女詩人薛濤在這一時期過世，作為她的好友，牛僧孺懷著悲痛撰文追悼。在我國曆史上，總有一些人因為某些方麵的成就頗高，而讓人忽略了他在另外一些方麵的成就。比如東晉著名書法家王羲之，世人以“書聖”稱之，多知道他的書法空前絕後，卻少有人知道他也是一位出色的政治家；而對於牛僧孺來說，卻因為他在政治方麵的功績，而世人多知道他是一位政治家，不知道他在書法和文學方麵的造詣同樣首屈一指。白居易、劉禹錫、元稹和薛濤都是當時最出色的文學家，牛僧孺能夠與他們相交甚好，尤其是與白居易建立了畢生的友誼，足以說明他的文學造詣之高。
當然，對於古代的讀書人來說，書法和文學到底隻是雕蟲小技，如何在政治上建立功勳才是他們畢生需要努力的方向。因此，牛僧孺雖然以書法和文學寄托情懷，但是對於官場上的事宜還是絲毫不敢鬆懈。一方麵，他極力向朝廷舉薦人才，間接增強自己的政治資本；另一方麵，他大為網羅天下英才，直接充實自己的勢力，著名詩人杜牧就在這一時期投身牛僧孺麾下做幕僚。除此之外，牛僧孺還注意結交朝中權貴，每次回京必向朝中大臣送禮。一次，太子賓客李紳經過揚州（淮南軍治所），本來受太子之意不事聲張，但是牛僧孺還是熱情款待了他，並且在此之後隻要李紳途經揚州，牛僧孺都會熱情款待他，這也讓牛僧孺最終和太子搭上了關係。
就在牛僧孺於地方節度使任上怡然自得的時候，他的主要政敵李德裕已經入朝為官，先為兵部尚書，後拜為宰相。李德裕出身世族大家，根本不曾把宦官放在眼裏，並將其斥之為“李姓家奴”。但是隨著宦官集團的勢力膨脹，李德裕也不得不麵對現實，轉而與宦官勢力結交，並最終在宦官集團的幫助下，得以入朝為相。本來，重新得勢的李德裕準備對牛僧孺展開打擊，但是牛僧孺早有所料，因而提前取得一支宦官勢力的庇護，以至於李德裕攻擊牛僧孺的奏疏都未能交到文宗皇帝手中。如此一來，李德裕也知道自己一時無法扳倒牛僧孺，遂放棄了繼續打擊牛僧孺的念頭。
收到相關消息後，身在揚州的牛僧孺也終於放下心，繼續每天高朋滿座的日子，並於《黨氏女》之後完成另一力作《崔紹》。這個時候，杜牧的才華和能力逐漸顯現出來，牛僧孺也將他作為著力培養的對象。由於少不更事，杜牧逐漸變得恃才自傲，不僅經常出口傷人，而且總是大醉而回。為了讓杜牧成長為國之棟梁，牛僧孺一麵對他進行教導，一麵派人暗中跟隨保護，前後達數年之久。後來，牛僧孺舉薦杜牧入京做監察禦史，得到朝廷同意。牛僧孺在餞行宴會上見杜牧仍然目空一切，遂拿出一遝書信，乃是暗中保護他的人給牛僧孺報平安的信箋。杜牧見此，大為感動，性情也因而有所轉變，後來果然得到朝廷重用。
與此同時，身在京城的李德裕也沒有閑著，他眼見無法使用行政手段打擊牛僧孺，轉而發起輿論攻勢。具體來說，李德裕收買文人撰寫了一部《牛羊日曆》，專門用來給牛僧孺一黨“潑髒水”。事實證明，李德裕此舉非常有效，在信息傳遞方式落後的當時社會，文學作品具有極強的流通性。再加上著者把牛僧孺一生的醜事都挖了出來，其中甚至是一些無中生有之事，牛僧孺的惡名由此廣為流傳。後世有對牛僧孺發起惡評者，大多采信書中所言，但這本書不過是黨派之間相互攻擊的一種手段，其中內容的可信度也就不言而喻了。值得關注的是牛僧孺的態度，不知是消息閉塞以至於長久無法流至揚州，還是牛僧孺根本就不想做出輿論回擊，李德裕在這場輿論戰中唱起了獨角戲。
然而，所謂“天作孽猶可恕，自作孽不可活”。李德裕使用輿論武器打擊牛僧孺而作《牛羊日曆》，隻是想順便警告一下楊虞卿，因而才有了《牛羊日曆》中的“羊”（取“養”諧音），卻不料楊虞卿也擁有了宦官背景。李德裕隻想著對付牛僧孺，對於楊虞卿防備有限，因而當楊虞卿發起反擊之後，李德裕居然馬失前蹄，一下子落於下風。再加上牛僧孺一黨同時發力，上書李德裕暗中勾結藩鎮圖謀不軌，李德裕最終被貶為袁州（今江西宜春）長史。不過，楊虞卿畢竟根基較淺，李德裕雖然被貶到地方，最終還是調動黨羽勢力，將楊虞卿也貶謫到了地方為官。