最初的鬥爭為了抱負，其後的鬥爭為了利益，接下來的鬥爭是為了榮譽，而最後的鬥爭卻根本不知道為了什麼。牛僧孺的一生雖然深陷於政治鬥爭當中，但他向來都是見招拆招，化解對方的攻擊於無形。而他的政敵李德裕則向來咄咄逼人，總是先人一步出招製敵，二人就這樣一來一回地較量著。如果牛僧孺是李德裕，他們之間的鬥爭可能一戰就已經分出勝負；如果李德裕是牛僧孺，他們之間的鬥爭很可能會延續到身後之人，但牛僧孺就是牛僧孺，李德裕就是李德裕，因而他們才用自己的人生譜寫了一台完整的大戲。
風波
就在牛僧孺準備定居洛陽頤養天年的時候，京城長安忽然出現一本名為《周秦行紀》的傳奇，內容當中多有反叛之言，其署名正是牛僧孺。此時雖然有明顯的栽贓嫁禍痕跡，但是文宗皇帝卻不得不做出回應，他派遣禦史台徹查此事，最終發現《周秦行紀》乃是韋瓘托名牛僧孺而作。至於這個韋瓘，乃是李德裕的門人，包括此前的《牛羊日曆》，都是出自他的手。當時，李德裕在淮南節度使任上，韋瓘對牛僧孺發起輿論攻擊，雖然是他的拿手好戲，但也是無心之為，並未想過對牛僧孺形成實質性打擊。不過，這件事卻給牛僧孺提了醒，經過“《周秦行紀》案”之後，他開始閉門謝客，並且竭力表現出與世無爭的姿態。
白居易的作品中曾經對牛僧孺這段時間的生活有所記載，說他每天除了辦理公事，大部分時間都在自己的院落中觀賞奇石嘉木。應該說，牛僧孺對於黨爭是極為厭惡的，他之所以一再拒絕出仕，這顯然是最重要的原因。在洛陽宴請賓客，他也完全是出於消磨時光，即便出於政治目的有所行動，也大多出於自保。當“《周秦行紀》案”發生後，牛僧孺隻能進一步收斂自己的鋒芒，連宴請賓客的次數和數量都要嚴格控製了。正是在這種情況下，牛僧孺才每天對著滿園的奇石嘉木暗自惆悵，由此也不難看出，這個時候的牛僧孺已經無心爭強好勝，隻想安安穩穩地度過餘下人生。
然而，一心圖強的文宗皇帝已經沒人可以信任，每天圍在他身邊的人，不是有能力而沒有忠心，就是有忠心而沒有能力。在這種情況下，雖然牛僧孺一再搪塞，文宗皇帝還是執意讓他出山。牛僧孺見文宗皇帝如此，也隻好勉強入朝為官，旋即被拜為左仆射，也就是第一宰相。可惜的是，此時的文宗皇帝都沒有什麼實權，他所封的宰相有多大權力，也就可想而知了。因此，牛僧孺根本不被這個名義宰相的頭銜所動，到達長安之後，他雖然接受了左仆射的任命，但是在入宮謝過文宗皇帝後，便不再入朝了。文宗皇帝派人到牛僧孺住處去請，得到的回複是牛僧孺足疾很嚴重，已經無法自主行動了，因此才閉門不出。
事實上，文宗皇帝心中很清楚，牛僧孺之所以不來上朝，是因為他已經無心政事，確切地說是無力改變眼下的政治局麵。當時，宦官專政已經到了無以複加的地步，他們甚至可以按照自己的意願廢立皇帝。而牛李兩黨卻仍然鬥得死去活來，宦官集團也樂得坐山觀虎鬥，分別支持兩派明爭暗鬥。牛僧孺雖然名義上是牛黨的領袖，但是他對於牛黨的製約能力卻十分有限，真正的牛黨大佬乃是一心想要鬥垮李黨的李宗閔。牛僧孺不想趟這渾水，牛李兩黨還可以保持均衡態勢，基本上隻是一些小打小鬧。一旦牛僧孺加入戰團，最終會引發什麼樣的動蕩難以預料，而這顯然是宦官集團想要看到的局麵。就算牛李兩黨冰釋前嫌，聯手對付宦官集團，也無異於蚍蜉撼樹，何況牛李兩黨積怨太深，這種局麵的出現基本沒有可能。
不過，接下來發生的一件事，卻容不得牛僧孺繼續逃避事實。當時，文宗皇帝雖然已經前有群臣黨爭之憂，後有宦官專政之愁，但上天還是為他降下了新一重的災禍，即後宮嬪妃失和。具體來說，太子的生母王德妃失寵，得寵的楊賢妃想要鞏固自己的地位，因而在逼死了王德妃之後，開始打太子的主意。而太子又屬實不爭氣，每天四處遊蕩嬉戲，身邊也因此聚集了一群小人。在這種情況下，文宗皇帝終於抵不住楊賢妃的枕邊風，召集群臣商議廢掉太子。眾所周知，太子乃是重要的國本之一，身後隱藏著無數政治勢力，如果廢掉他必定引發時局動蕩。因此，牛僧孺立即應召入宮，堅決反對廢掉太子，最終如願。但是楊賢妃取得了宦官集團的支持，太子最終還是未能免於一死，文宗皇帝痛心疾首，牛僧孺也隻能從旁安慰。
雖然失去了太子，文宗皇帝卻得以讓牛僧孺出山，因而想讓他出任禦史大夫。這一官職雖然品階低於左仆射，但實權卻高於左仆射，也算是明降暗升了。本來，牛僧孺出於安慰文宗皇帝考量，已經答應出任這一職務，但是沒想到半路殺出個程咬金，宰相鄭覃是李黨的領袖之一，對此堅決予以反對，文宗皇帝隻好作罷。不過，這個時候的文宗皇帝經過一番明暗運作，已經把另外一位心腹大臣李石扶持為宰相，因而盡管牛僧孺未能被他推上禦史大夫的位置，李石還是讓他感到安慰。不過，李石也知道自己無力回天，在宦官仇士良的發難之下，主動請求出任荊南節度使去了，文宗皇帝隻好再次把希望寄托到牛僧孺身上。
恰逢這個時候，湖北忽然發生百年一遇的水災，急需一位有威望和有能力的重臣前去賑濟災民，牛僧孺便主動請命。文宗皇帝希望他留在自己身邊，因而並不願答應，但是禁不住牛僧孺一再請求，終於還是答應了他。為示恩寵，文宗皇帝任命他為檢校司空、兼同平章事、向州刺史、山南東道節度使，同時加食邑三千戶，賞賜金銀器物數不勝數。即便如此，在牛僧孺即將赴任之時，文宗皇帝還是突然改變了注意，想要收回成命，把牛僧孺留下來。牛僧孺堅定地予以回絕，文宗皇帝才不得已放他出朝，同時又賞賜了他許多更高規格的器物。
在襄州刺史任上，牛僧孺同樣注意網羅賢才，先後辟用劉蕡、韓昶（韓愈之子）、盧公則和盧簡求為幕僚。當然，牛僧孺此行既然是為了賑災，自然也要在這方麵做足文章。為了幫助災民度過最艱難的時期，牛僧孺一不向朝廷要糧，二不向周邊未受災的地區借糧，而是開發了當地可以食用的大批作物。比如最主要的山竹，在災情最嚴重的六月剛好成熟，牛僧孺派兵保護山竹產區，按照計劃向災民供應糧食，成功度過了最艱難的階段。不過，但凡天災出現總會伴隨人禍，除了一些囤積大批糧食的地主，還有不法商人從其他地區運來糧食，都對災區人民高價出售。對此，牛僧孺用優惠政策從地主和商人手中換來了大批糧食，發放下去之後自然也讓災情大為緩解。
當然，作為一代政治家，牛僧孺在襄州刺史任上的目標不僅限於撫平災情，對於當地的災後治理同樣政績顯著。史料記載，牛僧孺在襄州“均稅賦，抑豪強，頗有政績”。需要說明的是，牛僧孺在襄州所推行的改革，無疑會侵犯大地主和大商人的利益。但是據史料記載，這些人對於牛僧孺的改革無比心悅誠服，不但沒有阻撓，還幫著他貫徹落實。這就不得不說到牛僧孺的政治藝術，他一不用錢，二不用強，而是利用手中僅有的“政策”做籌碼，可謂真正做到了以德服人。比如對大地主，牛僧孺允許他們在豐年少繳納稅賦，或者允許他們多繳稅而免除徭役、差役和兵役等；而對於大商人，牛僧孺則向他們暫時開放一些政府專營的商品，其中主要包括食鹽，這些措施在當時都具有非常先進和重要的曆史意義。
再沉浮
唐開成五年（840），文宗皇帝駕崩，皇弟李炎被仇士良和魚弘誌等宦官推上皇位，是為唐武宗。武宗皇帝身形偉岸，性情豪爽，很有英主之風。不論是對待朝臣，還是對待藩鎮，或者對待外族，武宗皇帝都敢於擺出強勢姿態。這與一向作風硬朗的李德裕不謀而合，因此在武宗皇帝繼位之後，對於李德裕的器重日益加深，李黨也因此勢力大漲。令人欣慰的是，武宗皇帝不僅勇武，並且不乏謀略。他雖然倚重李德裕，卻也知道不能讓他一支獨大，必須對其予以牽製，而牽製他的最佳人選無疑正是牛僧孺。因此，就在李德裕拜相不久之後，牛僧孺被武宗皇帝強令調回朝廷，同時任命他為太子少保，隨後又升為太子太保。
對於這一人事安排，足以看出武宗皇帝的睿智。簡單來說，武宗皇帝想要重用李德裕，就必須給他實權，但是為了防止他坐大，又必須予以牽製。在選定牛僧孺之後，武宗皇帝一方麵要保障他對李德裕形成牽製，一方麵又要避免讓李德裕掣肘。因此，最好的辦法就是讓牛僧孺居於朝廷，但隻是掛有虛職。如果事情僅僅如此，隻能說明武宗皇帝不過爾爾，因為同樣的人事安排文宗皇帝也曾做過，可惜根本無法阻止牛李黨爭的持續惡化。至於武宗皇帝的人事安排，關鍵一點在於他讓牛僧孺擔任的“太子太師”一職。簡單來說，這雖然是一個虛職，卻是太子的老師，是負責教導太子學習的，當然也會讓牛僧孺和太子組成政治聯盟。