事實上，李德裕作為當時社會最資深的政治家之一，心中深知楊虞卿不過隻是個小角色，牛僧孺才是他真正要對付的敵人。於是，在李德裕的深挖之下，終於發現了牛僧孺的一絲劣跡。史料記載，牛僧孺家中供養著一位傾國傾城的歌女，此女不僅容貌秀麗，而且極為能歌善舞，深得牛僧孺的喜愛。據說，無論牛僧孺身在何處，都會讓這名歌女隨行伺候，多為時人所詬病。不過，在女權相對低下的古代社會，像牛僧孺這樣的高官豢養一位美女也是無傷大雅的，最多也就是在個人生活方麵授人以話柄，問題是這名歌女的來曆存在問題。原來，此女乃是一位家道中落的世家子弟之妻，世家子弟將他獻給牛僧孺而得到了官位，這就說明牛僧孺有賣官鬻爵的嫌疑了。
可惜的是，李德裕費盡心機挖出的這一事端，並沒有對牛僧孺構成威脅。原因是那位世家子弟為官後功績顯赫，其勢力之大早已不容小覷，而且具有深厚的軍方背景。李德裕已經在楊虞卿身上吃過一次虧，不想再次節外生枝，因而最終並沒有據此事向牛僧孺發難。總而言之，牛李二人的黨派之爭貫穿了整個唐朝晚期，並且在文宗皇帝一朝達到高峰。雖然他們的政爭不是唐朝滅亡的根本原因，但無疑也是唐朝滅亡的加速劑。應該說，如果牛僧孺和李德裕能夠同心同德，一心輔佐文宗皇帝治理國家，大唐王朝還有可能起死回生。但是由於他們始終處於敵對狀態，並且因此埋沒並損傷了大量賢才，包括牛僧孺和李德裕本人，大唐王朝的最後一絲希望也就漸漸泯滅了。
所作所為
在淮南節度使任上，牛僧孺沒有放鬆政治鬥爭，但是對於轄區內的治理同樣卓有成效。經過“安史之亂”的衝擊，以及藩鎮豪強的掠奪，淮南地區的經濟遭到嚴重破壞，長期以來一直處於民生凋敝的困境當中。牛僧孺到任淮南節度使任上之後，不僅幫助轄區內的百姓修建各類基本農業設施，同時嚴禁士兵侵擾百姓的日常生活和生產。對於一些過於貧困的地區，牛僧孺還推行了不同程度的減免稅收政策，同時鼓勵他們開墾荒田，並且借給他們種子，以及教授他們農耕技術。如此一來，短短數年之間，淮南地區的大片荒野變為魚米之鄉，不僅滿足了當地百姓的生活需要，還為國家貢獻了大量的稅收。
正所謂“倉廩實而知禮節”，人們隻有在吃飽了肚子之後，才顧得上講究體麵和禮數。淮南地區之所以長期荒蠻不化，盜匪叢生，民風凶殘，最根本的原因不是當地沒有文化，而是由於生活困頓而導致人們無暇關注文化。牛僧孺既然幫助當地百姓解決了溫飽問題，接下來推行文化教育和改革，也就變得順風順水了。盜匪們眼見日子好過了，也不願繼續擔驚受怕下去，紛紛回到家中拿起鋤頭過上了正常的生活，整個淮南地區一時間可謂政通人和。當然，對於那些匪性不改的頑固之徒，牛僧孺不僅製定了嚴格的律法，而且調動軍隊予以堅決打擊，直到將轄區內的盜匪被全部剿除。與此同時，牛僧孺還對所轄軍隊進行了大刀闊斧的改革，終究塑造出了一支精銳之師。
史料記載：“揚州當江淮之衝，習偷薄之禮。公（指牛僧孺）清淨簡易，化人移風，俾及五年，臻於至理。倉廩實，禮儀行，行措政成。”據此可知，牛僧孺一生雖然助長了晚唐的黨爭之禍，但是其基本的政治功底還是非常紮實的。他之所以在朝堂之上屢次辭相，請求皇帝到地方為官，除了對於時事和政事的無奈，也是想為百姓多做一點實事。應該說，從牛僧孺的本心來講，是想為天下蒼生有所貢獻的，隻可惜當時的唐王朝積弊難返，政治大環境迫使他沒有機會這樣做。在此，我們不妨大膽地假設一下，如果牛僧孺生在太宗皇帝時期，以他的才幹和抱負，能夠創造的政績不一定就比“房杜”和“姚宋”遜色。
對於一位有曠世之才的政治家來說，治理一方其實不必付出太多心力，牛僧孺就用自己的經曆再現了這一說法。前麵已經說過，牛僧孺除了是一位卓越的政治家，同時也是一位優秀的文學家。但是在淮南節度使任上，政事和文學也無法占用他的全部時間和精力，牛僧孺也就在這一時期增加了新的愛好，即奇石嘉木。淮南所在的範圍，包括今天安徽省的大部分地區，而安徽黃山的奇鬆怪石早可謂天下聞名。因此，牛僧孺在淮南節度使任上的六年時間，收集了很多奇石嘉木，這也讓他打發了大把無聊時光。當然，作為一代藝術大家，牛僧孺此舉在當時還掀起了一陣奇石嘉木熱，後世有愛好此道者，也都不同程度地受到了牛僧孺的影響。
這一時期，杜牧的弟弟杜顗辭官來到揚州，居住在龍興寺。牛僧孺知道杜顗也是一代奇才，因而親自前往龍興寺探望，並且想要把他辟為幕僚。不過很可惜，杜顗此人比他的哥哥杜牧還要高傲，因而開門見山地謝絕了牛僧孺。事實上，杜顗並非對牛僧孺不敬，而是因為他此前一直受到李德裕器重和提拔，屬於李黨中人。換句話說，如果他答應牛僧孺的辟用，就等同於放棄了自己的政治盟友，甚至放棄自己的政見，這對於有操守的政治家來說是不可想象的。而牛僧孺自然也清楚這一點，他之所以會往見杜顗並希望辟用，說白了不過是想利用杜牧的關係，拉攏杜顗來增強自己的政治勢力，同時打擊李黨。需要說明的是，杜牧入朝為官之後，也曾遇到李德裕的拉攏，同樣沒有得到他的同意，因而杜氏兄弟在當時都被人們視為豪傑。
此時，被貶在外的李德裕已經幾經仕途波折。由於一心想要回到朝廷為官，他在地方任上總是坐不住，可惜幾次遷官都是在各地方之間調換。他首先從袁州任上調為滁州刺史，由於運作得當，獲取了太子賓客分司的頭銜，並由此得以充任浙西觀察使。與此同時，牛僧孺的仕途也發生了一些變化，先是朝廷屢次降書，希望他能夠入朝為官。但是牛僧孺知道朝中的政爭鬥爭仍然如故，而他也仍舊無力改變這種局麵，因而一直沒有同意。最終，在朝廷的一再要求下，牛僧孺選擇了一個折中方案，同意出任東都留守，幫助朝廷經營洛陽。前麵已經說過，洛陽也是唐王朝的重要都城，“安史之亂”時叛軍從東麵來，長安是大後方。而吐蕃和突厥來犯時，洛陽又可以成為大後方，而此時唐王朝的主要威脅正來自吐蕃，牛僧孺此舉也算是當時最好的選擇了。
不過，讓牛僧孺感到意外的是，接任他擔任淮南節度使的人，居然是時任浙西觀察使的李德裕。牛僧孺不想與他正麵交鋒，因而在接到朝廷詔令後都沒有來得及告別當地親朋，匆匆辦理好交接手續後，便急忙趕往京城了。可惜事與願違，李德裕出任淮南節度使之後，所做的第一件事就是清查牛僧孺任期內的所有賬目，尋機大做文章。在此需要說明的是，由於官員交接始終存在矛盾，自古這就是一件十分微妙的事情。簡單來說，離任的官員總是能帶走的東西都帶走，或者作為政績去向朝廷邀功，或者到下一任官位上方便行事；而接任的官員自然是能留下的東西都要留下，目的也是為了方便行事。
長期以來，或者離任的官員帶走的多了一點，或者接任的官員留下的多了一點，但大多保持在大家都可以接受的範圍內。牛僧孺和李德裕之間的交接，正是因為這一灰色地帶的存在，讓李德裕終於抓住了牛僧孺的“小尾巴”。經過查實，李德裕找到了很多人證物證，確實能夠說明牛僧孺帶走的東西多了點。朝廷接到他的奏疏之後，也按例派出相關人員到揚州來調查，這些來調查的官員自然明白李德裕的心思，因而在拿到他的好處之後還大包大攬地表示一定將牛僧孺治罪。可惜，這件事最終還是不了了之了，因為從朝廷屢次想要召回牛僧孺的舉動可以看出，文宗皇帝想要再次起用牛僧孺，根本不會因為一點小事而治他的罪。牛僧孺也正是因為看清了這一點，才在離任的時候帶走了不少東西，也算是對李德裕咄咄逼人的一種回應。
這一年的夏天，牛僧孺回到洛陽家中，同時出任東都留守一職。憑借在揚州搜集的奇石嘉木，牛僧孺大肆興修自己的府邸，一時間竹木通幽，樓榭成群，好不幽美。在辦理公事之餘，牛僧孺時常召集當時的名士在家中聚會，時常一片“談笑有鴻儒”的氣象，白居易和劉禹錫都是他的座上常客。需要說明的是，牛僧孺雖然把府邸修建得十分華麗，但是卻用盡了畢生的積蓄，這和他尤其喜愛奇石嘉木有關，並不是奢華無度的表現。白居易曾做《太湖石記》，其中內容曰：“公（指牛僧孺）以司徒保河洛，治家無珍產，奉身無長物，惟東城置一第，南郭營一墅。”在此可作為明證。