唐元和九年（814）十月，始終盤踞在牛僧孺頭上的政敵李吉甫死了，在同僚的舉薦之下，牛僧孺終於得以直言敢諫的美名入朝為官，拜監察禦史。此時，牛僧孺三十五歲，正好是古代為官的黃金年齡。不過，恰逢此時，牛僧孺的母親周氏病故，他隻能回到家中丁母憂。三年之後，牛僧孺丁憂期滿，得以複任監察禦史之職。在此任上，牛僧孺到江南道諸州巡查，主要負責考察民風，曾經辦理了黃州錄事參軍張紹拋棄妻子的案件。在當時，國家對於婚姻製度的規定非常嚴格，但是在江南諸州卻大行棄妻之風，牛僧孺巡查江南道實際上是為了移風易俗。由於辦事得力，牛僧孺很快升為殿中侍禦史，並於次年再次擢升為禮部員外郎。
禮部是國家重要職能部門，分管國家大典、皇帝祭祀和科舉考試等重要事宜，員外郎是繼上書和侍郎之後的第三把手。由此可見，牛僧孺雖然品階不高，但是已經登上了國家的中心政治舞台。在此之後，牛僧孺的仕途升遷登上順風車，一路出任考功員外郎、集賢殿直學士、庫部郎中和知製誥等職。知製誥負責下達各種國家最高級別的詔令，並且是由皇帝直接口授，雖然隻是個辦事人員，但是該職位已在國家核心權力圈之內。不足一年，牛僧孺便被提拔為禦史中丞，由此成為言官之首。
在禦史中丞任上，牛僧孺首先明確了當時的法典，尤其對各類案件辦理所需時間做出了明確規定，使當時的陳年積案大多得到解決。與此同時，牛僧孺對於法典的推行更是不遺餘力，曾有宿州刺史李直臣收受巨款賄賂，按罪當誅。但是李直臣對當時掌權的宦官集團大行賄賂，在他們的幫助下大有開脫之勢。牛僧孺作為言官之首，對於宦官集團的不法行為直言不諱，最終說服了當時的穆宗皇帝依法對李直臣進行懲處。不言而喻，宦官集團幫李直臣開脫乃是違法亂紀的行為，牛僧孺據理力爭可謂嚴明法紀，但是宦官集團卻狹隘地認為牛僧孺在與他們為敵，因而雙方之間的仇怨越積越深。
當然，穆宗皇帝也是宦官專權的受害者，因而對於牛僧孺的做法，他予以最大限度的支持。對於李直臣事件，穆宗皇帝就對牛僧孺大為讚揚，並且給了他頗多封賞。如果從表麵來看，皇帝獎勵有功之臣，屬於再簡單不過的事情了，但是如果仔細思考，就不難看出在這件事的背後，充斥著幾大政治集團的權力碰撞。宦官專政在憲宗皇帝時期已然成型，這些所謂的“中官”胸無大誌，聚斂錢財往往是他們最大的人生追求，而收受賄賂就是最主要的手段之一。因此，宦官收受賄賂在當時極為普遍，而牛僧孺雖然堅持懲辦李直臣，實際上卻是打擊宦官集團的氣焰，當然也是在剪除他們的勢力。
牛僧孺代表東山再起的革新派大臣，穆宗皇帝代表皇權集團，另一派沒有直接露麵的守舊派大臣，顯然也站在宦官集團的對立麵。由此可知，在當時的唐王朝內部，皇權聯合大臣打擊宦官的運動，已經悄然拉開帷幕。機緣巧合，牛僧孺成了這場政治運動中的先鋒人物，他的所作所為也將直接影響當時的局勢發展。而作為此時的當權者，宦官集團不可能坐以待斃，一係列的反撲行為都在明裏暗裏進行著。作為應對，穆宗皇帝不斷加強對革新派大臣的扶植，牛僧孺因此被擢升為戶部侍郎，成為整個唐朝財政機關的重臣。
按照古代社會的官場慣例，負責財政大權的官員，乃是宰相一職的不二人選，穆宗皇帝顯然已經準備讓牛僧孺出任宰相了。與此同時，還發生了一件非常重要的事，為牛僧孺最終登上宰相位起到很大作用。一次，河中節度使韓弘入朝覲見，為了最大程度爭取作為節度使的權力，他對朝中百官大行賄賂。在當時，這種現象也是極為普遍的，很多朝中官員甚至就是各鎮節度使的耳目。但是，當韓弘賄賂到牛僧孺府上之後，被嚴詞拒絕了。應該說，韓弘身為節度使，不一定有叛亂之心，之所以賄賂朝官多半隻是處於自保。牛僧孺之所以如此是非分明，實際上是為了表明自己的政治立場。果然，穆宗皇帝得知此事之後，又對牛僧孺進行了一番讚賞，同時也更加倚重他了。
這個時候，還有一人非常有希望出任宰相，他就是前宰相李吉甫的兒子，也是牛僧孺一生中最主要的政敵李德裕。相比之下，當時的宰相李逢吉更欣賞牛僧孺，因而將李德裕排擠到地方去做官，牛僧孺和李德裕之間的矛盾也更加深重了。一方麵是穆宗皇帝的寵信，一方麵是宰相的引薦，牛僧孺終於在唐長慶三年（823）以戶部侍郎同中書門下平章事，由此成為大唐帝國的宰相。
艱難輔政路
長慶四年（824）正月，穆宗皇帝因服藥暴斃，敬宗皇帝登基稱帝。由於他年僅十六歲，牛僧孺受穆宗皇帝遺詔，以宰相之職輔政。期間，敬宗皇帝輕信道士長生不老之說，想要召見天下道士，由於牛僧孺的勸阻才告作罷。除了忙於政務，牛僧孺還以他在文學和史學方麵的造詣，開始監修國史，並因此得授集賢殿大學士。在舉薦賢才方麵，牛僧孺也有作為，比如白居易就曾因為他的舉薦，而出任太子左庶子。但是由於政見不和，牛僧孺和李逢吉之間也出現了很大矛盾，再加上宦官集團的攻擊，牛僧孺在朝中的處境日漸艱難。於是，牛僧孺出任宰相不滿一年，便以身體抱恙為由，多次上書請求辭去相位，但是敬宗皇帝並未準許。
敬宗皇帝雖然年少，但是對於帝王之術頗有心得，何況穆宗皇帝早已對此時的政治格局做出安排，因此敬宗皇帝非常清楚，滿朝之上無非三大政治勢力，即宦官集團、守舊派大臣和革新派大臣。這三股勢力必須相互製衡，才能換來朝政的基本安寧，如果三者的勢力失衡，朝政很可能會變得雞飛狗跳。牛僧孺作為革新派大臣的代表，如果輕易罷相，必然會讓局勢迅速惡化。因此，盡管牛僧孺一再請求罷相，敬宗皇帝就是不同意，而且還加封他為金紫光祿大夫，奇章郡公，食邑三千戶。這一封賞是明顯的政治信號，即敬宗皇帝對牛僧孺是非常倚重的，這就有了牛僧孺公開阻止李逢吉打擊杜元穎事件。
杜元穎也是當時的宰相，由於政見多與李逢吉不和，遭到諸多排擠。最終，杜元穎在政爭中落敗，被貶到地方做官。一次，李逢吉和牛僧孺在政事堂閑談，李逢吉對於杜元穎被貶之事心懷愧疚，說了一些自責的話，實際上是為了贏得牛僧孺的好感。但是牛僧孺絲毫不買他的賬，毫不避諱地指出杜元穎被貶就是他在背後搞鬼，弄得李逢吉很是下不來台，此後也不敢繼續打擊杜元穎了。後世史學家就此論斷，李逢吉和牛僧孺是一黨的說法有欠考量，在此予以采信。要知道，穆宗皇帝病危的時候，李逢吉和牛僧孺都曾建議儲君的人選，但是二人的意見並不相同。
李逢吉拉攏牛僧孺不成，轉而對他實施打擊，由於牛僧孺羽翼未豐，隻能繼續上書求退。敬宗皇帝為了表示恩寵，在鄂州（今湖北鄂州）建立武昌軍，讓牛僧孺以禮部尚書和宰相的頭銜出任節度使，兼鄂州刺史等職，在當時被稱為“使相”。史家評價牛僧孺的“使相”一職，乃是“佩相印而專節鉞，文武二柄付於全才”，可見敬宗皇帝對他的倚重程度。接下來，牛僧孺得以在鄂州施展拳腳，其中最主要的一項政績就是建造城牆。當時，鄂州城牆主要是草木結構，雖然建造比較簡單，但是每天都要修葺一次，而負擔最重的無疑是老百姓。牛僧孺到任之後，改用磚石鑄造城牆，雖然一時的負擔較重，但是建成之後再也沒有打擾過百姓，同時大舉加固了城防工事，屬於一勞永逸的做法。
按照慣例，各地軍隊雖然有節度使坐鎮，但朝廷還是會派一位宦官做監軍，乃是朝廷對各地節度使赤裸裸的不信任。因為立場和利益的問題，各地節度使和監軍的關係非常讓朝廷頭疼，他們要麼同流合汙，一起欺騙和蒙蔽朝廷。要麼激烈對峙，以至於監軍被驅趕甚至被殺害的現象屢見不鮮，朝廷對於這種情況也是敢怒不敢言，隻能再派監軍赴任，但多半隻能充當耳目。牛僧孺作為節度使，基本上保持了不卑不亢的態度，他既不諂媚，也不失禮，隻是做好在分內的工作，以至於連宦官都欽佩不已。在此期間，牛僧孺還收攏了李玨、韓佽和柳仲郢等大批人才，這些人後來都成為唐王朝的重要大臣。