曾國藩冷冷地回答說：“少荃是翰林，了不起啊!誌大才高。我這裏呢，局麵還沒打開，恐怕他這樣的艨艟巨艦，不是我這裏的潺潺溪流所能容納的。他何不回京師謀個好差事呢！”陳鼐為李鴻章辯解說：“這些年，少荃經曆了許多挫折和磨難，已不同於往年少年意氣了。老師不妨收留他，讓他試一試。”
曾國藩會意地點了點頭。就這樣，李鴻章於1858年進了曾國藩幕府。
其實，曾國藩並不是不願接納李鴻章，而是看李鴻章，心地高傲，想打一打他的銳氣，磨圓他的棱角。這大概就是曾國藩這位道學先生培養學生的一番苦心吧。自此之後，曾國藩對李鴻章的棱角著意進行了打磨，以便他變得老成世故，打下立足官場的“基本功”。
曾國藩很講究修身養性，規定了“日課”，其中包括吃飯有定時，雖在戰爭時期也不例外。而且，按曾國藩的規定，每頓飯都必須等幕僚到齊方才開始，差一個人也不能動筷子。曾國藩、李鴻章，一是湘人，一是皖人，習慣頗有不同。曾國藩每天天剛亮就要吃早餐，李鴻章則不然。以其不慣拘束的文人習氣，而且又出身富豪之家，對這樣嚴格的生活習慣很不適應，每天的一頓早餐實在成了他沉重的負擔。一天，他假稱頭疼，沒有起床。曾國藩派弁兵去請他吃早飯，他還是不肯起來。之後，曾國藩又接二連三地派人去催他。李鴻章沒有料到這點小事竟讓曾國藩動了肝火，便慌忙披上衣服，匆匆趕到大營。他一入座，曾國藩就下令開飯。吃飯時，大家一言不發。飯後，曾國藩把筷子一扔，扳起麵孔對李鴻章一字一板地說：
“少荃，你既然到了我的幕下，我告訴你一句話：我這裏所崇尚的就是一個‘誠’字。”說完，拂袖而去。
李鴻章何曾領受過當眾被訓斥的滋味？心中直是打顫。從此，李鴻章在曾國藩麵前更加小心謹慎了。
李鴻章素有文才，曾國藩就讓他掌管文書事務，以後，又讓他幫著批閱下屬公文，撰擬奏折、書牘。李鴻章將這些事務處理得井井有條、甚為得體。深得曾國藩賞識。幾個月之後，曾國藩又換了一副麵孔，當眾誇獎他：
“少荃天資聰明，文才出眾，辦理公牘事務最適合，所有文稿都超過了別人，將來一定大有作為。‘青出於藍而勝於藍’，也許要超過我的，好自為之吧。”
這一貶一褒，自然有曾國藩的意圖。而作為學生的李鴻章，對這位比他大十二歲的老師也真是佩服得五體投地。他對人說：“過去，我跟過幾位大帥，糊糊塗塗，不得要領；現在跟著曾帥，如同有了指南針。”
李鴻章在未入曾幕之前，曾先後隨團練大臣呂賢基及安徽巡撫福濟，此二人既非戰亂之才，對於領兵作戰更是缺乏經驗，李鴻章在他們手下帶兵及處幕，自然沒有本領可學。曾國藩所以能在舉世滔滔之中發生砥柱中流的作用，就是因為他能以子弟兵的方法訓練湘軍，使他們成為一支能征慣戰的隊伍；而他自己所擬訂的通告全局、十道分進、對太平天國展開全麵防堵圍剿的戰略方針又極為正確，因此，方能使他在對太平天國的戰爭中掌握主動，著著進逼，終於使太平天國政權完全傾覆。假如曾國藩也像一班督撫大帥那樣不能高瞻遠矚；那麼，曾國藩不免也會像向榮、和春、勝保、福濟等人一樣碌碌無成，李鴻章也決不能從曾國藩那裏學到卓越的打仗要領。曾國藩死後，李鴻章作聯挽之，說：
師事近三十年。薪盡火傳，築室忝為門生長；
威名震九萬裏，內安外攘，曠世難逢天下才。
此聯的上半，充分道出了李鴻章師事曾國藩而盡得其軍事政治才能的事實。然而，李鴻章入居曾幕，實在是他一生事業的重要關鍵，拜相封侯，悉基於此。至於曾國藩賞識李鴻章，除了曾國藩素知李鴻章才氣過人這一因素外，下麵一件事，也是重要的原因。
李鴻章居曾幕時，曾為曾國藩草奏嚴劾安徽巡撫翁同書，最得曾國藩的欣賞。其時，曾國藩因翁同書對練首苗沛霖的處置失常，以致激成大變，他本人又在定遠失守之時棄城逃走，有愧封疆大吏的守士之責，極為憤慨，意欲具疏奏劾而難於措辭。翁同書是前任大學士翁心存之子，翁心存在皇帝麵前的“聖眷”甚隆，門生弟子布滿朝列，究應如何措辭，方能使皇帝決心破除情麵，依法嚴懲，而朝中大臣又無法利用皇帝與翁心存之間的關係，來為翁同書說情，實在很費腦筋。他最初使一幕僚擬稿，覺得甚不愜意，不願采用，而自己動手起草，怎麼說也不能穩當周妥。最後，乃由李鴻章代擬一稿，覺得不但文意極為周密，其中，更有一段極為警策的文字，說：
臣職分所在，例應糾參，不敢因翁同書之門第鼎盛，瞻顧遷就。
這段話的立場如此方剛嚴正，不但使皇帝無法徇情曲庇，也足使朝臣之袒翁者為之鉗口奪氣。所以，曾國藩看了之後，大為欣賞，即以其稿入奏，而翁同書亦旋即奉旨革職拿問，充軍新疆。就事論事，李鴻章此稿，深得奏議文字的“辣”字訣，使人無可置喙於其間。李鴻章有此吏才，足以便曾國藩對他刮目相看。