與此同時，他調羅澤南、李續賓帶所率湘勇回長沙，又令英勇可靠的塔齊布、楊載福、彭玉麟等大量招募新勇，新增數營，湘勇很快又擴大到一萬人。他還向廣東、廣西奏調水師兵勇，廣東派山東登州鎮總兵陳輝龍帶水兵四百名、炮一百尊，廣西派升用道員李孟群帶水勇一千名，來湘會戰。又在衡陽、湘潭分設船廠，新造戰船六十多隻。
湘軍經過這次整頓之後，更加兵精械足，“規模重整，軍容複壯”，水陸兩師共達二萬之眾。
在當時的湘軍中，以治軍嚴明著稱的還有彭玉麟，他可以說是得曾國藩嚴明之真傳，以至民間有“彭打鐵”之雅號。彭玉麟歸隱後，以查江舊居已壞，在郡城東岸買小樓自居，題名日：“退省庵”。每日種樹灌園，有終老之誌。
但自彭玉麟歸隱，長江水師規製漸壞，弁勇橫行搶掠，朝野有人認為水師可廢。清廷下詔彭玉麟再次整頓水師。彭玉麟出山後即劾罷營哨官百八十二人，於是江湖肅然。尤其是不顧情麵，彈劾名將黃翼升。
彭玉麟勇於負責，有功不貪。常輕舟小艇，往來倏忽，不獨將佐畏之如神，即地方官也望風震懾，民間不軌之徒敢作奸犯科者輒互相驚嚇曰：“彭宮保！”立即奔逃不敢出。威聲震動數千裏。朝廷對他倚任更重，凡有大事都交他處置，如兩江總督左宗棠、劉坤一，湖廣總督塗宗瀛，兩廣總督張樹聲，皆朝廷倚重大臣，經言官上奏，皆命彭玉麟察核。
彭玉麟剛介絕俗，頗有豪氣，尤善飲，經常咯血而酒不廢。中年黜妻屏子，沒有姬侍，隻有一二個老兵供事其旁。對待部下舊將如同布衣子弟，而紀律極嚴。他的弟弟長期客居州縣，服食鴉片成癮，正巧軍中嚴禁食煙，旁人將此事告知，彭玉麟大怒，立杖四十，並斥之曰：“不斷煙癮，死不相見。”他的弟弟感愧自恨，臥三日已瀕死，竟絕不再服，複為兄弟如初。以舊習商業，令行鹽，致資巨萬，一無所取。其弟亦豪邁揮霍，恤貧篤人。
彭玉麟尤惡浮華，厭絕請送之類官場舊習。治軍廣東時，民士恐餉糧不繼，共募銀十七萬兩送軍中，彭拒而不受。辭官之日，眾以金排萬人姓名於二傘上，價值萬金，彭諭令各還其主，且戒其奢。斷案嚴肅，恒得法外意，所殺必可以正民俗。安慶候補副將胡開泰，召娼女飲酒作樂，而使妻行酒，其妻不從，遂抽刀割其腹，街巷洶洶，事情鬧到院司，正聚議所以處置。彭趕至後，遣人召來，但詢名姓居址，即令牽出斬之，民眾大歡。忠義前營營官、總兵銜副將譚祖綸誘劫其友張清勝妻，清勝知悉後，秘密留居密室，出偽券素要償債，但譚逃走，升營將。州縣官因為在譚祖綸管轄地方，置之不問，因訴於彭玉麟。彭玉麟先聞黃州漢陽道路藉藉，欲治之無端，得清勝詞，為移總督，先奏劾譚祖綸，且遣清勝赴武昌對質。朝廷下詔，令彭玉麟與總督即訊，譚祖綸令人將張清勝從輪船上擠下溺死。又行賄張妻父母及妾劉氏反其獄，忠義營統將方貴重用事，總督昌言誘奸無死罪，謀殺無據。彭玉麟知譚祖綸根據盤固，不可究詰。適總督監臨鄉闈，立即至武昌，徼府司提祖綸至行轅，親訊，忠義營軍傾營往觀。祖綸至，裝出若無其事的樣子，等到公開他的罪行，支離狡詐，及謀殺蹤跡，祖綸伏罪，立即令就岸上正法，一軍大驚。
智慧點評
湘軍諸將正因為在曾國藩的嚴格教誨下，“雖離曾國藩遠去，皆遵守約束不變”，這也符合曾國藩治軍的特點。因為曾國藩在湘軍中把封建倫理觀念同尊卑等級觀念結合起來，將軍法、軍規同家法、家規結合起來，用父子、兄弟、師生、朋友等親友關係來掩飾、調劑、補充上下尊卑關係，以減少內部的摩擦與抵觸，使下級與士兵樂於尊重官長、服從官長，為官長賣命。