眾人抬頭往城頭上看，隻見城頭的每個垛口都擠滿了人，一邊往下看著，一邊歡呼雀躍，鼓掌喝彩。這時，城門也徐徐打開，一群平民和農民打扮的人從城裏湧了出來。原來城內的平民和被高德儒收攏來的農民早就對他不滿，今天趁高德儒領兵出戰的機會自發地衝上城樓，殺死了為數不多的士兵，占領了城頭。一見貪官高德儒伏誅，眾人這才打開城門，迎接李世民等人進城。
進城之後，李建成和李世民在溫大有的幫助下發出了安民告示，令所有被高德儒征押進城的農民回家整理荒蕪的莊稼，打開官倉賑濟鄉裏，同時向大家澄清起兵的意圖和目的。於是，又有不少人自願地加入到李家隊伍中來。
諸事完畢，兄弟二人命令雷永吉暫時把守西河郡，而後率大部隊回晉陽向李淵複命。當眾人趕到晉陽的時候，距離他們去西河剿滅高德儒才短短九天。李淵親自出城迎接，下馬而行，但當他聽說李智雲慘死的消息之後，心中一片黯然，但他知道兒子是為了自己的宏圖大業，隻有打下一片江山才能對得起死去的兒子。於是便收拾好自己悲痛的心情，繼續自己未完的事業。
此時大家士氣正旺，都認為此時就是揮師南下最好的時機。李淵接受了大家的建議，但轉念一想，此時的實力還不算強大，這樣做有些冒險。劉文靜接口分析道，“舉國之內，能具帝王之氣的隻有三個地方，一為長安，一為洛陽，一為江都。江都為隋煬帝占據，此時已是孤城一座，洛陽亦為二軍爭奪，李密和隋軍都想以洛陽為基地，而長安雖有代王鎮守卻群盜並起，代王愚鈍，群盜之力也不太強大，所以可行之處就是長安一地，而且昔日也有劉邦弱兵取鹹陽，天下王之的前例，不如我們就南下攻取長安。”
“那誰是項羽啊？”不知是誰問了一句。
劉文靜想到了李密。按理說這個人也算是個人才，隻是他好大喜功，隻要能夠對他多加奉承，他必定心驕氣傲，乖乖地、勾我們死守東線。
眾人群起響應。隨後，李淵建構大將軍府，將手中軍隊分為三軍。李建成為隴西公、左領軍大都督，指揮左三軍；李世民為敦煌公、右領軍大都督，指揮右三軍。裴寂任長史，劉文靜任司馬，唐儉和溫大雅為記室，長孫順德和劉弘基等八任統軍，溫大有也參與其中。
同年，即隋煬帝大業十三年（公元617年）七月，李淵在晉陽野外誓師動員，留下李元吉把守晉陽，而後率領部下展開了浩浩蕩蕩的南征之路。
李淵率軍揮師南下，臨行之前，他言辭謙卑地給瓦崗寨的李密寫了一封信，將其盡情地讚揚吹捧一番，而後鼓舞三軍，順著汾水向南行軍。在西河郡帶上雷永吉的人馬，一路又收編了幾隻小規模的義軍，也沒遭遇到什麼人的抵擋，很迅速地於七月初到達雀鼠穀內的賈明堡。舊地重遊，李淵父子幾人都不勝感慨，昔日的戰鬥痕跡早已消失無蹤，遠山卻越發蒼翠清幽，林間的鳥鳴也清脆婉轉，非常悅耳。不知為什麼，賈明堡內已經人去城空，街道上也一片狼藉，好像被人劫掠過一樣，有的地方甚至還有焚燒拆毀的痕跡，讓人觸目驚心。大家率領手下小心翼翼地穿行於街道之上，不時地扶起倒在地上的雜物。街上空無一人，滿目蒼涼。
眾人正在納罕，探馬來報說距此地五十餘裏的霍邑已被隋朝虎牙郎將宋老生占據，宋老生手下精兵二萬，口口聲聲要拒義師於霍邑之外，賈明堡內的人也都是讓他給調到霍邑的，目的是想給義師留下一座空城。李淵聽罷，倒不覺奇怪，遂命令大軍退到城外，安營紮寨，不日進攻霍邑，先拿宋老生開刀。
說來也怪，自從由晉陽起兵南下之後，一直是晴空曆曆，絕少陰天，但大軍在賈明堡城外駐紮下來之後，天氣卻陡然變得異常起來，先是狂風大作，烏雲密布，接著天上便落起了雨點。頃刻之間，傾盆大雨自天而降，雨點密集，以致對麵不能視物。這雨下了整整兩天兩夜，路上水流成河，雖然都借著地勢流入了汾水之中，但路變得泥濘不堪，帳篷也整天濕漉漉的，連睡覺都成了問題，兵士們苦不堪言。暴雨過後，天並沒有放晴，小雨淅瀝不斷，整天零零落落，弄得人沒有一點好心情。
麵對此情此景，李淵也是心急如火。這一天，他把眾人聚集到中軍帳中共商對策，而眾人也是一籌莫展，個個緘口不語。劉文靜站起來悄悄地對李淵說道：“主公，近日由於大雨連綿，道路泥濘，後方的給養已經很長時間沒有運過來了，軍中餘糧也已不多。”
李淵昕罷，不覺微微歎了一口氣，決定撤兵回晉陽。但李世民不同意，此時回晉陽，那麼先前的努力就算白費了。他力諫李淵，終於讓李淵改變了注意。八月初，一直陰雨不斷、淒苦如訴的天終於轉晴。當久違的、讓人覺得刺眼的太陽從由厚變薄繼而變淡的雲層裏麵跳出來的時候，軍營上下頓時響起了如潮如雷的呼喊聲。
李淵等人更是高興，他們終於可以和宋老生展開一場期待已久的對決了！這一天，他們正在李淵帳中具體討論進兵事宜，忽然有兵士夾報說後方給養已經送到。眾人一陣歡呼，就在這時帳外守衛的兵士又進來稟報，李密已經在帳外等候。李淵看過信之後，心知此人確實孤傲，當即決定休書，對其極盡奉承，正好可以接他的力緩解圍困的情勢。
三日之後，李淵率隊精神抖擻地渡過汾水，距離霍邑二十裏的時候，李淵派柴紹先率小股部隊去偵探敵情。柴紹去不多時，回來向李淵複命道：“宋老生雖然叫囂甚烈，但霍邑城頭旌旗淩亂，城防也未修整，而且據傳城內現在正鬧糧荒，給養不足，軍民嫌怨甚深，這對我們非常有利。”
李淵與宋老生的戰鬥以勝利告終，眾人都非常高興，城內的兵士忙大開城門，迎接大軍進城。走到城門附近，李世民回頭一望，隻見後麵軍隊綿延甚遠，忙上前對李淵說道：“父親，我們現在有軍隊數萬，如此進城必定會鬧得人心惶惶，不如就讓他們在城外休息吧！”
李淵聽後點頭不止，命令部下於城外安營紮寨，不得擄掠財物，不得擾民害民，而後才步入霍邑城。一時之間，霍邑城內出現了多年以來從未有過的熱烈歡騰的景象，大街小巷都洋溢著一種節日般的喜慶氣氛，人們都在爭相傳頌著李淵等人給他們帶來的新生。一時之間，許多年輕人都積極踴躍地報名參加李淵的軍隊，連多年來潛伏於城外山上劫富濟貧的起義軍也聞訊來到城裏參加進來，李淵的軍隊迅速地擴大發展起來。
攻下霍邑之後，李淵讓隊伍休整三天，自己則著手處理城內事物，將隋朝舊吏留下來的事務一一整理清楚，同時派專人將新加入進來的人編成隊，加緊操練，使他們盡快熟悉作戰的要領。
一段時間的休整，李淵的勢力越來越大。大家見軍隊休息地也差不多了，便拔營繼續向著長安的方向前進。一路上勢如破竹。十一月，李建成手下的軍頭雷永吉首先從雲梯之上登上城牆，隨後大軍先後登城，長安城被攻陷，城內民眾一片歡騰，敲鑼打鼓地歡迎李淵的軍隊。
李淵吩咐手下清剿城內殘存的一部分頑固分子，並且不要騷擾民眾，而自己則親率一部分兵馬直奔皇宮而去。等到他們趕到皇宮，隻見皇宮大門敞開，守門的兵士們早已跑得無影無蹤，門裏門外一片狼藉。李淵懷疑其中有什麼奸詐，先派人去看了看，而後才率眾人進去。
眾人在李淵的率領下，走到了路的盡頭，這時向右一轉，禦春宮就出現在眾人的眼前。雖然李淵當了不少年的官，但是對皇宮中的布局卻一竅不通。
李淵躡手躡腳地走到了禦春宮的門前，見無人在裏麵，於是示意大家在門外守候，自己走到裏麵看看情況。李淵走進一看，隻見代王楊侑藏在桌子底下正瑟瑟發抖。