起義旗至發引凡四十八日初，帝自衛尉卿轉右驍衛將軍，奉詔為太原道安撫大使。郡文武官治能不稱職者，並委帝黜陟選補焉。河東已來兵馬仍令帝征發，討捕所部盜賊。隋大業十二年，煬帝之幸樓煩時也。帝以太原黎庶，陶唐舊民，奉使安撫，不逾本封，因私喜此行，以為天授。所經之處，示以寬仁賢智，歸心有如影響。
煬帝自樓煩遠至雁門，為突厥始畢所圍，事甚平城之急。賴太原兵馬及帝所征兵聲勢繼進，故得解圍，僅而獲免。遂向東都，仍幸江都宮。以帝地居外戚，赴難應機，乃詔帝率太原部兵馬，與馬邑郡守王仁恭北備邊朔。帝不得已而行，竊謂人曰：“匈奴為害自，古患之，周秦及漢魏，曆代所不能攘，相為勍敵者也。今上甚憚塞虜，遠適江濱，反者多於蝟毛，群盜所在蜂起。以此擊胡，將何以濟天其或者殆以俾餘。我當用長策以馭之，和親而使之，令其畏威懷惠，在茲一舉。”
既至馬邑，帝與仁恭兩軍兵馬不越五千餘人，仁恭以兵少甚懼。帝知其意，因謂之曰：“突厥所長，惟恃騎射。見利即前，知難便走，風馳電卷，不恒其陣。以弓矢為爪牙，以甲胄為常服。隊不列行，營無定所。逐水草為居室，以羊馬為軍糧，勝止求財，敗無慚色。無警夜巡晝之勞，無構壘饋糧之費。中國兵行，皆反於是。與之角戰，罕能立功。今若同其所為，習其所好，彼知無利，自然不來。當今聖主在遠，孤城絕援，若不決戰，難以圖存。”仁恭以帝隋室之近親，言而詣理，聽帝所為，不敢違異。乃簡使能騎射者二千餘人，飲食居止，一同突厥。隨逐水草，遠置斥堠。每逢突厥候騎，旁若無人，馳騁射獵，以曜威武。帝尤善射，每見走獸飛禽，發無不中。嚐卒與突厥相遇，□驍銳者為別隊，皆令持滿，以伺其便。突厥每見帝兵，鹹謂似其所為，疑其部落。有引帝而戰者，常不敢當，辟易而去。如此再三，眾心乃安，鹹思奮擊。帝知眾欲決戰，突厥畏威，後與相逢，縱兵擊而大破之，獲其特勤所乘駿馬，斬首數百千級。自爾厥後，突厥喪膽，深服帝之能兵，收其所部，不敢南入。
時有賊帥王漫天別黨，眾逾數萬，自號曆山飛。結營於太原之南境上黨、西河，京都道路斷絕。煬帝後十三年，敕帝為太原留守，仍遣獸賁郎將王威、獸牙郎將高君雅為副。帝遂私竊喜甚，而謂第二子秦王等曰：“唐固吾國，太原即其地焉。今我來斯，是為天與。與而不取，禍將斯及。然曆山飛不破，突厥不和，無以經邦濟時也。”既而曆山飛眾數不少，劫掠多年，巧於攻城，勇於力戰。南侵上黨，已破將軍慕容、將軍羅侯之兵。北寇太原，又斬將軍潘長文首，頻勝兩將，所向無前。於是帝率王威等，及河東、太原兵馬往討之，於河西雀鼠穀口與賊相遇。賊眾二萬餘人。帝時所統步騎才五六千而已。威及三軍，鹹有懼色，帝笑而謂威等曰：“此輩群盜，惟財是視。頻恃再勝，自許萬全。鬥力而取，容未能克。以智圖之，事無不果。所憂不戰，戰必破之，幸無憂也。”須臾，賊陣齊來，十許裏間，首尾相繼。去帝漸近，帝乃分所將兵為二陣。以羸兵居中，多張幡幟，盡以輜重繼後，従旌旗鼓角，以為大陣。又以麾下精兵數百騎，分置左右隊為小陣。軍中莫識所為。及戰，帝遣王威領大陣居前，旌旗従。賊眾遙看，謂為帝之所在，乃帥精銳，競來赴威。及見輜馱，舍鞍爭取，威怖而落馬，従者挽而得脫。帝引小陣左右二隊，大呼而前，夾而射之。賊眾大亂，因而縱擊，所向摧陷，斬級獲生，不可勝數。而餘賊黨老幼男女數萬人並來降附。於是郡境無虞，年穀豐稔，感帝恩德，若亢陽之逢膏雨焉。
後突厥知帝已還太原，仁恭獨留無援，數侵馬邑。帝遣副留守高君雅將兵，與仁恭並力拒之。仁恭等違帝指蹤，遂為突厥所敗。既而隋主遠聞，以帝與仁恭不時捕虜，縱為邊患，遂遣司直馳驛，係帝而斬仁恭。帝自以姓名著於圖籙，太原王者所在，慮被猜忌，因而禍及，頗有所晦。時皇太子在河東，獨有秦王侍側耳，謂王曰：“隋曆將盡，吾家繼膺符命，不早起兵者，顧爾兄弟未集耳。今遭羑裏之厄，爾昆季須會盟津之師，不得同受孥戮，家破身亡，為英雄所笑。”王泣而啟帝曰：“芒碭山澤，是處容人。請同漢祖，以觀時變。”帝曰：“今遇時來，逢茲錮縶。雖睹機變，何能為也。然天命有在，吾應會昌，未必不以此相啟。今吾勵謹，當敬天之誡，以卜興亡。自天祐吾，彼焉能害天必亡我，何所逃刑“爾後數日，果有詔使馳驛而至，釋帝而免仁恭，各依舊檢校所部。煬帝之幸江都也，所在路絕。兵馬討捕，來往不通，信使行人，無能自達。惟有使自江都至於太原，不逢劫掠，依程而至，眾鹹異焉。初，使以夜至太原，溫彥將宿於城西門樓上，首先見之。喜其靈速，報兄彥弘，馳以啟帝。帝時方臥，聞而驚起，執彥弘手而笑曰：“此後餘年，實為天假。“退謂秦王曰：“吾聞惟神也不行而至，不疾而速。此使之行，可謂神也。天其以此使促吾，當見機而作。”雄斷英謨，従此遂定。帝素懷濟世之略，有經綸天下之心。接待人倫，不限貴賤，一麵相遇，十數年不忘。山川衝要，一覽便憶。遠近承風，鹹思托附。仍命皇太子於河東潛結英俊，秦王於晉陽密招豪友。太子及王俱稟聖略，傾財賑施，卑身下士。逮乎鬻繒博徒，監門廝養，一技可稱，一藝可取，與之抗禮，未嚐雲倦。故得士庶之心，無不至者。