1903年夏，他率領著這支四千餘人號稱先鋒馬隊的騎兵，北出居庸關，分駐宣化、大同。他又拿出當年在山東剿辦義和拳的勁頭，來對付那些常常數百騎結夥越過長城進入直隸和山西行劫的“馬賊”。但是，這些“馬賊”都是上等的蒙古騎手，強悍凶猛，行動迅疾，神出鬼沒，善打遊擊，遠比當年山東那些呆板地堅守村莊以弱抗強的義和拳更難對付得多。往往是官軍搜剿到西邊，他又在東邊出現，待官軍再趕到東邊，他又竄過了西邊。弄得張勳的先鋒馬隊四處撲空，疲於奔命，白白折騰了好幾個月還連一根匪毛也沒抓著。
然而，張勳畢竟是久經沙場的老將，一旦獲得戰場指揮的自主權，他往往就能發揮出一些令人意想不到的刁鑽戰術，加上他的騎兵裝備精良，遠非“馬賊”們的幾把鈍刀和幾支破槍可比。因此，他很快就意識到要剿滅這批股匪，關鍵在於摸準其行動規律和窩集地點，而不能坐等地方報警，然後再派兵去步“馬賊”的後塵，結果反被“馬賊”牽著鼻子團團轉。
為了摸清“馬賊”的行動規律，他挑選了一批精兵化裝為商旅北出張家口，一直深入到內蒙古草原深處，進行秘密偵探。而同時把大隊人馬駐紮在宣化、大同城內，任憑地方官頻頻報警，老百姓被掠殺得鬼哭狼嗥，他隻是飲酒作樂，按兵不去。弄得當地官民一致認為他是一名昏庸無能的混蛋將軍。有人甚至向袁世凱告狀，稱他“坐觀賊掠，褻瀆職守”。以至於連袁世凱也不得不電促他“積極兜剿，毋得貪逸苟安”。氣得張勳眼冒金星、鼻孔生煙。他一麵向袁世凱發電申辯，一麵把宣化、大同兩名知府召到帳下，點著鼻子罵了個狗血淋頭，說：“媽那個巴子，你們懂得什麼兵略戎機？老子來剿賊自有老子的剿法，你們這些狗頭知府、縣官們再要瞎告鳥狀，破壞了老子的軍機，老子要先斃了你們！”
嚇得兩名知府汗流浹背，諾諾連聲而退。回府後，連忙馳書下屬各州縣，告以“張將軍自有治賊之計，汝等不得妄議”雲雲。
就在各州縣得著知府告戒，正在疑疑乎乎的時候，張勳開始行動了。他仍然不去觸動那些在內地遊動搶劫的賊幫，而把軍隊一部分開進內蒙古去端那些事先偵察出來的匪巢，一部分設伏於各關隘要道口，專等內掠的匪幫北歸時，以密集的排槍突然殺出，一鼓聚殲之。個別“馬賊”僥幸脫逃，回到老窩時，卻隻見一片廢墟。他這種先端窩後殺賊的辦法，對於那些遠離巢穴流動搶劫的“馬賊”，恰有以毒攻毒之妙。結果，不出一年功夫，就把當地原駐防軍曆年無法對付的“馬賊”搜剿了一個一幹二淨，使那些早先對他極為不滿的府、州、縣官們，不能不對他刮目相看。
勝利之後，張勳把被“馬賊”們往日劫去的財物以及“馬賊”們本身固有的財物統統載運歸來賣了充作“軍餉”。實際上除拿出一部分獎賞有功將士之外，其餘的全部充了他的私囊。這種把戲自然遮不過地方官們的耳目，但大家已有前番告狀不準反遭其辱的教訓，知他有些來頭，且得匪患肅清，地方安靜，也就算是蒙了他的大恩大德。因此，大家不僅不再參劾他，反而各自備了“萬民傘”，吹吹打打送到張勳行轅，又聯名修書上報朝廷，盛讚“張將軍靖匪有方，保境安民，勞苦功高”。張勳領兵征戰多年，這還是第一回獲得所駐地方府縣官員的讚譽。這不僅使他的虛榮心得到了滿足，而且使太後特別推恩給他長了一級薪俸。事實使他進一步明白，盡管在紫禁城裏坐守宮門日子過得安逸無比，但要顯示才華，還是要到血雨腥風的戰場上來縱橫馳騁。他的表現沒有使袁世凱失望。他又一次以自己得寵不驕，忠於舊誼的實際行動，使自己在袁世凱的營壘中贏得了鞏固的地位。盡管他始終沒有成為袁世凱的心腹，但至此，袁世凱的任何一名心腹，都不能不對他表示出一定的尊重和認同。
按照袁世凱“借調”張勳剿匪的說法，本來，張勳完成剿匪任務之後，就應該回宮廷執勤。但就在這時候，日俄兩國在中國的東北發動了一場爭奪侵略權利的戰爭，直隸提督馬玉昆被調往遼西駐防。於是，袁世凱又得到理由繼續借用張勳防備俄國人來犯直隸。原來，早在1900年，俄國人就以清剿義和拳為名，侵占了中國的整個東北地區，而這塊地方，原乃是日本人在甲午戰爭中就曾占領過的，當時日本迫於俄、美、英等國的壓力，不得不忍痛撤出，沒想到俄國人當年起勁動員日本撤軍，嗣後自己卻趁機擠了進來。日本人豈能咽得下這口鳥氣？加上這時候，英、美兩國也覺得俄國人便宜占得太過分，而暗中慫恿和支持日本向俄國開戰。清政府原來是親俄的，但自從俄國人侵占東北之後，也就與俄國產生了仇隙。現在日本人要懲罰俄國，清政府便以為這正是一個“以夷製夷”的好機會。於是，他們轉而歡迎日本來中國領土上打仗。但他們又不敢公然得罪俄國，便隻得在表麵上宣布“嚴守中立”，並劃定遼東地區為日俄戰場，暗中指望日本人“幫助”中國把俄國人趕出東北。他們以為這是一條維護中國利益的“絕妙好計”，殊不知一個國家連自己的領土都要讓給兩個強盜去用戰火焚燒，還能指望從中獲得什麼利益！但聰明絕頂的袁世凱等大臣們的如意算盤就是這麼打的。