但是，每當匈奴遇到什麼天災人禍，日子變得較苦時，仍會動起到漢邊搶一把的歪念頭。
而霍光他們的態度是，決不慣著它，雖然宗旨是要停止對匈戰爭，它若真來侵襲，堅決打回去！
元鳳元年前後，匈奴3千餘騎兵侵入五原，殺掠數千人。
這次得手之後，馬上又出動數萬騎兵南下，企圖大搶一飽。然而，由於漢邊境長城和烽火台等防衛設施很完善，匈奴沒搶到多少油水。
不久，漢廷聽歸降的匈奴人說，遼東一帶的烏桓人曾經盜挖了匈奴單於祖先的墳墓，匈奴大怒，正派2萬騎兵攻擊烏桓。
霍光覺得這是報複匈奴的好機會，立即向趙充國征求意見。
趙充國是真正的良將。天漢年間隨李廣利出征匈奴，他率一百多壯士冒死衝破匈奴包圍圈，使李廣利大軍得以脫險。武帝因此拜他為中郎，後來又提升為車騎將軍的長史。
昭帝即位的第六年，武都的氐族人反叛漢廷，朝廷派龍雒侯韓增、大鴻臚田廣明等率軍平叛，時任大將軍護軍都尉的趙充國也參加了這次平叛戰爭。叛亂平定後，他因戰功而升任中郎將，帶兵屯駐上穀郡。
後來，趙充國回朝擔任水衡都尉。期間曾率軍出擊匈奴，俘獲了匈奴的西祁王，因功而升任後將軍，仍兼水衡都尉。
當霍光向他征求意見時，他認為匈奴和烏桓互相攻擊對漢朝是大好事，漢朝不應出兵去打斷他們。
但霍光似乎急於建功，又征求他女婿中郎將範明友的意見。範明友認為這是從背後捅匈奴一刀的好機會。
霍光於是任命範明友為渡遼將軍，命他率騎兵2萬從遼東出塞，去襲擊匈奴軍。
考慮到匈奴很可能聽到風聲後會撤走，而烏桓人就是原先的東胡部落聯盟中的一支，對漢朝也不友好，有時也來寇邊，因而，霍光囑咐範明友：“大軍既然出動，就不要空手而還，如果沒能打著匈奴，就打烏桓！”
匈奴聽說漢軍出塞了，果然立即遠遁。
範明友大軍沒能逮著匈奴，就把烏桓作為打擊目標。
當時烏桓剛剛跟匈奴血戰過，很是疲憊，再加上以為漢軍是來幫他們打匈奴的，毫無防備。因而一下子被漢軍斬殺了6千餘人，其中包括3名烏桓的部落首領。
匈奴和烏桓的自相殘殺由於被漢軍打斷，雙方都沒有造成太大的傷亡，這是霍光的失策。雖然後來漢軍重創了烏桓，但也使得烏桓跟漢廷的梁子結得更深了。不過，也不是一點沒有收獲，匈奴聽說漢軍大破烏桓，覺得漢軍的戰鬥力依然不能小覷，此後不敢再侵犯漢朝的東部邊境。
東邊不敢去了，西邊能不能去？元鳳三年（公元前78年），匈奴單於派梨紆王到漢朝西部邊境來探察漢軍的邊防情況。
梨紆王探完後向他報告，酒泉、張掖一帶漢軍兵力比以前更薄弱了，不妨派兵試探性地進攻一下，說不定能攻占那一地區。
很快，漢廷從歸降的匈奴人口中得知了這一情況，昭帝立即命邊塞地區加強戰備。