李良平定了常山郡，返回向趙王複命，趙王命令李良繼續攻占太原郡。李良率軍抵達石邑縣，秦軍在井陘堵截義軍，李良不能前進。秦軍將領詐稱二世皇帝派來使臣送予李良一封書信，信沒有封口，信中說：“李良曾經是我的臣下，很受重用，如果能夠反趙降秦，赦免李良的罪，而且有重賞。”李良讀了書信，半信半疑，回邯鄲請求增兵。走到半道，遇上趙王姐姐的車隊，後邊還有一百餘名騎兵隨從。李良看到車隊，以為是趙王的車隊，伏在道旁謁見趙王。趙王的姐姐喝醉了酒，不知道伏在地上的是趙國將軍，讓一位騎士敷衍李良。李良平素高傲，從地上站起來，感覺在部下麵前丟了臉。一位隨從官吏說：“天下叛秦，能者為王。趙王的地位原來還不如將軍，現在趙家的女人也不把將軍放在眼中，請讓我們殺了她。”李良此前得到秦軍的書信，已經有反意，仍在猶豫中，剛才的事情更使得李良勃然大怒，即刻派人追殺趙王的姐姐，然後率兵襲擊邯鄲。邯鄲沒有絲毫防備，李良在亂軍中竟然殺了武臣。趙國人中有很多是張耳、陳餘的耳目，張耳、陳餘得以在混亂中逃出。二人收集殘兵，得到數萬人，有說客向張耳、陳餘出主意，說：“二位將軍畢竟是外來人，要想讓趙國人歸附，其實很難；如果能夠立趙國原來國君的後裔，由你們來輔佐，或許可以成功。”於是二人在民間找回趙國原國君的後裔趙歇，立為趙王，在信都縣設都。
李良率軍繼續進攻陳餘，陳餘反擊，打敗李良，李良率領殘部投降章邯率領的秦軍。章邯率領秦軍抵達邯鄲，將邯鄲百姓遷徙至河內郡，而後將邯鄲夷為平地。張耳和趙王歇率領軍隊逃入巨鹿城中，王離率領秦軍隨即將巨鹿城包圍。陳餘向北收攏常山郡殘兵，得到數萬人，陳餘將軍隊駐紮在巨鹿以北。章邯率領秦軍駐紮在巨鹿以南的棘原邑，秦軍修築甬道直通漳河，為王離運送糧草，王離因此而軍糧充足。王離率領秦軍日夜攻打巨鹿，巨鹿城中的糧草將要耗盡，張耳多次派人請求陳餘支援，陳餘認為自己的軍隊太少，擔心不能抵擋秦軍，畏縮不前。幾個月過去了，還是沒有等來陳餘的援軍，張耳大怒，怨恨陳餘不肯前來相救，派張黶、陳釋前去責備陳餘，說：“想當初，我與你是刎頸之交，今天趙王與我正處在性命攸關之時，你卻擁兵數萬，不肯相救，難道不能出兵與秦軍決一死戰？或許還有取勝的希望。”陳餘說：“所以不想同歸於盡，是為了以後為趙王、張君報仇。今天出兵與秦軍交戰，一起戰死，如同拿肉去飼喂老虎，這又有何益處？”張黶、陳釋都說：“事已緊急，現在要解決的，是同生共死，說什麼以後的事情！”陳餘說：“我即使出兵，也未必能夠起很大作用。”於是撥出五千人馬，交予張黶、陳釋帶走，與秦軍交戰，想看一下交戰的情況，結果全軍覆沒。
這時，燕國、齊國、楚國聽到趙國危急的消息，都派出軍隊前來救援。張敖在北邊收複代地，也率領一萬餘人趕來，可是各路諸侯的軍隊，隻是深溝高壘，躲藏在營壘後麵觀戰。項羽率領的楚軍，斷絕了章邯的運糧甬道，王離的秦軍，因此而糧草斷絕。項羽率領全部楚軍，隨即渡過漳河，大敗章邯率領的秦軍。直到此時，諸侯才敢率領軍隊出營壘與秦軍交戰，俘虜秦軍將領王離。趙王歇、張耳終於走出巨鹿城，再次與陳餘見麵，張耳責備陳餘，問張黶、陳釋的下落。陳餘說：“張黶、陳釋以必死的決心，向我請求援兵，我給了他們五千人馬，這五千人馬與秦軍一接觸，即全軍覆沒。”張耳不相信，認為是陳餘殺了他們，反複追問。陳餘終於火了，說：“想不到你對我有如此深的成見！你把我看作什麼人了，我不幹了，總可以吧？”遂解下印綬，交予張耳，張耳沒有接受印綬。陳餘從座位上站起身來，上廁所，有說客對張耳說：“老天讓陳將軍把印綬交還予您，不要不好。今天陳將軍既然不要將軍印綬，您不接受，會帶來不祥，趕快收起來吧。”張耳於是收起這顆印，而後又安撫陳餘手下的將領。陳餘從廁所回來，本以為張耳會消消氣，推讓一下，誰料想竟然是這樣的結果，憤而帶領手下人，離開營帳出走。張耳隨即收編陳餘的部隊。陳餘氣得與手下幾百人，到黃河上、湖沼中打魚狩獵去了。從此以後，二人矛盾加深。
趙王歇重新返回信都縣，張耳跟隨項羽入關。項羽在分封諸侯王時，張耳由於人際關係很好，受到很多人稱頌。項羽也早就聽說過張耳，於是分裂趙國的領土，將張耳封為常山王，國都設在信都縣，將信都縣名稱更改為襄國。
陳餘的門客此時在項羽麵前為陳餘說情：“陳餘、張耳二人對平定趙國有同樣的功勞。”項羽因為陳餘沒有跟隨義軍入關，沒有給陳餘分封。現在聽說陳餘住在南皮縣，於是將南皮周圍的三個縣封予陳餘，作為食邑。把趙王歇改封為代王。
張耳回到封國，陳餘更加憤怒：“張耳與我的功勞一樣，今天他張耳稱王，而我陳餘卻隻能封侯。”等到齊王田榮叛楚，陳餘派夏說前去說服田榮：“項羽分封天下不公，隻是把他所鍾愛的將領封在善地，把原來的王卻封在惡地，將趙王歇改封在代國！懇請大王借給我一些人馬，我願意以南皮作為大王的屏障。”齊王田榮也想擴大盟軍，隨即借給陳餘一些人馬。陳餘加上自己三個縣的兵力，襲擊常山王張耳。張耳猝不及防，兵敗逃走，張耳說：“漢王與我過去是熟人，項王的軍隊現在如此強大，我是項王封的諸侯王，我還是到楚國去吧。”甘公勸說張耳：“漢王劉邦入關時，五星在東井彙聚。東井的位置，對應著秦地，先到達秦地的一定能夠稱王，楚國雖然強大，天下最終一定會屬於漢。”張耳於是投奔漢王劉邦。漢軍此時正在平定三秦，在廢丘縣圍困章邯。張耳此時來謁見漢王，漢王非常高興，厚待張耳。