李良已定常山，還報趙王，趙王複使良略太原。至石邑，秦兵塞井陘，未能前。秦將詐稱二世使使遣良書，不封，曰：“良嚐事我，得顯幸，誠能反趙為秦，赦良罪，貴良。”良得書，疑不信。之邯鄲益請兵。未至，道逢趙王姊，從百餘騎。良望見，以為王，伏謁道旁。王姊醉，不知其將，使騎謝良。良素貴，起，慚其從官。從官有一人曰：“天下叛秦，能者先立。且趙王素出將軍下，今女兒乃不為將軍下車，請追殺之。”良以得秦書，欲反趙，未決，因此怒，遣人追殺王姊，遂襲邯鄲。邯鄲不知，竟殺武臣。趙人多為耳、餘耳目者，故得脫出，收兵得數萬人。客有說耳、餘曰：“兩君羈旅，而欲附趙，難可獨立；立趙後，輔以誼，可就功。”乃求得趙歇，立為趙王，居信都。
李良進兵擊餘，餘敗良。良走歸章邯。章邯引兵至邯鄲，皆徙其民河內，夷其城郭。耳與趙王歇走入巨鹿城，王離圍之。餘北收常山兵，得數萬人，軍巨鹿北。章邯軍巨鹿南棘原，築甬道屬河，餉王離。王離兵食多，急攻巨鹿。巨鹿城中食盡，耳數使人召餘，餘自度兵少，不能敵秦，不敢前。數月，耳大怒，怨餘，使張黶、陳釋往讓餘曰：“始吾與公為刎頸交，今王與耳旦暮死，而公擁兵數萬，不肯相救，胡不赴秦俱死？且什有一二相全。”餘曰：“所以不俱死，欲為趙王、張君報秦。今俱死，如以肉虎，何益？”張黶、陳釋曰：“事已急，要以俱死立信，安知後慮！”餘曰：“吾顧以無益。”乃使五千人令張黶、陳釋先嚐秦軍，至皆沒。
當是時，燕、齊、楚聞趙急，皆來救。張敖亦北收代，得萬餘人來，皆壁餘旁。項羽兵數絕章邯甬道，王離軍乏食。項羽悉引兵渡河，破章邯軍。諸侯軍乃敢擊秦軍，遂虜王離。於是趙王歇、張耳得出巨鹿。與餘相見，責讓餘，問：“張黶、陳釋所在？”餘曰：“黶、釋以必死責臣，臣使將五千人先嚐秦軍，皆沒。”耳不信，以為殺之，數問餘。餘怒曰：“不意君之望臣深也！豈以臣重去將哉？”乃脫解印綬與耳，耳不敢受。餘起如廁，客有說耳曰：“天予不取，反受其咎。今陳將軍與君印綬，不受，反天不祥。急取之！”耳乃佩其印，收其麾下。餘還，亦望耳不讓，趨出。耳遂收其兵。餘獨與麾下數百人之河上澤中漁獵。由此有隙。
趙王歇複居信都。耳從項羽入關。項羽立諸侯，耳雅遊，多為人所稱。項羽素亦聞耳賢，乃分趙立耳為常山王，治信都。信都更名襄國。
餘客多說項羽：“陳餘、張耳一體有功於趙。”羽以餘不從入關，聞其在南皮，即以南皮旁三縣封之。而徙趙王歇王代。耳之國，餘愈怒曰：“耳與餘功等也，今耳王，餘獨侯！”及齊王田榮叛楚，餘乃使夏說說田榮曰：“項羽為天下宰不平，盡王諸將善地，徙故王王惡地，今趙王乃居代！願王假臣兵，請以南皮為扞蔽。”田榮欲樹黨，乃遣兵從餘。餘悉三縣兵，襲常山王耳。耳敗走，曰：“漢王與我有故，而項王強，立我，我欲之楚。”甘公曰：“漢王之入關，五星聚東井。東井者，秦分也。先至必王。楚雖強，後必屬漢。”耳走漢。漢亦還定三秦，方圍章邯廢丘。耳謁漢王，漢王厚遇之。