到三个小县，张耳却是数郡之主。这让陈馀如何能不愤怒呢？
原本张耳势大，陈馀则是不堪一击，只能窝囊着。偏巧，田荣反了。陈馀当然不能放过这个可以利用的机会。他立即派了能说会道的张同、夏说秘密前往齐国，游说田荣。两人见到田荣后，巧舌如簧，说道：“大王，项羽为天下之主，做事太不公道。他把自己的属下封到了好地方，却把原来的诸侯都封到了条件差的地方。赵王原本是我们的王，项羽却把他迁到了代国。赵王的臣子张耳因为被项羽看重，居然坐了赵王的位子。这也太欺负人了。我家主公陈馀对此非常愤怒，特派我们向大王您请求援兵。如果大王能够帮助我们，我们愿意以南皮作为齐国的屏障，不让任何人从我们这侵犯您。不知大王您能否应允我们这个小小的请求呢？”
田荣正愁战友不多，焉有不肯答应的道理？当即拨给陈馀一支队伍。陈馀得到增援，又把自己封地内的士兵全部带上，对张耳发动了突然袭击。
张耳一没有料到陈馀如此恨他，二没有料到陈馀能筹集到攻打他的人马，三没有来得及整顿赵国的防务，结果被陈馀打了个措手不及，一败涂地。
陈馀迎赵王歇复为赵王，赵王歇也上道，大方地把项羽封给自己的代国转封给了陈馀。这一下，主客异位，流落江湖的陈馀重新崛起，成为代王，而刚刚还是赵王的张耳却要亡命天涯了。
去哪里安身立命？张耳左思右想，与随同自己逃亡的属下商议说：“现在，我一无所有了，必须寻求一个靠山。天下诸侯，要么不值得投靠，要么不会重用我，要么不会收留我。只有霸王和汉王，是可以投奔的。汉王跟我有故交，当年他还是布衣之身的时候曾经跟随我；霸王则是实力雄厚，对我有封赏之恩。他们两个人之中，我倾向于投奔霸王。大家没有异议的话，我们就奔彭城去吧。”
张耳手下有个姓甘的老头，姓甘名德，字逢。对于张耳的打算他表示不同意：“主公，您可不应该去投奔霸王啊！我平时喜欢观天象。近来，我发现五星逐渐汇聚于东井，这是印证汉王入关中的事。东井应在秦国，五星汇聚于东井，正表示秦国理当灭亡，先到咸阳的人必然会成为霸主。所以依我看，别看现在霸王势力强大，未来的天下还得是汉王的。因此，您理应投奔汉王。”
五星汇聚于东井，这是古代对一种天象的称呼。五星指的是金、木、水、火、土，古人称之为太白、岁星、辰星、荧惑、镇星。东井又是什么呢？指的是井宿。井宿是南方“朱雀”七宿之首，在西方的十二星座里属于双子座。井宿共有八颗星，其中最亮的叫做井宿三。这颗星明亮，代表国富民安，天下太平，如颜色变化则代表动荡不安。
东井代表秦国，也就是关中的秦地。刘邦入关中，五星聚于东井，这就表示刘邦是上应天命灭秦的人，是上天指定的华夏之主。《史记·天官书》记载了这件事：“汉之兴，五星聚于东井。”
甘德说“汉王之入关，五星聚东井”，东汉班固则在《汉书》中明确地写道：“汉元年十月，五星聚于东井，以历推之，从岁星也。此高皇帝受命之符也。”事实上，班固的记载是断章取义，严重错误。
根据天文学测算，这一次被称为刘邦上应天命的“五星聚于东井”，历史上发生在公元前205年5月18日，也就是汉王二年七月二十一日。这时候刘邦在哪？已经进入汉中，在南郑。发生于“汉元年十月”的说法，提前了九个月，在汉高祖元年十月的时候，只有木星和土两星是在井宿区域，其他三颗行星离井宿还很远。其实甘德所说的“汉王之入关，五星聚东井”，应当解释为“汉王的入关，与‘五星聚东井’一事对应”。后人偏要给刘邦上应天命找解释，硬是将“五星聚东井”的天象提前了近一年。
古人尤其笃信天象。听了甘德的一番星象解说，张耳当即决定：投刘邦去！
这个决定可以说是张耳人生中做出来的最重要的决定之一了。