汉王元年(公元前206年)七月，项羽得知田荣自立齐王，就向北发兵攻打齐，他亲自率大军讨伐田荣,田荣在城阳(今山东荷泽市东)列队迎战,田荣战败,退守平原(今山东平原县)。因为田荣一贯好战，不关心百姓的疾苦，所以平原百姓都很痛恨他，趁他战败之机，将他杀了。项羽把齐地的城烧了，活埋了田荣投降的士兵，虏掠他们的妻女，因而激起了齐国百姓的不满和反抗。田横趁项羽主力军撤退，消灭了留在齐国的项羽军队，并全部收复了齐国失去的城邑。田横立田荣的儿子田广为齐王，自己为相，齐国的一切事情，都是田横说了算。齐国在田横的专权下，国力日趋衰落。项羽知道刘邦出关东进后，并没有立即回师应战。他准备把齐国彻底打败后，再全力对付刘邦。这时听说刘邦已经占据彭城，项羽率领精兵3万向南从鲁县(今山东曲阜市东北二里古城村) 穿过胡陵(今江苏省沛县龙固镇东北部湖田中)引兵奔向萧县(今安徽省宿州市)，与汉军在彭城灵宿县睢水开战。这时刘邦还在彭城置酒和各路诸侯庆功。楚军在早晨向汉军发动进攻。一日之中，大破汉军。汉军沿谷、泗二水退逃，被杀死十几万人。又在灵璧(今安徽宿县西北)东睢水上被项羽追上，又有十几万汉军被杀死，“睢水为之不流”。项羽三重围困汉王刘邦，正在这时，大风从西北而起，飞沙走石，天昏地暗，楚军大乱，刘邦这才得以逃脱。各路诸侯看到刘邦败了，都逃跑了。塞王司马欣，翟王董翳降楚，殷王司马卬身死。刘邦仅与数十骑逃走，路上十分紧急，楚兵在后面穷追不舍，刘邦在前面的马车由夏侯婴驾车拼命地奔跑。这时途中遇到了他的亲生儿女太子刘盈和女儿鲁元公主，刘邦三次把孝惠帝刘盈和鲁元公主推下车，每一次推下去，滕公夏侯婴就把孩子抱上车，滕公说:“虽然紧急，还可以把车赶快一点，何故把孩子丢下去呢！”早在奉楚怀王之命，率兵反秦西进时，刘邦就觉得带着家人行动多有不便，就把夫人、儿子安置在老家，让审食其留下侍奉。刘邦被封为汉王后不久，出关东进时，他就派人去接老父刘太公、妻子吕雉、儿子刘盈等人。然而因受阻未能到达沛县。这次刘邦在彭城大败，路过沛县。又派人去接家人，但家人都逃散了。路上见到了儿女，未见老父和妻子。这时，刘太公和吕雉正在审食其的搀扶下，四处逃命，不幸，撞上了项羽的军队，全部被俘虏。项羽把他们囚禁起来，作为人质。直到第三年上，才释放了他们。
刘邦退到荥阳，收集逃散士卒。这时，萧何从关中派来增援部队，连56岁以上的老人和不满20岁的青年都被征入伍。同时，韩信也收兵前来会合汉军复振。汉王二年(公元前205年)五月，在荥阳附近，大败楚军于京邑(在郑州荥阳县东南二十里)、索亭(今河南荥阳市索河街道附近)之间，使楚军不能越荥阳而西。
汉王三年(公元前204年)刘邦攻打楚国，兵败失利。是时，吕后兄吕侯为汉将兵居下邑县(在今安徽砀山县)，刘邦间往从之，把一些逃散的士卒集中起来，驻在砀郡。刘邦从良地撤退来到虞县(在今河南虞城县西南三里)，对身边亲近的人说:“像你们这些人，不配共谋天下大事。”负责传达禀报的随何近前说:“我不理解陛下说的是什么意思。”刘邦说谁能替我出使淮南，让他们发动军队，背叛楚国，在齐国把项王牵制几月，我夺取天下就万无一失了。”随何说:“我请求出使淮南。”刘邦于是给了他二十人一同出使淮南。随何到达后，因为太宰作内主，等了三天也没能见到英布。随何趁机游说太宰说:“英布不召见我，一定认为楚国强，汉国弱小，这正是我出使的原因。使我得以召见，我的话要是说的对呢，那正是英布想听的；我的话说的不对呢，让我们二十人躺在砧板上，在淮南广场上就死。以表明英布背叛汉国亲近楚国之心。”太宰这才把话转告给淮南王，淮南王英布见了他。英布九江郡六县(今安徽六安市)人。早年因罪受过黥刑，俗称黥布。见了英布，随何说:“汉王刘邦派我恭敬地上书英布驾前，我私下很奇怪的是，您为什么和楚国那么亲近。”英布说我面向北边以臣子的身份侍奉他。”随何说大王和项王都列为诸侯，北向而以臣子的身份侍奉他，一定是认为楚国强大，可以把国家托付给他。项羽攻打齐国时，他亲自背负着筑墙工具，身先士卒，大王应当出动淮南全部人马，亲自率领他们，做楚军的前锋，如今只派四千人去帮助楚国。面北而侍奉人家的臣子，本来是这个样子的吗？刘邦在彭城作战，项羽还未曾出兵齐国，你就应该调动淮南所有的人马，渡过淮河，帮助项羽与刘邦日夜会战于彭城之下。您拥有万人之众，却没有一个人渡过淮河，这是垂衣拱手地观看他们谁胜谁败。把国家托付给人家的人，本来就是这个样子的吗？你挂着归向楚国的空名，却想扎扎实实地依靠自己，我私下认为大王这样做是不可取的。可是您不背弃楚国，是认为汉国弱小。楚国的军队即使强大，却背负着天下不义的名声，因为他背弃盟约而又杀害义帝。可是楚王凭借战争的胜利自认为强大，刘邦收拢诸侯之后，回师驻守城皋、荥阳，从蜀汉来运粮食，深挖壕沟，高筑壁垒，分兵把守着边境要塞，楚国要想撤回军队，中间有梁国相隔，深入敌人国土八九百里，想打又打不赢，攻城又攻不下，老弱残兵辗转运粮千里之外，等到楚国军队到达荥阳、成皋，刘邦的军队却坚守不动，进攻又进攻不破，退却又逃不出汉军的追击。所以说楚国的军队是不足依靠的。假使楚军战胜了汉军，那么诸侯们自身危惧，必然要相互救援。一旦楚国强大，就会招来天下军队的攻击。所以楚国比不上汉国，那形势是显而易见的。如今您不和万无一失的汉国友好，却自身托付于危在旦夕的楚国，我私下替您感到疑惑，我不认为淮南的军队足够用来灭亡楚国。只要您出兵背叛楚国，项羽一定会被牵制几个月，刘邦夺取天下就可以万无一失了。我请求给您提着宝剑归附汉国，刘邦一定会分割土地封赐大王，又何况还有这淮南，淮南必定为您所有啊。因此，刘邦严肃地派出使臣，进献不成熟的计策，希望您认真考虑。”英布说:“遵从你的意见。”暗中答应判楚归汉，没敢泄露这个秘密。
