新四军根据革命工作的需要，以2师两个旅为主体，加上4师一个旅，合编为山东野战军二纵，2师师长罗炳辉被任命为司令员，4师的副师长被任命为副司令员。罗炳辉去世后，副司令员韦国清接任。成立苏北兵团时，韦国清熟悉苏北情况，而且2纵是绝对主力，苏北兵团司令名正言顺由韦国清担任，这一干就是多年。其实苏北兵团司令还有一个有力的竞争者，韦国清的副手张爱萍将军。如果不是出了那次车祸，张爱萍也有机会的，因为他的资历比韦国清更深，政委担任主官的事情还是很多的。
[if !vml]
[endif]
苏北兵团还未完成编组，重武器缺少，只有山炮19门、迫击炮139门、六O炮91门。在敌强我弱的形势下，苏北兵团必须要在华中地区打大歼灭战或中等规模的歼灭战，以策应野战军主力在中原和山东战场作战。国民党军发现苏北兵团主力集中时，提前结束分区清剿，计划对苏北兵团进行围剿。由第7绥靖区司令官张雪中指挥整编第72师、第83师和第44师第162旅、第51师第41旅组成北兵团。由黄百韬指挥整编第4师、第25师共11个团的兵力组成南兵团，采取南北对进的战法，企图于盐城、阜宁地区与我军决战。
[if !vml]
[endif]
当时华中地区有国民党正规军8个半整编师17个旅51个团约17万人，和非正规军5万人，共22万余人，且装备良好。苏北兵团想要一次战役歼敌万人以上，是不可能的，苏北兵团只有3个纵队8个旅 23个团，共6.9万余人。连同地方武装6万人左右，共约13万人。苏北兵团只能靠打小仗来调动和牵制敌人，为打破敌合击计划，我军决定以一部兵力阻击北兵团，主力隐蔽进至盐城地区，当黄百韬南兵团进至盐城以南发起攻击时，我军主力立即全线出击，展开围攻。由于包围圈过大、兵力分散，结果打了一个吃不了的消耗战。
[if !vml]
[endif]
激战三昼夜，仅歼敌3000多人，苏北兵团与黄百韬的南进兵团形成对峙。国民党军依仗其在华中战场的优势兵力，张雪中北兵团占领沭阳、阜宁后向南突进，企图与黄百韬南兵团合击、围歼苏北兵团。苏北兵团无力对抗3个整编师以上之敌，于是5月30日致电华东局、野战军代司令员粟裕，要求采取游击兵团的战略指导方针，以独立自主为主，打小仗，恢复边缘区。在苏北兵团中，有的是新组建的部队，缺少实战锻炼。有的是刚从山东调来的，不适应华中水网地带作战。得到同意后，苏北兵团一部分兵力及地方部队向敌后方交通线及沿海发动攻势，留1个团于盐河、阜宁两岸地区，切断敌后交通。
[if !vml]
[endif]
苏北兵团相继转向预定作战地区，分散于南、北、西三个方向拣弱敌打，半个月歼敌超过七千人，终于摆脱了被动的战场形势。国民党南北对进兵团，仅仅是占了一些空城而已。粟裕统率华东野战军打的第一个歼灭战——豫东战役，迅速改变了中原战局， 粟裕指示苏北兵团，既不过分集中以减少沿江我军力量，使国民党军集中主力对付我一个目标，也不能全部分散。而且抽出两个旅左右兵力分散到苏中沿江一带，迫使敌军分散其重点兵力，形成苏北兵团本身的辅助战场。并推动解放战争的全国战局由战略进攻向战略决战发展。
[if !vml]
[endif]
豫东一战，实现了解放军由战略进攻向战略决战的转折。由于苏中兵团的牵扯，许世友开始攻打济南，粟裕亲自率部打援。结果，9月24日，济南战役就胜利结束——打下济南城，华野只花了区区八天时间。粟裕估计国民党为了避免在不利条件与我军打大规模的仗，于是开始谋划在徐蚌地区进行作战的可能。粟裕设想在华野主力南下攻取两淮及高邮、宝应时，也采取围点打援的战法，由苏北兵团加一个纵队进行攻城。然后全军主力置于宿迁运河两岸，以对付可能来自徐州、海州的援敌。
[if !vml]
[endif]
粟裕的这个设想，战役出乎意料地越打越大，华野先打黄百韬集团，黄维兵团来援，黄维兵团被中野包围，杜聿明兵团再来援助，形成人类历史上的一场超级大战，最后歼敌55.5万，蒋家王朝在淮海战役后一蹶不振。淮海战役结束后，山东兵团改编成第三野战军第9兵团，苏北兵团改编成第十兵团，以利于统一指挥向全国进军，自此苏北兵团完成历史使命不复存在。
