刘宋将军到彦之听说洛阳、虎牢失守，各路军队相继失败的消息后，立即打算撤军。垣护之写信给到彦之劝阻他，认为到彦之应该派竺灵秀去帮助朱修之死守滑台，然后亲自统率军队进攻黄河以北，还说：“过去，曾有人连年攻占，损兵折将、粮草断绝，仍然能够奋勇出击，不肯轻易向后退却。何况如今青州粮食丰收、粮草充足，济河漕运畅通，将士战马都饱食强健，战斗力并没有受到削弱，如果白白地放弃滑台，坐视成功的大业丢失，岂不是辜负了朝廷的重托吗？”
到彦之本就能力平平，不是能征善战之将，不过是因为是刘义隆的心腹才受此重任，哪里听得进别人的意见。
他打算烧毁战船后步行撤退，安北将军王仲德劝道：“洛阳陷落、虎牢失守，这是必然的趋势。但是，现在敌人距离我们还有千里之遥，滑台城又有强兵把守，如果突然放弃战船步行逃走，士兵们一定会四处溃散。我们应该乘战船进入济河，等到了马耳谷的关口，再做进一步的决定。”
到彦之本来就有眼病，这时候更加的严重，疼痛难忍，况且军中将士染上瘟疫的人也很多，到彦之于是率军乘船从清口驶入济水，又南下抵达历城，随即焚毁战舰，抛弃铠甲，步行直奔彭城。
兖州刺史竺灵秀见到彦之撤退，连忙也放弃了须昌，南下逃往湖陆，青州、兖州顿时陷入混乱之中。长沙王刘义欣这时正在彭城，他的将领们惧怕北魏大军大批攻来，都劝刘义欣干脆放弃彭城返回京师，刘义欣没有听从。
北魏的军队开始进攻济南，济南太守萧承之率领几百名士卒奋勇抵抗。北魏军队聚集在城下，准备攻城，萧承之命令士兵们隐蔽起来，大开城门。他的部下说：“现在敌众我寡，怎么可以如此轻敌！”
萧承之解释说：“我们困守一座被抛弃在敌人后方的孤城，情势危急，如果向敌人示弱，必定会遭到屠杀，只有摆出强大的姿态来等待敌人。”
北魏军看到这种情形，怀疑城里有重兵埋伏，果然撤退了。萧承之之子就是南朝齐国的开国皇帝萧道成，萧道成能有后来的成就，离不开祖先和父辈们用殊死战斗为他打下的坚实基础。
兖州刺史竺灵秀逃到湖陆后，北魏叔孙建猛攻湖陆，竺灵秀大败，被斩杀的士卒多达五千多人，叔孙建得胜收兵，驻防在范城。
刘宋右将军到彦之、安北将军王仲德回国后，由于作战不力都被撤职下狱，兖州刺史竺灵秀因弃军逃跑，被斩首。皇上看见了垣护之反对撤军的信，大加赞许，并任命他为北高平太守。
到彦之大军北伐时，武器及各种军用物资十分充实，等到大败而回，一路上抛弃殆尽，朝廷的仓库和武器库都空了。有一天，宋文帝召集大臣们宴饮，有北方投降的人在座，皇上问尚书库部郎顾琛：“军械库中还有多少武器？”
顾琛虚报说：“足够十万人使用。”文帝问完后就很后悔，知道不该问这个问题，听到顾琛的回答，才略觉宽慰，十分高兴。
彭城王刘义康与王弘共同担任录尚书事，刘义康仍然感到怏怏不快，想代替王弘兼任扬州刺史，又因为王弘的弟弟王昙首在朝中担任要职，深得文帝的倚重和信赖，就愈加不满。
王弘年老多病，多次请求辞职回乡，王昙首也主动要求去担任吴郡太守，文帝都不同意，刘义康逢人就说：“王弘患病长期卧床，难道能在床上治理天下吗？”
王昙首私下里劝王弘把府中文武官员的一半，分给刘义康管理，文帝又下诏再拨给刘义康二千人，他这才高兴起来。
因青、兖二州告急，宋文帝重新起用了王仲德，命他和檀道济一起率军从清水出兵，救援被北魏军队围攻的滑台，北魏叔孙建、长孙道生率军抵抗。檀道济的军队抵达寿张时，与北魏拓跋乙旃眷的军队遭遇，檀道济率领王仲德、段宏奋勇抗击魏军，大破拓跋乙旃眷的军队，又转战开进高粱亭，斩杀北魏的济州刺史。
檀道济的军队开进济水，二十多天的时间里，先后与魏军交战三十多次，檀道济多半取胜。宋军开到历城后，北魏叔孙建派遣轻骑兵前来骚扰截击，出没在大军的前前后后，还纵火焚烧了宋军的粮草，檀道济因为军中缺粮，无法前进，所以北魏将军安颉、司马楚之能够集中全部力量进攻滑台。
拓跋焘又派出王慧龙增援安颉等人，滑台守将朱修之坚守滑台已经有几个月之久，城中粮食早就吃光了，士兵们只能用烟熏出老鼠烤着吃掉，终于，北魏军队攻破滑台，朱修之及一万余名士兵被俘。
檀道济的大军因为粮食吃尽，只好从历城撤军。军中有逃走投降北魏的士卒，把宋军的困难境遇，一一报告给北魏军。于是，北魏军追击刘宋军队，刘宋军军心涣散，人人自危，眼看就要溃散。
檀道济临危不乱，利用夜色的掩护，命士卒把沙子当粮食，一斗一斗地量，而且边量边唱出数字，然后用军中仅剩的一点谷米覆盖在沙子上。
第二天早上，北魏军看到这种堆积如山的粮食，以为檀道济军中的粮食还很充裕，就把那个汇报情况的降卒杀掉了。
当时，檀道济的兵员很少，而北魏军人多势众，骑兵部队更是从四面八方包围了檀道济。檀道济命令军士们都披上铠甲，而自己则穿着白色的便服，率领军队缓缓地出城。
北魏军见此阵仗，以为檀道济有伏兵，不敢逼近，而且还稍稍往后撤退，这样，檀道济才保全了军队，安全撤军。
刘宋的青州刺史萧思话听说檀道济的大军撤退南下，就打算放弃城池退到险要地带自保。济南太守萧承之一再劝阻他，萧思话都没有接受，还是弃城逃奔平昌。参军刘振之正驻守下邳，听说这个消息，也弃城逃走。
结果，北魏军队竟然没有过来，但是东阳城集聚的大批物资，却被百姓纵火焚毁，萧思话被指控有罪，召回京师，逮捕下狱。
北魏安颉得胜回京，拓跋焘非常赞赏滑台守将朱修之的气节，不仅没有杀他，还把皇族宗室的女儿嫁给他。
宋文帝在到彦之北伐出征前，就告诫他说：“如果魏国的军队有所举动，你们应该在敌人没有攻到之前，先行渡过黄河；如果他们没有动静，你们就要留守彭城，不要前进。”
等到安颉俘虏刘宋的将士，拓跋焘才听到刘义隆的这席话，他叹服地对朝中的文武大臣们说：“以前，你们总说我用崔浩的计策是错误的，以致惊慌失措，百般劝阻。现在看来，果然还是他料事如神啊。”
刘义隆北伐，其志只是想收复河南，但是河南乃是四战之地，无险可守。宋军攻占河南后，沿黄河戍守，反而暴露自己兵力薄弱的事实，所以也只能以失败而告终。
