日益强大的前秦已经不满足于和东晋隔江而治了，发动了对东晋的战争，他们投入了十七万的兵力，分三路攻克了襄阳，并抓获了襄阳守将朱序。
前秦苻坚又派彭超向驻扎在彭城的龙骧将军戴逯发动猛攻，秦晋淮南之战爆发。兖州刺史谢玄率领一万多兵众前往救援，驻扎在泗口，想要派遣使者去通知戴逯，让他知道救兵到了，但找不到合适的人，军中将领田泓主动请求潜水去彭城，谢玄答应了。
快到城下时，田泓不幸被前秦人抓获，前秦人送给他很多财物，让他向城内报告说援军已经被打败，田泓假装答应了。到了城下时，却大声告诉城中说：“南来的援军很快就要到了，我一个人前来报信，现在被敌人抓住，诸位一定要努力坚守啊！”于是遇害被杀。
当时彭超将物资装备放置于留城，谢玄于是扬言要派遣何谦去攻打留城。彭超听说后，放弃了对彭城的包围，率兵返回留城保护装备。戴逯于是率领彭城的部队，跟随何谦投奔了谢玄，彭超随后占据了彭城，留下徐煲守卫，自己则继续向南攻打盱眙。俱难也攻克了淮阴，留下邵保戍守。
前秦毛当、王显率领二万兵众从襄阳东进，与俱难、彭超会合后攻打淮河以南的地区。五月，俱难、彭超攻下了盱眙，抓获了高密内史毛之。前秦的六万军队在三阿包围了幽州刺史田洛，此时距离广陵只有一百里，东晋朝廷震惊，沿长江沿线布署了戍卫力量，并派遣谢安的弟弟谢石率领水军驻扎在涂中。
东晋将军毛安之率领四万兵众驻扎在堂邑，前秦毛当、毛盛率领二万骑兵攻打堂邑，毛安之惊慌溃逃。
谢玄率军从广陵出发救援三阿，俱难、彭超战败，退守到盱眙。谢玄与田洛会合后率领五万士兵攻打盱眙，俱难、彭超又被打败，退到淮阴驻扎。随后，谢玄派何谦等人率领水军趁着涨潮沿河而上，夜间焚烧了淮桥。邵保战死，俱难、彭超再次后退驻扎在淮河以北。
谢玄与何谦、戴逯、田洛一起追击他们，在君川交战，又大败了他们。俱难、彭超向北逃跑，仅仅只逃脱了性命。谢玄四战四胜，返回广陵，朝廷下达诏令，晋升他为冠军将军，兼领徐州刺史的官职，同时，谢安封公，谢玄封侯。
前秦苻坚大怒，派囚车去征召彭超，要将他送交廷尉，彭超害怕自杀，俱难被免除爵位降为庶民。
谢安做宰相时，前秦人屡屡进犯，边境的军队失利，而谢安总是以沉着、平和的态度使大家镇静。他的施政方法是抓大放小，当时的人们总是把谢安与王导相提并论，但认为谢安的文雅要超过王导。
东晋的孝武帝这时开始遵奉佛教的法度，在殿内设置了精舍，让僧徒们居住，尚书左丞相王雅上表劝谏，孝武帝不肯听。
淮南之战结束五年后，在公元383年，前秦苻坚下达诏令，全国范围内大举征兵，准备入侵东晋。八月初八，苻坚发兵长安，将士共有六十多万，骑兵二十七万，旌旗战鼓遥遥相望，绵延千里，直扑东晋。
东晋下达诏令，任命谢石为征虏将军、征讨大都督，谢玄为前锋都督，与辅国将军谢琰（谢安的儿子）、西中郎将桓伊等人的兵众八万人抵抗前秦，龙骧将军胡彬率五千水军援助寿阳。
这时的前秦军队已经非常强盛，东晋京城里的人个个震惊恐慌。谢玄的北府军虽然勇猛，但是前秦的兵力是东晋的十倍多，谢玄心里到底有点紧张。临出发之前，谢玄入朝，向谢安询问应对之策，谢安一副平静的样子，回答说：“已经另有打算了。”紧接着就闭口无言。谢玄不敢再问，就让好友张玄再去请示。
谢安命令驾车出游山间别墅，亲戚朋友云集一堂，谢安与张玄玩围棋赌别墅。谢安平时棋艺不如张玄，这天张玄心慌意乱，在有利的形势下投子打劫，反而还不能获胜。谢安回头对外甥羊昙说：“别墅给你啦。”说罢又登山游玩，到晚上才返回，然后把谢石、谢玄等将领召集起来，当面交代机宜事务。
当时，桓冲在荆州听说形势危急，打算专门拨出三千精兵到建康来保卫，谢安对派来的将士说：“我这儿已经安排好了，你们还是回去加强西面的防守吧！”
桓冲对着部将叹息说：“谢安有身居朝廷的气量，但不熟悉带兵打仗的方法，如今大敌临头，还尽情游玩、高谈阔论，只派未经战事的年轻人前去抵抗，再加上数量不足，力量软弱，天下的结局已经可以知道了，我们要失败被俘了！”
十月，前秦苻融攻克了寿阳，慕容垂攻下了郧城，胡彬听说寿阳被攻陷，退守到硖石，苻融进军攻打硖石。前秦梁成率兵五万驻扎在洛涧，沿淮河布防以遏制东面的部队，谢石、谢玄等在距离洛涧二十五里的地方驻军，不敢前进。
胡彬粮食耗尽，秘密派遣使者向谢石报告说：“如今贼寇强盛而我们的粮食已经耗尽，恐怕不能再见到大军了！”
前秦人擒获了信件，送给了苻融，苻融急忙派使者向苻坚报告说：“现在贼寇力量不足，很容易擒获，只是怕他们逃走，应该迅速率兵前来。”
收到信的苻坚大喜，亲自率领八千轻骑兵，日夜兼程赶赴寿阳与苻融汇合。到达寿阳后，苻坚派东晋降将朱序前去劝说谢石等人投降，认为“形势强弱悬殊，不如迅速投降。”
朱序却私下里对谢石等人说：“如果秦国的百万兵众全部抵达，确实难以与他们抗衡，如今乘着各路军队尚未会集，应该迅速攻击他们，只要能打败他们的前锋部队，那他们就丧失了士气，我们最终就可以攻破他们。”
谢石听说苻坚到达寿阳，十分害怕，想用坚守的方法来拖垮前秦的军队，谢琰劝说谢石听从朱序的话，于是派遣刘牢之率领五千精兵开赴洛涧。
梁成扼守山涧布署兵阵以等待刘牢之，刘牢之径直渡河，攻击梁成，大败梁成，斩杀了梁成及弋阳太守王咏，又分派部队断绝了他们归途上的渡口，前秦的步骑兵全都崩溃，争先恐后地逃向淮水，死亡的士兵超过一万五千人，晋军还抓获了前秦的扬州刺史王显等人，全部缴获了他们的武器军粮。
刘牢之以五千兵力斩杀了前秦十员大将及五万主力，消息传到后方，谢石等各路军队士气大振，从水路、陆路相继进发。
