1129年初，南侵的金军一路攻下徐州、淮阳、泗州，准备进袭扬州，已经南迁扬州的宋高宗惊慌失措，狼狈逃至杭州。赵构到杭州不久，就发生了苗刘兵变，五月间 兵变被镇压，赵构移驾建康。此时驻防开封的杜充，因开封随时有遭遇金军进攻的危险，心中害怕，就借口“勤王”，准备离开开封，前往建康。
岳飞于6月下旬刚回军开封，杜充要求他南撤的军令就到了。岳飞苦谏杜充不可放弃中原国土，杜充根本不听。岳飞无奈，只得随杜充南撤。因为开封没有了守军，于是在1230年二月陷落。
南渡后的杜充被赵构委以长江防务的重任，还被任命为右相。赵构在建康并没有停留多久，就返回临安了。由于他对抵抗金军没有信心，因此又派使臣前往金营呈送屈辱的书信《致元帅书》。
但是当时金军意欲彻底灭亡宋朝，因此对赵构的书信置之不理，继续分兵多路南下。达懒部进攻淮南，兀术部则直接进攻江南。金兀术部又兵分两路，西路军于1129年十月由黄州渡江屠洪州，并在长江中游一带的湖北、江西等地大肆劫掠。兀术则自领东路军，计划先占建康，再捣临安，活捉赵构。
面对日渐逼近的金军，杜充在防务方面不做任何准备，整日深居简出。岳飞哭嫁谏大敌当前，加强建康防务的重要性。杜充却充耳不闻。直至听到金军渡江的消息后，杜充才匆忙派陈淬率岳飞、戚方等将官统兵二万奔赴马家渡，又派王燮的一万三千人策应。
两军对阵后，王燮临阵逃跑。陈淬力战而死，麾下诸将皆溃散，只有岳飞力战，之后整军退守建康东北的钟山。
听到马家渡战败的消息后，杜充带亲兵3000人，弃城逃到江北的真州，不久向金军投降。建康沦陷。
马家渡之战后，岳飞决定脱离杜充，独自抗金。他收拢了大量宋军溃散部队，转战于敌后。在金兀术从建康进军，一路直取杭州的同时，岳飞则率军在其后方伺机予以痛击。先后在溧阳、广德打了不少胜仗。岳飞军纪严明，在转战广德期间，军粮用尽，将士们忍饥挨饿，却不敢扰民。直到1130年初春宜兴县令邀请岳飞前往宜兴平息溃军骚乱，并贡献了大量粮草，岳飞所部才解决了军粮匮乏问题。
在宜兴期间，岳飞收拢了大量散兵游勇以及被金人强征的伪军，对他们一视同仁，从不苛待。岳飞并加强军事训练，并严整军纪，自此岳家军初步成型。
金兀术经过搜山检海穷追赵构但最终未果，于是在掳掠了大量金银财宝后，沿大运河水陆并进北撤。经过常州时，被从宜兴赶来的岳飞军截击。岳飞在常州截击战中四战四捷，声威大振。岳飞也因此首次得到朝廷召令，命他配合驻扎镇江的韩世忠部，从左翼进击金军，伺机收复建康。
后来，韩世忠所率水军于黄天荡困住金军水路40余天，因奸细到金营献策，才使金军得以脱困，同时也使韩世忠战船遭到金军火攻，损失重大。
但在陆路，金军却被岳飞部打得打败，建康之战金军被岳家军斩杀3000余人，另有1000多人投降岳家军，还有20多名金军将领被俘，建康也因此得以收复。建康之战是岳家军成军后取得的首次辉煌胜利。
岳飞收复建康后，他的顶头上司前右军都统制、浙西江东制置使张俊却要把他派往饶州扼守江南东、西两路。岳飞则认为守卫建康的战略意义更为重大，因此与张俊有了意见分歧。5月份，岳飞亲自押解战俘去当时的临时首都越州，并平生一次觐见宋高宗赵构。岳飞向朝廷上奏，再次陈述了固守建康的重要性。赵构对岳飞的奏章深以为然，于是改变了张俊的原议，并赐给岳飞金带、马鞍等物。 岳家军由此声名大振。
1130年6月，宋庭命岳飞配合张俊讨伐流窜于宣州、湖州一带的叛将戚方部，取得大胜，迫使戚方投降张俊。
岳飞因为数月来在战场上的功绩，声誉越来越高，终于获得了宰相范宗尹在赵构面前推荐。岳飞也因此被委任为武功大夫、昌州防御使及通、泰州镇抚使兼泰州知州等重要职务。
这年八月到十一月，岳飞部又先后在楚州（淮安）、泰州月金军主力作战。尽管岳飞部作战英勇，且重创了金军，但终因孤旅无援、寡众悬殊等原因，楚州、泰州先后失陷。宋廷没有太多追究岳飞责任，命其所部在当时所在地江阴就地驻扎，防守长江江岸 。
