此时陕郡太守窦廷芝已逃，城中吏民听说洛阳陷落，也都跟着逃散，封常清向驻守该地的高仙芝说：“常清连日血战，贼锋不可当，况且潼关无兵，如果叛军攻破潼关，那么长安就危险了，不如引兵前往潼关与叛军对抗。”高仙芝听了封常清的详细汇报，知道在当时力量悬殊的情况下，这是明智之举，于是接受了他的建议，率兵向潼关方面撤退。唐军退到潼关，高仙芝马上整顿队伍，休整守备，据险抗击，唐军士气也渐渐振作起来。安禄山派部将崔乾佑率部追赶，一时不能攻克，只好退居陕郡。
玄宗听闻封常清兵败，大怒不已，此时玄宗还没认识到形势的严峻，心念区区安禄山兵员不过20万人，大唐子民千千万，剿灭叛军只是时间问题，却忽略了精锐部队和平民的差距，还想着御驾亲征；玄宗削除了封常清所有官爵，让他以平民身份在高仙芝军中效力，高仙芝命封常清巡监左右厢诸军，防备叛军突袭。
高仙芝在两京招募兵勇时，监军边令诚曾多次向高帅索贿，高仙芝以国事为重，拒绝了边令诚，于是怀恨在心，高仙芝退守潼关后，边令诚入朝奏事，向玄宗反映了高仙芝、封常清败退之事，并说：“封常清说叛军强大动摇军心，而高仙芝放弃了陕郡几百里土地，偷偷克扣士兵的粮食和赏赐。”唐玄宗听了边令诚一面之辞后，下旨边令诚赴军中监斩高仙芝和封常清。天宝十四年十二月十八日，边令诚到了潼关，先把封常清叫来，向他宣读了圣旨，将其斩首，暴尸于芦苇之上；高仙芝听闻消息，赶到官署，边令诚同样宣读了圣旨，高仙芝对边令诚说：“我下令退兵是有罪，死罪我不敢否认，但污蔑我克扣赏赐和军粮，我不认。”他回头对部下说：“我把你们招募来，当然是想打败叛军多得赏赐，但叛军力量正盛，所以撤退到潼关以加强防守，凭良心，我高仙芝从没有克扣赏赐和军粮！”部下齐声喊冤枉，冤枉。高仙芝看着封常清的尸体说道：“常清，你和我一起在安西出生入死，又接替我当了节度使，现如今你和我一起赴死，难道这就是命运吗？”随即被斩首，高仙芝和封常清是当时名将，他们的冤杀引起了军心的动摇，使朝廷损失了两员具有作战经验的大将。
天宝十五年（注：公元756年）正月初一，安禄山自称雄武皇帝，国号大燕，定都洛阳，并加紧了对潼关的攻打。玄宗临阵斩杀了大将，顿时潼关防线群龙无首，玄宗想到了赋闲在家的哥舒翰，虽然哥舒翰以身体原因极力推辞，但最后还是接受了皇帝的任命，玄宗又让田良丘任行军司马，步兵指挥李承光、马军指挥王思礼担任属将，领各地支援边军，赴潼关拒敌。哥舒翰为唐朝名将，在河西、陇右战场多次击败吐蕃，赋闲前官至凉国公、太子太保，兼任河西节度使，潼关在哥舒翰的经营下，固若金汤，叛军主力多次发起进攻，延续半年之久，都劳而无功。当时人们都认为安禄山的叛乱主要是要清除杨国忠，所以哥舒翰的部下王思礼就劝说道：“安禄山造反是以清除杨国忠为借口，如果我们留兵三万镇守潼关，其余精锐回师京城，诛杀杨国忠，安禄山的进兵就没有了借口，你认为怎样？”哥舒翰也有此意，但又考虑到真要如此行动，自己就成了安禄山第二了，最终没有采纳王思礼的意见，但是，二人的谋划很快传到了杨国忠那里，杨国忠大为慌恐。彼时，形势正向有利于唐军的方向发展，郭子仪与李光弼率军接连大败叛军史思明部，切断了叛军前线与范阳老巢之间的交通线，各地捷报频传，令唐玄宗重新充满了必胜的信心，杨国忠也不停的在一旁煽风点火，要求唐军出潼关，与叛军决战。安禄山了解到这一情况，遂派老弱残军多次攻打潼关，唐军已胜多阵，唐玄宗听信杨国忠的谗言，不断派使催促哥舒翰，哥舒翰多次向皇帝表奏：“安禄山久在军中，精通兵法，有备而来，利在速战。叛军暗藏精锐，以老弱病残引诱我军，肯定有诡计，如果我军轻出，必然落入叛军的圈套，到时悔之不及。”玄宗听不进哥舒翰的金玉良言，反而严词苛责，给哥舒翰造成了极大压力，前有高仙芝、封常清之鉴，哥舒翰当然知道抗命的后果是什么。
天宝十五年六月四日，哥舒翰点齐潼关兵马，共20万大军，向东寻战。唐军行至灵宝，今河南省灵宝市，此地南面靠山，北临黄河，中间是一条70里长的狭窄山道，叛军故意示弱，队伍不整，唐军果然中计，王思礼率五万精锐一马当先，哥舒翰率余部紧随，一路前行，被诱进隘路，顿时山上无数滚木擂石如冰雹般砸下，唐军在隘道没有周旋余地，死伤无数，哥舒翰眼见大势不好，急令车辆在前开路，叛军早有后手，把数十辆点燃的草车推下山谷阻塞道路，很快烈焰熏天，唐军无奈只得溃散逃命，掉进黄河淹死的就有几万人，绝望的唐军争相挤上运粮船，将粮草掀入河中，几百艘运粮船由于超载最后都沉入了黄河河底，剩余的唐军拼力划向黄河对岸，最终上岸的士兵仅有十分之一二，哥舒翰狼狈逃回潼关，清点人数，二十万大军，仅剩下八千人，他常胜将军的声名，也因此付诸东流。诗人杜甫曾作诗云：“谨嘱关防将，慎勿学哥舒。”哥舒翰收拾残兵败将，重新守住关口，想继续与叛军周旋，叛军稍事休整，向唐军直扑过来，哥舒翰手下蕃将火拔归仁眼见大势已去，私下暗通叛军，劫持了哥舒翰，连同几名不肯投降的将领，一起押往东去。安禄山见到哥舒翰后，得意洋洋，道：“你过去一直看不起我，如今怎么样？”哥舒翰此时却完全没有了英雄胆色，居然跪在安禄山面前，伏地谢罪，说道：“肉眼不识陛下，以至于此，陛下是拨乱之主，天命所归。李光弼、郭子仪等，我愿为陛下招降他们。”安禄山大喜，马上将哥舒翰封为司空，哥舒翰书信各将，都复书责骂他不为国家死节，有失国家大臣的体面，安禄山大失所望，就把哥舒翰囚禁在狱中。
