吕光大军东进至玉门关时，梁熙这才如梦初醒，发布檄文谴责吕光擅自做主回师，任命儿子鹰扬将军梁胤、振威将军姚皓等率领五万兵众在酒泉阻击吕光。

吕光以牙还牙，一方面也发布檄文斥责梁熙不仅没有以身赴国难的志向，反而阻止回国的兵众，另外派彭晃、杜进等作为前锋，与梁胤在安弥交战，大败梁胤的军队，并活捉了梁胤。周围依山而居的胡人、夷人风闻吕光的威名，全部归附了他，武威太守彭济见大势已去，抓住梁熙向吕光投降，吕光杀掉了梁熙。

梁熙和他的哥哥梁谠皆以文采出名，史称“二梁”，当时的人们都说：关东堂堂，二申两房。未若二梁，环文绮章。可叹梁熙文章虽好，却无治国才能，在乱世中也只能落得个战败被斩的结局。

吕光进入甘肃姑臧城后，自己兼任凉州刺史，凉州的郡县全部都投降了吕光，只有酒泉太守宋皓和西郡太守索泮固守城池不投降。

吕光发起攻击，抓获了他们，责备索泮说：“我接受诏令平定西域，而梁熙却断绝我的归路，这是朝廷的罪人，你为什么要依附与他？”

索泮冷冷地说：“将军接受的诏令是平定西域，并没有诏令要搞乱凉州，梁公有什么罪过而将军杀了他？我只恨自己力量不足，不能为君父报仇，怎么能干出像氐人彭济那样的事情呢！主灭臣死，这本来就是千古不变之理！”吕光便杀了索泮及宋皓。

当初，苻坚在淝水之战中战败，作为前秦将领的前凉君主张天锡逃奔东晋，世子张大豫来不及跟随，前秦校尉王穆收留了他，与他一起逃到河西，投奔了鲜卑的部落首领秃发思复鞬，秃发思复鞬将他们送到了魏安。

魏安人焦安、张济等一起拥立张大豫为盟主，他们攻占了吕光的昌松郡，吕光大怒，派杜进去攻打他们，结果杜进的军队被打败了。

张大豫打胜之后骄傲自满，准备去攻打吕光的姑臧城，王穆劝谏他说：“吕光粮草充足，城池坚固，武器精良，我们去攻打他讨不到好处的，不如去横扫岭西一带，训练军队积蓄粮食，然后再东进与他抗争，这样不用一年，就可以打败吕光了。”

张大豫哪里听得进去，自封凉州牧，向各郡县传递檄文，让王穆去游说他们，建康太守、祁连都尉等都起兵响应他，于是张大豫的军队发展到了三万人，驻扎在杨坞。

四月的时候，张大豫从杨坞出发驻扎在姑臧城西，王穆率领三万部众和秃发思复鞬的儿子秃发奚于在姑臧城南列阵。吕光出城攻击，把他们打得大败，斩杀了秃发奚于等二万多人。

吕光对部将说：“如果张大豫采用了王穆的意见，恐怕就平定不了。”众将都说：“张大豫难道想不到这一块吗，这是上天想要成就明公您八百年的基业，所以使张大豫看不明白什么是良策罢了。”吕光听后哈哈大笑。

张大豫先是逃往临洮，被吕光的部将打败后又逃奔广武，广武人抓住了张大豫，送到吕光处，被吕光处死，王穆则攻占了酒泉，自称大将军、凉州牧。

苻坚去世后一年，在凉州的吕光才得知噩耗，他下令三军为苻坚披麻戴孝，随后自称中外大都督、大将军、凉州牧，建年号为太安，史称后凉。

当了凉州牧的吕光日子并不好过，他的西平太守康宁自称匈奴王，背叛了他，与他曾经同甘共苦的张掖太守彭晃和大将徐昊也与康宁、王穆勾结起来反叛了。

吕光决定亲自带兵去袭击彭晃，将领都劝他：“现在康宁在我们的南方，时刻在等待机会动手，如果彭晃、王穆还没有被消灭，康宁又带兵杀到，我们就会进退两难，局势一定会非常危险的。”

吕光说：“你们说的都是实情，但是如果我们不去打败他们，就是坐在这里等着他们来打我们，等这三支匪寇联合起来夹击我们的时候，城外就不会是我们的了，那就大事已去了。现在彭晃刚刚叛变，与康宁和王穆联络还不亲密，我们出其不意地攻击他们，就比较容易取胜了。”于是吕光亲自率领骑兵三万人，加倍行军，到达张掖后发动了猛烈地进攻，终于攻破城池杀了彭晃。

王穆在酒泉聚众起兵候，派人去征召敦煌的隐士郭瑀，前凉王张天锡和前秦皇帝苻坚都曾前后派人请郭瑀出山为官，均遭拒绝。

郭瑀仰天长叹，说：“现在百姓即将像胡人一样被迫穿左边开襟的衣服了，我怎么能忍心不去拯救他们呢！”于是郭瑀联络了同郡人，敦煌索氏家族的索嘏（gu），共同起兵响应，并给王穆运送去了三万石粮食用来款待他的部队。

王穆此人心胸狭窄，虽然任命索嘏为敦煌太守，不久便忌惮他的威名，派部队去攻打他，郭瑀尽全力劝阻，王穆只是不听，郭瑀只好辞职离城，放声大哭，并举手向城内谢罪说：“我恐怕不会再看见你们了！”说完回家用被子盖住自己的脸绝食而死。

吕光听说王穆、索嘏开战的消息后大喜，说：“这两个贼寇自己互相攻击，已成必败之势了，我们可不能因为害怕战斗的辛苦而失去一劳永逸的良机。”于是，他亲自率领步骑二万进攻酒泉，王穆见势只好带着自己的部队向东撤退，还没跑回老巢，部队便溃不成军，王穆只身逃走，被郭文斩首送给吕光，至此，凉州全地、河西大部分地区均为吕光所有。

吕光平定凉州，杜进的功劳最大，吕光便封他为辅国将军，武威太守，杜进权高一时，仅次于吕光。

吕光的外甥石聪从关中地区前来，吕光问他：“关中那边的人对我治理朝政有何评价啊？”

石聪答：“他们只听说有一个杜进罢了，没有谁听说有舅舅的。”吕光因此愤愤不平杀了杜进。

后来吕光与幕僚谈论朝政，段业（北凉建立者）说：“明公您施用刑罚太过严峻了！”

吕光不以为然地说：“吴起当年刻薄寡恩，但楚国因此强大，商鞅当年刑罚森严，但秦国因此而振兴！”

段业正色道：“吴起最后自己被杀，商鞅则全家遭到屠戮，这都是因为他们残酷到了极点，明公您才开始创建大业，效法学习尧、舜还不一定能成功，竟然去仰慕吴起、商鞅那样的治理方法，这难道是本州百姓所期望的吗？”

吕光肃然变色，向段业深揖表示感谢，并下令自责，减轻刑法，施行宽容简单的政策。

吕光于公元389年正式称三河王，设置百官，立妻子石氏为王妃，吕绍为太子。