正所谓兔死狗烹，鸟尽弓藏，中外历史上凡是功高盖主的军政人物多半难逃一死，阿布·穆斯林也不例外。

身为阿拔斯王朝的开国功臣，阿布·穆斯林遭到了最高统治者哈里发的猜忌。

怛逻斯之战后，如日中天的阿拔斯王朝并没有乘势东进，全面控制中亚，安西都护府在西域的统治依旧坚如磐石，在封常清等人的苦心经营下，安西都护府很快便恢复了元气，要不是安史之乱的爆发，唐帝国与阿拉伯帝国、吐蕃三方在西域的均势就不会轻易被打破。

很显然，阿拉伯人对内部争权夺利的兴趣要远大于向东方征服。在怛逻斯之战获胜后，齐亚德·伊本·萨里向他的上司阿布·穆斯林献上了珍贵的战利品——一颗举世无双的宝珠。作为回报，阿布·穆斯林任命齐亚德为不花剌（布哈拉）和粟特总督。

与此同时，阿布·穆斯林在中亚的地位与威望与日俱增，仅仅过了一年，他就成为呼罗珊和河中地区的绝对统治者，甚至连军队也只听命于他，这让哈里发阿布·阿拔斯如鲠在喉，辗转难眠。

尽管这位波斯人曾经宣誓效忠阿拔斯，但他还是成为哈里发的眼中钉，肉中刺。阿布·阿拔斯冥思苦想，终于想到了一个毒计，那就是离间齐亚德与阿布·穆斯林的关系，试图借齐亚德之手除掉阿布·穆斯林。

公元752年末，哈里发阿布·阿拔斯亲自写信给齐亚德，鼓动他伺机杀了阿布·穆斯林，作为回报则是让他接任呼罗珊总督。

但是密谋杀害阿布·穆斯林的消息很快就走漏了，齐亚德根本就没有动手的机会，因为他手下的大部分将领都忠于阿布·穆斯林。

众叛亲离的齐亚德走投无路，逃到了撒马尔罕附近的一个波斯大地主家中，躲了起来。然而齐亚德并没有意识到死亡正在向他逼近。当地的波斯人一向拥护阿布·穆斯林，就因为阿布·穆斯林也是波斯人，而齐亚德则是不折不扣的阿拉伯血统，于是，这位波斯地主不假思索，立即杀了齐亚德，并将他的首级献给了阿布·穆斯林。

阿拔斯这个借刀杀人的计划，最终以失败而告终。

公元754年6月，阿布·阿拔斯逝世，继任者则是他的弟弟曼苏尔。初登王位的曼苏尔根基不稳，有没有掌控军权，当时帝国最精锐的部队，都掌握在阿布·穆斯林和他的叔父阿卜杜拉的手中。

阿布·阿拔斯是易卜拉欣钦定的继承人，阿卜杜拉对他还是很忠诚的。可阿布·阿拔斯去世之后，哈里发之位落在了曼苏尔的手上，这令阿卜杜拉愤愤不平，他认为自己更有资格继任哈里发，于是便产生了异心。不久，阿卜杜拉起兵叛乱，企图从曼苏尔手中夺走哈里发之位。

当时能够与阿卜杜拉抗衡的人，只有阿布·穆斯林，尽管曼苏尔并不十分信任阿布·穆斯林，但情况十万火急，曼苏尔只得暂时依靠他的力量平定叛乱，以解燃眉之急。

阿布·穆斯林欣然接受了曼苏尔的命令，754年11月，阿卜杜拉的军队在奈绥滨（今土耳其的纳西宾）被阿布·穆斯林击败，随之被囚禁了七年。

约761年，曼苏尔以为阿卜杜拉建造宫殿为名，故意将房屋的地基建在盐地之上，结果房基被水淹没，继而融化，房屋坍塌，将他压死。

解决了阿卜杜拉的威胁之后，在曼苏尔的心中，只剩下阿布·阿拔斯这个心头之患。

在铲除了反叛势力后，阿布·穆斯林便一心想要返回呼罗珊。可曼苏尔并不想放龙入海，他随即任命阿布·穆斯林为叙利亚与埃及总督，企图架空他的权利。

阿布·穆斯林拒不接受新的委任，他是波斯人，生于呼罗珊，根也在呼罗珊，他明白一旦远离故土，就会成为无本之木，无源之水，可以任人宰割。

于是，阿布·穆斯林违抗命令，依然返回呼罗珊。然而这一切都在曼苏尔的意料之中，他抢先一步，令人携带自己的亲笔信，快马加鞭地送到了阿布·达吾德的手上。

阿布·达吾德当时留守呼罗珊，是阿布·穆斯林的手下大将，信中宣布阿布·达吾德为新任呼罗珊总督，并说阿布·穆斯林已经背叛了帝国，论罪当处以死刑。

此时的阿布·穆斯林已经无路可走，万般无奈之下，他只得回到帝国的首都巴格达，试图当面向曼苏尔解释自己并无反叛之心，这是多么天真的想法啊！

结果毫无悬念，曼苏尔根本就不给他任何辩解的机会，还当面历数他的罪状，并即刻将他处死。

传说临死之前，阿布·穆斯林在曼苏尔的面前祈求道：“留下我，可以对付你的敌人。”曼苏尔只是冷笑了一声，说道：“除了你，我没有更大的敌人！”

阿布·穆斯林死在了哈里发的屠刀之下，一代名将就此陨落，巧合的是，怛逻斯之战后，阿布·穆斯林与高仙芝死在了同一年，这也许就是命运的安排吧。