泰始元年（265，44），武帝司马炎受禅，以佐命之勋，进号中军将军，加散骑常侍，改封郡公，邑三千户。固让封不受，乃进本爵为侯，置郎中令，备九官之职，加夫人印绶。
泰始初，诏以羊祜为尚书右仆射、卫将军，给本营兵，时王佑、贾充、裴秀皆前朝名望，羊祜每让，不处其右。
泰始五年（269，48），武帝将有灭吴之志，以羊祜为都督荆州诸军事、假节，散骑常侍、卫将军如故。羊祜率营兵出镇南夏，开设庠序，绥怀远近，甚得江汉之心。羊祜始至，军无百日之粮，及至季年，有十年之积。
在军常轻裘缓带，身不被甲，铃閤之下，侍卫者不过十数人，而颇以畋渔废政。
泰始八年（272，51），加车骑将军，开府如三司之仪。祜上表固让，不听。
及还镇，吴西陵督步阐举城来降。吴将陆抗攻之甚急，诏羊祜迎步阐。羊祜率兵五万出江陵，遣荆州刺史杨肇攻陆抗，不克，步阐竟为陆抗所擒。坐贬为平南将军，而免杨肇为庶人。
吴人翕然悦服，称为羊公，不之名也。
羊祜贞悫无私，疾恶邪佞，旬勖、冯紞之徒甚忌之。从甥王衍尝诣羊祜陈事，辞甚俊辨，羊祜不然之，王衍拂衣而起。羊祜顾谓宾客曰：“王夷甫方以盛名处大位，然败俗伤化，必此人也。”步阐之役，羊祜以军法将斩王戎，故王戎、王衍并恨，每言论多毁羊祜。时人为之语曰：“二王当国，羊公无德。”
