汉献帝延康元年（“公元220年”），一代枭雄曹操在洛阳去世。曹丕继位丞相、魏王，以曹丕和司马懿的关系，司马懿的人生就要开挂了，先封其为河津亭侯，后又转为丞相长史。
同年十月，汉献帝被迫禅位于曹丕，东汉灭亡。十一月，曹丕登皇帝位，改年号黄初，史称魏文帝。任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。
黄初二年（“公元221年”），督军官职撤销，司马懿升为侍中、尚书右仆射。
黄初三年和黄初五年，曹丕两次伐吴，都以司马懿镇守许昌，并改封其为向乡侯。
黄初六年二月，又转任抚军大将军、假节，领兵五千，加给事中、录尚书事。司马懿坚决辞让，曹丕说：“我处理各种政务，夜以继日，没有片刻休息时间。任此职并非荣耀之事，只是为我分忧罢了。”
同年，曹丕又大兴水军攻吴，仍命司马懿留守许昌，给予充分的信任。
黄初七年五月，曹丕驾崩，享年40岁。临终时，任命司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。并对太子曹睿说：“有人要离间这三人时，要慎重，不要怀疑他们。”随后，曹睿继位，是为魏明帝。该封司马懿为阳舞侯。
同年八月，孙权出兵攻魏。命吴左将军诸葛瑾分两路进攻襄阳，结果被司马懿击败，并斩杀吴将张霸，斩首千余级。十二月，司马懿升为骠骑将军。
太和元年（“公元227年”）六月，魏明帝曹睿命令司马懿驻扎宛城，加都督荆、豫二州诸军事。
司马懿现在可真是应了那句朝里有人好办事，要想混的好还是得跟领导搞好关系啊！不过，虽然前期的升迁一直是有曹丕的因素在里面，但司马懿其实是有能力的，个人很努力，也堪称大才。只是以前没有展现的机会，击败诸葛瑾，斩杀张霸只能说是小试牛刀，现在一战成名的机会终于来了。
当初蜀将孟达降魏时，魏给他的待遇很优厚。司马懿认为他言行狡诈，见风使舵，不可信任。但皇帝不听，任命孟达为新城太守，封侯，假节。曹丕死后，孟达失宠。于是暗中与东吴联系，又巩固蜀对他的信任，图谋叛魏。蜀丞相诸葛亮厌恶其反复无常，恐其危害蜀国，想促使孟达尽快叛魏。知道孟达与魏兴太守申仪有矛盾，便派郭模到申仪处诈降，故意泄露孟达打算叛魏的计划。孟达听说计划泄露，准备马上起兵。
申仪将此事密告司马懿，司马懿恐孟达迅速发兵，便给他写信：“将军昔日抛弃刘备，托身于我国，国家将疆场重任委托给你，并将伐蜀的事也托付给将军，至诚之心可谓如天上白日。蜀人不论愚智，对将军莫不痛恨。诸葛亮欲破坏你和魏的关系，只苦于没有办法。郭模所说的并非小事，诸葛亮怎能忽视此事而让郭模泄露，此中道理是容易明白的。”孟达收到信大喜，犹豫不决。司马懿随即率军暗中讨伐。诸将认为孟达与吴蜀互有冲突，应先观望再动手。司马懿说：“孟达无信义，现在正是他们互相猜疑的时候，应当在他未作出决定的时候消灭他。”于是率军日夜兼程，八天便到了上庸城下。吴、蜀派出援兵救援孟达，被司马懿阻拦与西城安桥和木阑塞。
之前孟达曾给诸葛亮写信说：“宛离洛阳八百里，离我处一千二百里，听到我起事的消息，当上表给天子，来回路程，须一个月时间，那时我的城池已经修整牢固，诸军都作好了准备。我处在深山险道之中，司马公必不会亲自来，其部下诸将来，我不会有忧患的。”等到魏军兵临城下，又告诸葛亮，惊叹：“我起事八日，而魏兵已至城下，多么神速啊！”
太和二年正月，司马懿分八路攻城，攻了十六日，孟达外甥邓贤、部将李辅等开门投降。司马懿入城，擒斩孟达，首级传至京师。俘获万余人，整顿军队仍回到宛城。又鼓励农桑，禁止浪费，南方百姓都喜悦而归附。
当初，申仪长期在魏兴作太守，疆场之事独断专行，常假借皇帝旨意刻印授官。孟达被杀，申仪心中疑虑。当时各郡守因司马懿大捷，多送礼来贺，司马懿并不禁止，并派人暗示申仪也应来祝贺。申仪到后，司马懿乘机将他收捕送往京师。又将孟达余众七千多家迁往幽州。不久蜀将姚静、郑他等率部七千余人来降。
太和四年，司马懿升为大将军，加大都督、假黄钺，与曹真一起伐蜀。
