明代最初定都南京，朱棣迁都北京后，南京作为陪都，政治地位一直很高，拥有全套中央级官署，并有专门的驻军负责卫戍，一般由守备太监负责军事重任。
嘉靖年间倭寇骚扰东南沿海，江南江北也深受其害，为此各地招募乡兵抵御倭寇，维持地方治安，李遂不仅负责监督漕运，还要兼任凤阳巡抚，主要监督各地乡兵抵抗倭寇，振武营就是为了抵御倭寇而建立起来的。这支部队纪律较差，比较骄纵。因督粮侍郎黄懋官克扣南京振武营官兵粮饷，该营士兵起来闹事，杀死黄懋官，李遂机智处理平息这一事件。穆宗即位，徐阶意欲撤销振武营编制，彻底解决不安全因素，但担心再次哗变并威胁孝陵安全，于是通过操江都御史安排兵力保护孝陵，解散振武营。
李遂是嘉靖五年（1526）进士，做过刑部郎中。李遂作风干练，敢于承担责任。有三件事情颇能说明李遂敢作敢为的性格。
第一件事是，锦衣卫送来十三名犯人，罪名是盗贼，李遂经过审讯，发现很多属于虚构犯罪情节，他挑出一人抵罪，其余皆具保开释。
第二件事是，东宫建立，按照常规大赦天下。李遂请求将因议“大礼”得罪官员列入大赦令中，刑部尚书聂贤恐惧不敢做，于是与同事卢蕙向都御史王廷相发出请求，廷相表示同意。这件事虽因皇帝未批准而没有成功，但是获得很多人嘉许。
第三件事是敢于提出不同意见。不久李遂调入礼部，因敢于建言献策，与作风强势的尚书夏言相抵牾。夏言意欲报复，暗中吩咐言官找其他事弹劾李遂，逮捕李遂下诏狱，贬谪湖州同知。后三迁衢州知府，升苏、松兵备副使。江洋多盗，迁右佥都御史提督操江。后监督苏州军饷。李遂抗击倭寇取得大胜。嘉靖中后期东南沿海倭寇猖獗，三十六年（1557），倭寇搔扰江北。廷议请特设巡抚，任命李遂兼巡抚凤阳四府。当时淮、扬地区多次遭受倭寇袭击，又遇上大水，乡民仍然需要向北京运送大木。他请求增饷增兵，赈恤灾民，精心策划抗倭大计。
嘉靖三十八年（1559）四月，倭寇乘数百艘船只入侵海门。李遂告诉诸将说：“倭贼奔向如皋，他们一定会在那里会合。进攻路线估计有三条：一条是由泰州逼天长、凤阳、泗州，这样会威胁祖陵寝。第二条是由黄桥逼瓜洲、仪征，威胁动摇南都，这样的话南北运道就阻塞了。第三条是从富安沿海奔袭东至庙湾，那么他们就进入绝地，是我们歼灭他们的极好机会。”于是命令副使刘景韶、游击丘升防守如皋。李遂亲自带兵开赴泰州作为中坚，抵挡倭寇。
当时倭贼风头正劲，来势汹汹，副将邓城之被击败，指挥张谷战死。倭贼知道如皋有准备，将挥师进犯泰州，李遂立即命令刘景韶、丘升发起攻击，遏制倭寇军锋。丁堰、海安、通州，三战三捷，士气大增。倭贼见无法进入泰州，就沿海东掠，李遂大喜说：“倭贼已经死定矣。”下令刘景韶、丘升紧追不放，驱赶倭贼进入庙湾这个死角。
李遂担心倭贼突袭淮安，深夜奔驰入城。倭贼果然蜂拥而至，李遂下令参将曹克新等于姚家荡设置阵地抗击倭寇。通政唐顺之、副总兵刘显带兵前来增援，倭贼大败而走，以残余兵力固守庙湾。刘景韶也在印庄大败倭寇，追击至新河口，斩杀甚众。
倭寇龟缩庙湾，据险不出，官军环攻月余不克。李遂下令刘景韶用稻草填塞堑壕，用木板搭起高垒，用火把焚烧其船只，倭贼乘夜雨逃遁。官军占领他们的巢穴，追击至虾子港，全部歼灭剩余倭寇，江北倭寇悉平。
嘉靖帝大喜，玺书奖励。倭贼驻扎崇明三沙洼，将犯扬州。刘景韶连战连胜，将倭寇包围于刘庄。刘显派兵来增援，李遂下令各军尽归刘显指挥。攻破其巢穴，追击至白驹场，倭贼全部被歼灭。
当时李遂已迁南京兵部侍郎。荫一子官，赏赐银币。因平倭功，前后二十余战，斩获三千八百。再荫一子世千户，增俸二级。南京振武营兵始末。李遂到南京任职数月，发生振武营兵变。振武营是尚书张鏊招募健儿抵御倭寇而成立的。但是该营官兵素来骄横。
按照常规，南军有妻小家庭的，每月粮米一石。无妻小的，减四成。春秋季节第二月，每石米折银五钱。马坤掌南京户部，奏减折色一成。督储侍郎黄懋官又上奏请求革除有妻小之粮，诸军哗然，都怨恨黄懋官。不久蔡克廉代替马坤，正好生病，诸军因岁饥向黄懋官请求恢复折色原额。黄懋官不同意，加上发饷又逾期。
嘉靖三十九年（1560）二月正好检阅操练，振武营士卒鼓噪蜂拥至黄懋官办公室。懋官紧急召唤尚书张鏊、守备太监何绶、魏国公徐鹏举、临淮侯李庭竹和李遂来到现场，各营士卒披甲而入。给予银两，你抢我夺，秩序大乱。黄懋官见来势汹汹，越过墙垣跑到宿舍，纷乱士卒紧随而来。徐鹏举、张鏊劝解不听，他们抓住并杀死了黄懋官，并裸尸于市。何绶、徐鹏举答应给赏万金，不答应，一直还价至十万金，才稍稍安定下来。
第二天，诸大臣会集南京守备大厅，士卒再次聚集。李遂大声说：“黄侍郎是自己越墙跌死的，各位只是不该侮辱尸体。我将向朝廷如实上奏，不会以叛乱耽误大家。”并挥手让士卒退下，答应按照原额兑付有妻小士卒月粮，人给一两银子补折价，士卒散去。
李遂借口生病闭门不出，名义上给免死券以安定人心，密令手下抓捕首恶二十五人，关进监狱。上奏朝廷汇报事情经过，下诏追夺黄懋官和蔡克廉官职，罢免何绶、李庭竹、张鏊职务，任命徐鹏举官职如故，李遂论功晋升。只诛叛卒三人，其余戍边，而这三人前已死于乱军中矣。
李遂感叹道：“振武营兵从此更加骄纵矣。”不久，江东代替张鏊为南京兵部尚书。
穆宗朱载垕即位，徐阶继续为首辅，议及南京振武营经常哗变，意欲解散，但是担心他们会占据孝陵闹事，采取稳妥措施彻底解散振武营。皇帝仍然想用太监分督团营，徐阶力陈不可而止。南京振武营经常闹事哗变，徐阶意欲淘汰之。担心他们占据孝陵不可强攻，先令操江都御史唐继录监督江防兵进驻孝陵附近，一切安排妥当，再向兵部下令分散到各军中。振武营编制撤销，事情遂定。
