荡平匪患以后，王阳明心里牵挂着两件事，一是如何实现地方的长治久安，一是如何能够尽快脱身，回乡休养。
正德十三年（1518年）三月，王阳明写信给弟子、广东佥事顾应祥说，清除匪患，并不是剿杀就可以完事的，关键是今后如何使他们改邪归正，从内心上归顺朝廷，这是一个长期的任务，可自己疾病缠身，就要成为废人了，左思右想，还是决定乞致归养，不得不塞责而去，虽难免有意必之私，也只能寄希望于后之君子来推行礼乐教化了。
在与黄绾的书信往来中，王阳明深诲踏入仕途，说官场如烂泥坑，睬进去了很少能再拔出来的，但愿此次能够获批致仕，与老友相聚与山野。
四月，王阳明书告父亲王华，称剿匪大局已定，但两广府江地区的苗贼仍然是一个不稳定因素，但自己病情反复，已经上疏乞休。
对王阳明的休致请求，朝廷迟迟没有回音。五月，王阳明再次给王琼写信，表示自己扶疾救难，九死一生，不是为了爵禄旌赏，而是为了报答老先生的知己之恩，不辜负老先生的期望，三个月过去了，乞休疏尚无答复，请老先生成全。
战后，赣州府各县城垣破败，王阳明乃令府县各自从长计议，量力修缮，他嘱咐说：“各官务要视官事如家事，惜民财如己财，因地任力，计日验功，役不踰时而成坚久之绩，费不扰民而有节省之美”。
吉安县县令邵德容、吉安知府伍文定率先响应，他们重修文山祠祭祀文天祥，王阳明欣然作《重修文山祠记》，赞扬此举为名教风化所系，有益于起忠孝之心。
王阳明虽然谋划归养，但仍将提督都察院衙门修葺一新，之前已经介绍了其中用于研学的“射圃”和“观德庭”，现在让我们来了解一下它的总体布局。
修缮后的提督都察院衙门，中堂取名“肃清”，既有纪念肃清匪患事迹的含义，更寄托了今后奉行教化，移风易俗之愿景。中堂前方是露台，东西为廊房，中为仪门，外为大门。后堂名“抑抑”，出自《诗·小雅·宾之初筵》：“其未醉止，威仪抑抑。”乃是修身的自勉之辞。后堂左侧有思归轩、宜南楼、燕居楼、仕学轩，并建射圃、无逸亭、君子亭；后堂右侧为观德亭。中堂和后堂之间为“正大光明”轩，无论为官立功，还是修身治学，都应当遵循大道，正大光明，充分体现了王阳明立身以诚的思想。
大门外左边是府茶厅，右边是三司茶厅，两翼是各属官的茶厅，大门外西边有廊房三十间，供衙役和胥吏使用。大门外立牌坊，正中书“提督军务”，左为“肃清六道”，右为“节制四藩”。辕门外，西为中军厅，南设坐营署。
