九月初一，霍韬上疏称，陆粲是杨一清的苏州同乡，必受杨一清唆使弹劾张璁、桂萼，认为他们两人不善保全，故招致罪斥，大礼议中，攻击他们两人的都被治罪，现在正好相反，与他们一条战线的王琼等人又获罪，这让百官如何自处？霍韬直谓与张桂同进退，请求罢去。
霍韬的奏疏把着眼点放在大礼仪和杨一清揽权这两点上，实在是非常高明的。于是，明世宗恢复张璁和桂萼的职务，重新入阁。
明世宗朱厚熜一身的痛都在自己的出身上。他践登大宝的时候，还是一个十四岁的少年郎，是张太后和首辅杨廷和一手将他扶上位，可是当他们把他视为小宗，要他以明孝宗继子的身份继位时，朱厚熜死活不答应，掀起了长达三年的大礼议之争，他不允许朝臣给太后祝寿，在坐稳位子以后，毫不犹豫地罢免了杨廷和。
在大礼议之争中，他对持异见者进行残酷打击，一次就将134人下狱杖笞，当场打死16人，另外停职待罪86人，在取得了大礼议之争的胜利后，朱厚熜依然耿耿于怀，不但数次集合群臣修订大礼仪。身为一国之君，挟怨必报，不问德行功过，先后将大礼议中的反对派罢免、驱逐、外放、治罪，然后大量起用在大礼议之争中和自己立场一致的官员，比如席书、张璁、桂萼、方献夫、霍韬、黄绾等。
但是，明世宗只是把这些人看作可以利用的对象，一旦有人告发张璁、桂萼等人对他不忠，马上就罢了他们的官。但当认为自己误会了他们时，又很容易改弦更张，重新把他们召回来，仅仅因为他们的立场没有问题。
大礼议之争的正反两派中都有王阳明的学生和信徒，王阳明本人是支持席书、方献夫、霍韬、黄绾等人的，但王阳明自己始终保持沉默，没有振臂一呼站出来拥护明世宗，而且反对派中的死硬分子不少是王阳明的弟子，王阳明也没有出来阻止。因为他看透了大礼议之争的本质是一场政治角力，不愿意陷入政治斗争的漩涡，在他看来大部分参与论争的人都是忠君爱国的，只是在具体问题上的看法不同。
可是，明世宗却恨透了他，或许王阳明如果一开始就站出来，大礼议之争不会如此旷日持久。但事态不断恶化，也是王阳明始料未及的。因此明世宗内心永远不会真正信任重用王阳明。王阳明不是一个只重立场，不问是非的人，他没有张璁、桂萼那样好利用，也不像霍韬、方献夫、黄绾那样缺乏政治头脑。
