两年后，我出使归来，赴滁州聚首，与您总要晤谈到深夜，您说老子和释迦摩尼都是圣人，问我他们和孔子有何区别。我说：“孔门高广，在圣范围，佛无我有，中庸精微；同体异根，大小公私，斁叙彝伦，一夏一夷。”我回到京师，与兄南北呼应，共倡圣学。
正德十年，我扶母柩南归，您亲往南京龙江关迎接吊唁。次年，我居岭南，您奉命巡抚南赣。
丁忧期间，方献夫来告诉我，您认为佛老与儒家一致，说到底都是空。我不敢苟同，上下四方、古今往来之宇宙，只是一气充塞流行，与天道一体，怎么能说没有，何“空”之有？
正德十二年，我移居西樵，致书与您再论儒释之异，提出格物致知的不同看法，但您一直没给我回信。
嘉靖元年，我前往绍兴吊唁尊父，您对我说，致良知对任何人都有效，治学不一定要读古籍。我则认为治学离不开学问思辨行。
嘉靖二年、三年，我任职南京国子监祭酒，您写信责我拘于文义，我则认为那是圣人教诲的天则。
兄台巡抚两广，我给您写了三次信，都杳无回音，得知您因病重而没有回信，这才释然。同时风闻您在两广讲学，认为只要致良知就可以成为圣人，批评我主张的“体认天理”是义袭功夫。
湛若水最后说，抚怀今昔，我与你聚散离合，切嗟异同，深感老兄凌高厉空之勇，疆立力胜之雄，武定文戢之才，现在却已与大自然同寂，能不使我伥然嗟恻，在倡道圣学的道路上，还有谁可以与我同行？
六月初二，湛若水升礼部右侍郎，他当面问大学士桂萼：“外面都说对王阳明的处置是您一手操控的，有没有这回事？”桂萼默然，但也没有恼羞成怒，加罪于湛若水。湛若水认为，桂萼还算有君子度量。
七月初二，兵科给事中孙应奎弹劾杨一清虽通达但不堪任首辅，张璁学虽博但性偏，桂萼桀骜，有负阁臣之托。
八月十三，工科给事中陆粲奏劾张璁、桂萼欺罔圣上，专权纳贿，擅作威福，公报私仇私恩。张璁刚愎自用，桂萼外表老实，内心刻毒，嫉贤妒能，动辄致人死地。陆粲例举了王琼、邵杰、周时望、胡森、杨麟、王激等不正常任用的事例，并告诫说，礼部左侍郎严嵩、右佥都御史李如圭、南京太仆少卿夏尚朴、礼部员外郎张敔、御史戴金等人党奸比周，怙恶益甚，将来必爲社稷之忧。
明世宗于是下旨，称张璁负君忘义，勒令回家思过悔改；桂萼革去散官和大学士衔，以尚书致仕。
