刘瑾在发达前曾经跟着方正读书，方正是余姚人，非常敬慕王华，刘瑾了解到情况以后，想拉拢王华，暗地里派人对王华说，以后有机会推王华到相位，但王华拒绝了。这次王华“升职”以后，他又派人安慰王华说：“不久将大召。”希望王华临行前去感谢他，但是王华还是没有理会。
皇上下诏将辅政大臣刘健和谢迁、韩文等四尚书、郎中李梦阳、主事王守仁等共计53人列为奸党，刘瑾让群臣跪在金水桥旁，宣读了诏书，有人怀疑这是刘瑾或焦芳的矫诏。
三月，王阳明行船到杭州，几位弟弟都来码头迎接，王阳明很高兴，赋《赴谪次北新关喜见诸弟》诗曰：
扁舟风雨泊江关，兄弟相看梦寐间。
已分天涯成死别，宁知意外得生还！
投荒自识君恩远，多病心便吏事闲。
携汝耕樵应有日，好移茅屋傍云山。
那时发配到贵州这样的蛮荒之地，基本上就是死路一条，即使不死在路上，到了贵州，水土不服，生还的机会也很渺茫。从诗中可以看出，王阳明并没有悲观失望，意志消沉。
王阳明到杭州以后，便在南屏净慈寺隐居下来养病。
徐爱奉父命，来杭正式拜王阳明为师，随侍左右。罗玘门人夏良胜（字于中）、陆榦（字良材）等士子也都来向王阳明请教学问。
陆榦是陆相（字良弼）的弟弟。描绘王阳明传奇经历的《阳明山人浮海传》，就是陆相根据王阳明的口授写成的。
万松岭胜果寺的和尚释雪江来看望王阳明，邀请王阳明前往居住，三个月后，王阳明便移居胜果寺。
七月，山阴蔡宗兖（字希顔，号我斋）、朱节（字守忠，号白浦，后为巡按山东御史）等人也来投在王阳明门下，阳明的弟子从此开始多了起来。
这段历史说来也奇怪，王阳明身为发配边疆的罪臣，居然没有人押解看押，在杭州还能隐居下来，开门授徒，真是十分蹊跷。
根据《阳明山人浮海传》的记载，王阳明三月份就来到了杭州，最早到了夏天八月，太监刘瑾派了几名暗探来刺杀王阳明，王阳明情急之下，假装投河而死，潜逃到舟山，再从舟山坐海运商船南遁，被飓风刮到福建。王阳明上岸后，沿山路走了数十里，终于看见一座寺庙，急忙上前叩门求食求宿，开门的和尚却把他拒之门外。
不远处正好有一座破庙，王阳明又饿又累，进去就靠在香案上睡着了。这其实是一个老虎窝，半夜老虎看见王阳明睡在里面，便绕着破庙大声吼叫，却不敢进庙，所谓遇虎不食就是指这个情节。
第二天早上，那个和尚来到破庙，他本来以为王阳明已经被老虎吃了，所以一大早来捡行李。但看王阳明毫发无损，便惊呼王阳明不是普通人。于是，将他请到庙中。
