阳明山人在洞中修炼多时，就在人们都觉得他即将修成之时，王阳明却悟出一个道理，抛弃念亲就是断灭“种姓”，通过这段时间参经修禅，王阳明将自己的种姓说与佛家的种姓说融合了起来。佛家所谓种姓，即正涅槃之种也。王阳明的种性就是佛性，即人的本性。
因此，王阳明心生一念，即修炼习定为“簸弄精魂，非道也”。弘治十六年（1503年）2月，王阳明断然放弃道术修炼，走出阳明洞，上报朝廷请求移居杭城养病。
在去杭城途中，王阳明访问了绍兴梅山本觉寺、萧山牛头山之牛峰寺，盘桓辗转以致3月份才到达杭城。
在杭城，王阳明寓居南屏山净慈寺，继续专心研读佛经，频繁往来于南屏、虎跑诸佛教名刹之间，访禅问道。
王阳明进步神速，禅悟已经达到了很高的境界。
有一位坐僧，三年不语不视，王阳明走过去喝道：“这和尚终日口巴巴说甚麽！终日眼睁睁看甚麽！”
那坐僧听后，居然一惊而起，向王阳明求示心要。
王阳明就询问他的家庭情况，坐僧回答说，家中尚有老母。王阳明就问，“思念你母亲吗？”
坐僧回答说，禁不住不思亲之念。王阳明就教训他说：“此念，人之种性。若果可断，寂灭种性矣。”
僧泣谢，第二天便回老家去了。
王阳明这是把儒家的人伦与佛家的种性统一了起来。
王阳明虽然放弃了修道，但并没有完全放弃尹真人传授的导引修炼法。最大的可能，尹真人的导引术，对改善身体状况有很大的帮助，因此王阳明并不是完全摈弃释道。
阳明在儒释届已享有较高的地位。当时他只是朝廷一个主事级的中下官员，而且病假在家，但杭城本地和外地的达官、名士、名僧，纷纷前来和他交游论学。
浙江布政使毕亨（字嘉会），器识英迈，好学多问，有古大臣风，率众游西湖诸峰。王阳明也被邀请同游，并与主人毕亨诗歌唱和，相谈甚欢。
杭州知府杨孟瑛，颇有政声，组织疏浚西湖，修筑了著名的杨公堤。杨公少时曾在家乡丰都平山脚下读书，他的父亲杨大荣又是是丰都第一个进士，现在成为一方大员，便在家乡创办了平山书院。书院建成后，也请王阳明作文纪念，王阳明为作《平山书院记》。
朱应登（字升之，号凌溪）与王阳明同年进士，恃才傲物，居“弘治七子”、“四大家”、“江北四子”、“十才子”之列。时任南京户部主事，他来到杭州，慕名拜访王阳明，共游越王台。
吾谨（字惟可，号了虚，）“四才子”之一，博学多才，少嗜佛老，喜欢清虚高旷之论。八月造访王阳明，谈性命虚灵之说，阳明正之以体用一源之学，谓“才说性时，便已不是性。孟子所谓性善是继之者，非本然之性也。”
这里王阳明提出一个观点，孟子所谓的性善（仁义礼智）是后天的，不是先天本然之性，也就是说孟子没有说过性本善，人性有向善的一面，也有向恶的一面，所以修行之道就是不断扩充向善之性。
慈云寺禅师宴请王阳明，王阳明回书答谢。
徐霈（字孔霖，号东溪）慕名问学于王阳明门下。
