胡适三哥肺病恶化，不得不去上海医治，一心渴望儿子读书成才的母亲，也放手让他一同去上海求学。
那年胡适十四岁，实际上只有十二岁，上海求学是他人生的第二阶段，在上海六年，共换了四个学堂，这里只说前三个学堂，第一个学堂是梅溪学堂，因着父亲生前与校长张焕纶深厚的关系，二哥三哥也曾在这里读过书，张焕纶是最早提倡新教育的人之一，一手创办了梅溪学堂，无论他的学问还是人格，都给学生留下了很深的印象。
梅溪学堂后来更名梅溪小学，也就是说胡适所读的这所学校相当于现在的小学，课程设置也比较简单，包括国文、英语和算学，分班按国文水平分，国文达标才能毕业，学校用的课本是《蒙学读本》，当时胡适已经读了很多古书，读起来并不费力，但是因为他初到上海，不会上海话，也没有做过文章，所以被排在了比较靠后的班，也就是相当于现在小学二年级。因为有一次指出国文老师的错误而得以升班，沈先生讲的课文里有一段引用“传曰:二人同心，其利断金。同心之言，其臭如兰。”沈先生随口说，这个传指的是《左传》，等他讲完，胡适勉强用刚学的上海话纠正:“这是出自《易经》《系辞传》”。
沈先生很吃惊，想不到这个低年级的学堂里也有读过这么多书的小孩，又小试一番，很满意，就把他调到了第二班，相当于现在小学五年级，当时周四，正是作文课，题目是“原日本之所由强”，从没有写过文章的胡适一脸茫然，还好三哥的丧事耽误了交作文的日期，在二哥指导下，看了《明治维新三十年史》、《新民丛报汇编》等一类参考书，勉强凑了一篇作文，获得了先生的好评，胡适在梅溪学堂最大的进步就是开笔作文，几个月后，升到了头班，也就是现在的六年级毕业班。
不久，学堂安排了胡适等几个优秀学生去上海道衙门考试，考试通过即可在上海的官厅做官，但是被胡适拒绝了，因为在学堂这一年间，胡适受到了梁启超、邹容等人新思想的影响，对清政府不满，还因为一些事件写匿名信痛骂上海道的袁海观，就更不可能去参加他组织的考试，于是三人相继离开了梅溪学堂。
离开梅溪学堂，胡适进的第二个学堂是澄衷学堂，这是宁波富商叶成忠为了教育宁波的贫寒子弟而创办的，后来越办越大，成了上海有名的私立学校，由于在梅溪学堂出色的作文功底，胡适被二哥的好友推荐来这里。
澄衷学堂包含小学和中学，学科也比梅溪学堂完全，除了国文、英文和算学，还有物理、化学、图画诸科，分班按各科的平均成绩，但英文、算学太差的人不能升班，这跟梅溪学堂差别很大，梅溪学堂只重视国文，即使英文算数不太好也能毕业，胡适因为英文算数底子差，被编到东五班，相当于小学阶段的班级，他不得不恶补英文算数，这一年半的学堂生涯，尤其是对算数，胡适竟产生了浓厚的兴趣，晚上点灯熬夜研究代数题！
因为太拼，睡觉太少，加上他从小身子就弱，两只耳朵几乎全聋了，好在后来坚持做操，身体慢慢恢复，耳朵也不聋了。功夫不负有心人，胡适一夏天做完了所有代数的课程，下半年安然升班，这一年多的努力，也给胡适的英文、算数打下了一生的基础。看来，即便是天资聪颖的胡适，在学习上也须吃相当的苦，这足以让我们这些吃不得学习之苦的凡夫俗子汗颜。
胡适后来做了西一班的班长，因为替一个被开除的学生向学校抗议，结果抗议无效还被记了大过，胡适愤愤不平，就不愿意在这里继续学下去了，正好赶上中国公学招考，就去了。
1905年，日本文部省颁布取缔中国留学生规则，我留日学生感到是在侮辱中国，愤而回国创办了自己的学校，这就是中国公学，陈天华、姚宏业两个爱国志士的自杀，以身殉国的精神感召了不少热血青年投奔，公学得以稍稍立稳脚跟，胡适就是看到姚宏业的遗书，被其精神打动，才来投奔中国公学。
中国公学的英文、数学不难，最具特色的是有些科目请了日本教员来教，配有专门的日语翻译，比如高等代数、解析几何、博物学等，同时，公学是第一个用普通话讲课的学校，几个同学组织了一个竞业学会，创办了意在推广白话的刊物《竞业旬报》，他们请了傅君剑做编辑，让胡适给旬报作白话文。
胡适作文跟白居易作诗一样，力求通俗易懂，他从写白话文开始，后来开始涉足白话小说，小说连载了很多期，直到旬报停刊，因为这个平台给了胡适绝对的自由，使得他能整理自己的思想，发表自己的思想，比如他把之前读《资治通鉴》里面范镇的“因果论”改头换面加入《真如岛》小说第八回，“无鬼丛话”第一条就引了司马温公的“形既朽灭，神亦飘散”的句子，宣扬作者无神论的思想，总之，这十几期的《竞业旬报》所体现的思想是日后胡适思想的雏形，这一年多白话文的训练也使白话文成为了胡适的工具，这件工具使得胡适能够在日后的文学革命运动中游刃有余。
在公学期间，胡适得了脚气病，养病期间偶然翻读吴汝纶选编的古诗读本，被里面不讲究对仗的乐府歌词和五七言诗歌深深吸引了，原来诗歌也可以这样自由，从此胡适一发不可收拾，以前点灯熬夜做代数的兴致完全被作诗的兴趣打跑了，老师在课上讲高等代数，胡适在代数书下翻《诗韵合璧》，因为对诗的热爱，一度想走自然科学的胡适，被拉到了文学史学的道路上。兴趣是最好的老师，如果没有接触到古诗歌，我们的文学史革命上可能就少一个卓越的领军者。
