1912年1月4日，蔡元培就任南京临时政府教育总长，成为中华民国首任教育总长，也是中国历史上首位教育总长。1月19日，他颁布了《普通教育暂行办法》，并主持制定了《大学令》和《中学令》，这是中国的第一个大学和中学校令，强调要把中学和大学建造成健全国民的学校。
任教育总长期间，他还提出了“为提倡成人教育、补习教育起见，主张增设社会教育局。”在国内首次倡导国民教育，这在中国教育史上同样具有重要的意义。
后因不愿与袁世凯政府合作而辞职，随后赴法国从事学术研究。
在法国期间，他接到教育部的电报，督促他回国担任北京大学校长。在他的回忆录中有这样的段话：“民国五年冬，我在法国，接教育部电，促回国，任北大校长。我回来，初到上海，友人中劝不必就职的颇多，说北大腐败，进去了，若不能整顿，反于自己的名声有碍。这当然是出于爱我的意思。但也有少数的说，既然知道它的腐败，更应进去整顿，就是失败，也算尽了心。这也是爱人以德的说法。”
可见他当时面临的情况是相当复杂的。但他知难而上，本着教育救国的宏愿，毅然走马上任。
1917年1月9日在北京大学发表就职演说。蔡校长支持新文化运动，提倡学术研究，提出“大学者，研究高深学问者也”，并“从聘请积学而热心的教员着手”，打破北大的旧习惯，实行教授治校。并对学生提出三点要求：“抱定宗旨”“砥砺德行”“敬爱师长”，以此来改变学生观念。
为此，他不拘一格招揽人才，引进大量有新思想、有真才实学的新教师。仅1917年一年间，就先后有陈独秀、李大钊、胡适、钱玄同、刘半农、梁漱溟等不同学术背景和不同政见的人来校任职任教，一时间名师荟萃、人才云集。
蔡元培的改革不仅限于北大，也不限于教育界，其影响也不限于教育界。蔡元培领导下的北京大学是新文化运动的中心，五四运动的策源地，在中国传播马克思主义和创建北方中共早期组织的基地，极大地推进了中国社会的发展。蔡元培对北京大学的改革，历久弥新，影响深远。
美国著名教育学家杜威在评价蔡元培时说：“拿世界各国的大学校长来比较，牛津、剑桥、巴黎、柏林、哈佛、哥伦比亚等等，这些校长中，在某些学科上，有卓越贡献的不乏其人；但是，以一个校长身份，而能领导那所大学对一个民族、一个时代，起到转折作用的，除蔡元培而外，恐怕找不出第二个。”
站在北大红楼第六展厅，看着蔡元培先生的照片、任命状，办公室的基本陈设，以及他在北大进行了一些改革资料，回想电视剧《觉醒时代》里的众多镜头，蔡公为北大和国民教育发展鞠躬尽瘁的形象浮现在眼前。
