南宋淳祐三年（1243），潮州知州郑良臣在潮州城南之韩文公庙旧址（北宋元祐五年（1090）迁建）之上创建韩山书院。
宋元更替之际，书院毁于兵火。元至元廿一年（1284），韩山书院一度重兴，后又毁于火。至正廿六年（1366），潮州路总管王翰在潮州府城内西南大隐庵旧址重建韩山书院。
明代，韩山书院继续办学。
清康熙二十七年（1688），绵延了400多年的韩山书院被潮州知府石文晟改为南隅社学；3年后，惠潮分巡道史起贤于韩江之东、韩山之麓另建昌黎书院，北倚韩祠，仍祀韩愈。雍正十年（1732），潮州知府龙为霖大规模扩建昌黎书院，并改名为韩山书院，书院始得以名副其实。
韩山书院起初只服务于潮州府属十一县，稍后发展为惠州、潮州二府与嘉应一州的粤东惠潮嘉道三属书院。清嘉庆、同治、光绪间屡有修建，其传统书院教育一直延续至光绪二十九年（1903）才改办为新式的惠潮嘉师范学堂。
辛亥革命后，相继改为广东省立惠潮梅师范学校、广东省立第二师范学校、广东省立韩山师范学校、韩山师范专科学校等。1993年，韩山师范专科学校升格为韩山师范学院。
韩山书院门口，是清代潮州知府龙为霖亲拟的楹联：“多士讲习斯堂，当思文起衰、道济溺，体具用周，方信韩山有地；大儒温饱非志，与其月赏钱、岁靡禄，名存实亡，何如橡木无花。”
韩山书院碑廊，保存有历代纪念书院变迁的珍贵碑刻。在韩山书院跨越宋、元、明、清四朝的沿革中，韩文公祠一直是其主体结构之一，祭祀韩愈作为教学过程的庄重仪式，从未间断。
