纵观各国山水画艺术都出现得比较晚，中国也不例外。最初的山水只是作为人物画的背景存在，抑或是在一些早期的绘画艺术中以一种波纹或者漩涡等抽象的形式，代表云彩或山峦。
东汉时期，四川墓壁的画像砖，表现了人们在田地劳作，在湖畔射雁，旁边围绕着鱼儿和花草，所有的元素都采用平铺的方式，毫无空间感。
汉代崩溃以后，社会动荡不安，旧的秩序被冲垮了，儒学这个汉代的精神支柱开始动摇，“山水经验”在画家诗人身上突然迸发出来。人物画活跃于儒家社会，山水画的兴起收到到家观点和思想所激发。
东晋顾恺之《洛神赋图》卷，全卷分为三个部分，层次分明地描绘着曹植与洛神之间的爱情故事。该部分表现诗人与洛神分别，独自坐在岸边的景象。岸边有小山、岩石、树丛并置在画面中，人物与背景之间比例关系失调，无法区分前景的石块草丛与远景的山峰树林。
隋朝画家展子虔的《游春图》，山峰画在一边，呈斜线状排列，打开通向远处的空间。可是从前面的树林到远处的树丛之间的突然跳跃有点破坏了想象的效果。钩勒很精意，线条细而富于弹性。色彩褪了许多，但艳而不俗。
唐朝前期的李思训和他的儿子李昭道是展子虔最出名的继承者，《明皇幸蜀图》传为李思训（一说李昭道）创作的青绿设色绢本画。它描写宫廷的出行队伍，也可能表现756年安史之乱后皇帝的出逃，唐明皇被叛军赶出京城后，众人越过高山崇岭一路跋涉到蜀地。然而画面的色彩欢快，实在看不出到底有什么危险。岩石断裂得干净利落，云朵轮廓分明，树木颗颗林立，其在表现高度距离、体积和表面时，受到了严重的牵制，被局限在一个没有阴影，极端明确的世界里。
到了8世纪末，一些画家开始进行一些笔法上的探索和实验，开始尝试少用颜色，甚至完全不用颜色，水墨从设色画中独立出来，王维也出现在这个转折中。新技法之一是“泼墨”，用毛笔以外的工具来从事创作，这个实验一度成了山水画新时尚，吸引士大夫和方外的僧道画家们参加这场表现主义的运动。王恰是“泼墨”法的创始人，性格豪放不羁，每日作画，必先饮至大醉，泼墨于绢上，以手脚涂之。另一个技法是皴笔的使用，画家描绘山石树木，不在用线条勾勒，而是采用“皴法”。在水墨画发展中，“皴法”的出现，是重要的进步，它在线条和墨色中找到平衡。
唐以后的五代是政治上另外一个纷乱时期，群雄割据，小朝代更迭，这短暂的时刻，几个一直持续到宋代的山水派别纷纷创立了。生活在五代的两位早期画家，荆浩和关仝创立了一种雄浑的山水风格。董源及其学生巨然在南方开创了另一个重要的山水画派，描写江南的独特景色。
李成生活在五代和宋之间，生活在北方，他擅长画冬景。他在绘画上的影响非常深厚，现存的山水画中，最优秀的作品出自范宽、郭熙等人，这些人皆称李成为师。对北宋的山水画的发展有重大影响，北宋时期被誉为“古今第一”。
