中国古代山水画形成于两晋南北朝时期。

对于山水画的创立作出贡献的，首先仍推顾恺之。他曾画过《庐山图》《雪霽望五老峰图》等，并写有《画云台山记》。继他之后，山水画的倡导者则有宗炳和王微。他们进一步把山水从人物画的配景地位解脱出来，给它以独立的位置，并从理论上巩固它。宗炳的《画山水序》和王微的《叙画》，成为后世山水画的指导思想。

山水画在隋代有了迅速发展。传为隋代展子虔的《游春图卷》，是保存下来的最早的山水画代表作之一。它在远近空间的处理上已经表现出一定的深度，山石多用勾勒，设色用青绿泥金，为唐代青绿山水画开辟了途径。唐代山水画的代表有李思训和他的儿子李昭道，人称大、小李将军。他们擅长画金碧辉煌的楼阁山水，别具精工富丽的特点，是后世“界画”（作画时借助界尺画线）的先导。著名诗人王维，则是开创水墨山水画的画家。他专以墨色深浅浓淡的变化表现大自然的平远景色，具有宁静而秀润的气氛，给人以画中有诗的感受。五代的山水画家，以荆浩、关同、董源、巨然为代表。荆浩、关同是专画全景式水墨山水的画家。他们的作品以黄河中下游的真山真水为描写对象，气势雄浑宏大，有北方派之称。董源则善画草木丰盛、秀润多姿的江南山水，画风清淡。他和弟子巨然是南方派的主要画家。