中国散文历史悠久，伴随着文字出现他就应运而生了，最早的散文记录出现于3000年前的甲骨卜辞。卜辞是殷商人用龟甲、兽骨把占卜日期、事由及结果刻在上面的文字记录，这些文字记录内容相当丰富，包括祭祀、农业、生产、战争、疾病等诸多方面，真实而朴素，是中国记叙散文的雏形。
《尚书》是中国最古老的散文集，也是最古老的的历史集。《春秋》本来是各国史书的统称，他记事简略，文字古奥雅致，风格委婉蕴藉。《左传》、《国语》、《战国策》在《尚书》和《春秋》的基础上得到延续和发展，达到了先秦散文的高峰，当然，他们属于历史性散文。
继历史散文后出现的是诸子百家散文，有儒家的《论语》《孟子》《荀子》，墨家的《墨子》，道家《老子》和《庄子》，此外，还有法家的《韩非子》。《论语》是诸子散文最典型的代表，他的文学色彩表现了孔子及其弟子们的形象、性格以及平实含蓄的语言。
到了汉代政论散文将中国散文推向了一个新高度，发展到了一个新阶段，贾谊的《过秦论》和晁错得《论贵粟疏》最具代表性。汉武帝时期，司马迁著《史记》使历史散文达到鼎盛，是一部“究天人之际，通古今之变，成一家之言”的伟大著作。鲁迅先生赞之为“史家之绝唱，无韵之离骚”，他的写作技巧、文章风格、语言特点对后来的唐宋八大家产生巨大影响。
魏晋时期，散文的个性化、唯美话发展迅速，建安三曹是其中代表人物，诸如曹丕的《与朝歌令吴质书》、曹植的《与吴季重书》、曹操的《让县自明本志令》等对唐代散文发展具有多重影响。
散文艺术形式得到确认并成功是在中唐时期的韩愈、柳宗元手中完成的，陈子昂在提倡汉魏风骨，使“天下翕然、质文一变”，李白和王维是其中代表。韩愈和柳宗元共创作散文800余篇，政论、赠序、传记、游记、杂说、墓志、祭文、寓言，一应俱全。韩愈的散文重在“宣道、明道”，柳宗元的散文主要是山水游记和寓言杂文，韩愈也被后人列为唐宋八大家之首。
既然提到唐宋八大家，就不的不说另外六位，苏家三学士占据半壁江山，欧阳修、曾巩、王安石占据另外三席。其中欧阳修是最早出现的，他为宋代散文的发展开辟了正确的道路，他的散文形式多样，内容充实，充分发挥了叙事、抒情、议论的功能。
曾巩是欧阳修的学生，苏轼后来也被欧阳修收归门下，并将文坛宗主的位子传给他，王安石也是与曾巩、苏轼、苏辙同时代的人。至此，宋代散文乃至中国散文都打达到了最高峰。他们的代表作各有千秋，不分上下，虽风格不同但文风相通。欧阳修的《秋声赋》《醉翁亭记》、苏轼《赤壁赋》《石钟山记》、苏洵的《权书》《横论》、苏辙的《六国记》《三国论》、王安石的《答司马谏议书》《伤仲永》、曾巩的《墨池记》等，无一不是当时的优秀散文代表。
北宋以后，南宋至金、元、明、清的散文家寥若晨星，再没有出现象欧阳修、苏轼这样的散文大家。诸如陆游、洪迈、王阳明、姚鼐等人不过是昙花一现罢了！
中日甲午战争后，梁启超、康有为等戊戌六君子开创了“新文体”散文，组成了中国古代散文的最后一道风景。
