我国墨的发明年代也很久远，目前己知最早的烟墨，是在湖北云梦睡虎地秦墓和江陵凤凰山西汉墓发现的，但当时的墨只是一些小圆块，还没有模制成锭。
东汉年间，出现了较大的制墨作坊，而且官府设有专管纸、墨、笔等物的人员。到了魏、晋、南北朝，墨的质量不断提高。北魏贾思勰在他的《齐民要术》中写下了我国最早的一篇讲述制墨工艺的《合墨法》。
唐代，制墨工匠奚超、奚廷桂父子进一步改进制墨技术，制出了“丰肌腻理，光泽如漆”的好墨，受到南唐后主李煜的赏识，“李墨”也因此名满天下。
宋代，“李墨”的产地安徽歙州改名徽州，著名的“徽墨”就出在这里。
清代，制墨的数量和质量都超过了历代水平，但制墨工艺主要向“精鉴墨”（即专供鉴赏的墨）和“家藏墨”（多用作收藏或作馈赠朋友的纪念品）两个方面发展，墨由书写工具跨入了工艺美术品的领域。
