在我国，关于图书的起源，《易·系辞上》说：“河出图，洛出书。”可见在周代以前早已有藏书之举了，只是没有载于典籍。到周代就有了“史”这一官吏来掌管四方之志、三皇五帝之书。《史记》说，老子就担任过当时的“图书馆馆长”。孔子周游列国，得读120国的宝书。当时图书馆之多，藏书之丰富，可见一斑。
进入封建时代，中国的图书馆有了一个大发展。但秦始皇“焚书坑儒”，使古代的图书遭受了一次大摧残。汉代，汉惠帝取消了禁书的法令。武帝时，下令征求遗书，并设立了国家图书馆，设置专门抄写书籍的人员，并定出标准本。后来历代封建王朝都继承了这个办法。汉朝的兰台、石室、麒麟阁都是藏书的地方。公元前26年，汉成帝派陈农到全国各地征求书籍，并令学者刘向等人分别加以整理。刘向死后，其子刘歆继承父业，编定了中国历史上第一部图书分类目录《七略》。这是世界上最早的图书目录之一。
发明造纸之后，抄写书籍的人多了起来。到了七、八世纪，便出现了专门买卖书籍的书店。南朝梁武帝时，仅文德殿藏书就有十万三千一百零六卷。
隋文帝时，秘书监（即相当于国家图书馆馆长）牛弘派人到民间搜求异书，每卷赏绢一匹，抄写完毕，原书归主，如此共抄录书籍三万余卷。唐玄宗特设修书院，专掌抄校书籍，用女子做管理员，在长安抄写了五万一千多卷书，藏在乾元殿。安史之乱，这些书亡散殆尽，唐文宗时，又重行抄写了一次。此外，南北朝以后各代朝廷还曾大量收藏佛经，可惜后来也大都毁于兵燹。
宋太宗建立崇文院，是专门藏书的地方，后来另设书库，叫做秘阁。元朝先设宏文院，后立艺林库，专为收藏书籍之用。
明代的文渊阁也是一个大图书馆。永乐十九年，明成祖定都北京，令将文渊阁藏书各取一部送到北京，共一百柜。这就是我国最大的类书，也是世界上第一部大百科全书——《永乐大典》。
随着印刷术的发明和应用，刻书事业也发展起来，私人藏书也比以前多了。明代从事刻书的有名人物之一毛晋，私人藏书多达八万四千余册，藏在汲古阁，大部分是宋元刻本。据说四方到这里看书的，“轴轳衔接，二十余里”。明代范钦的藏书楼——天一阁是现存的最老的私人图书馆，建于嘉靖末年，在宁波月湖之西。原有藏书七万多卷，清乾隆以后，屡经盗窃，散失甚多。解放后，还存有一万三千多卷，现列为重点文物保护单位。
有名的巨大丛书《四库全书》，是按清乾隆的意旨编纂的，内容包括经、史、子、集四大部分，共收著作三千五百零三种，七万九千三百三十七卷。另有《四库全书总目提要》一百卷。
在我国，现代意义的图书馆大约出现在光绪三十年（1904年）以后。在正式公文上出现“图书馆”这一名词是宣统元年（1909年）学部拟定京师及各省图书馆通行章程的折子上。我国现在最大的图书馆——国家图书馆，原名京师图书馆，于清朝末年（1910）年开始筹建，于1912年正式开放。
