北宋仁宗时期，今陕西西安市蓝田县三里镇五里头村“吕氏家族”吕大忠、吕大防、吕大钧、吕大临兄弟四人皆“进士及第”，被称“吕门四贤”

        北宋元丰三年（公元1080年）吕大防（公元1027年—1097年）知永兴军（北宋西安地区长官），将唐文宣王庙和京兆府学的一部分迁至西安碑林现址。  北宋哲宗元祐三年（公元1088年），吕大防被任命为尚书左仆射兼门下侍郎，官居宰辅。南宋高宗绍兴初年追赠“太师”、“宣国公”，谥号“正愍”。 

        北宋元祐二年（公元1087年）陕西路转运副使（北宋陕西路长官）吕大忠（公元1020年—1096年）见存放在唐尚书省西隅的《石台孝经》、《开成石经》等碑刻“地杂民居、其处洼下”极易损毁，于是将这些碑石移至“府学之北墉”，即今碑林所在地。同时迁来的还有颜真卿书《颜氏家庙碑》等著名碑石。“凡石刻而偃者仆者，悉辇置于其地，洗剔尘土，补锢残缺，分为东西次比而陈列焉。明皇注孝经及建学碑则立之于中央，颜、褚、欧阳、徐、柳之书，下迨偏旁字源之类，则分布于庭之左右。”此次迁移奠定了碑林的基础，碑林亦当建立于此年。现存西安碑林的《京兆府学新移石经记》碑石刻于北宋元祐五年，记述了吕大忠主持这件事情的整个过程。

      北宋崇宁二年（公元1103年）府学全部迁至西安碑林博物馆现址，由此府学、文庙、碑林共处一地。 此后九百余年间在此基础上几经扩建整修，逐渐形成西安碑林今日格局。 

        金正隆五年（公元1160年），河中府同知府尹耶律隆和陕西东路转运副使周维甫对碑林进行了修葺。修葺后“左右瞩望，灿然一新”。这是自碑林建立以来有据可查的第一次修葺。另外，碑文中有“碑院”一词，说明碑林建立之初称之为“碑院”。

      元至元十四年（公元1285年），据骆天骧《类编长安志》载，“当时碑石尽倒，京兆府学正骆天骧与京兆府教授孟文昌，请西安灞桥堂邑刘斌修复立起。”  元至正二十六年（公元1366年），京兆府众儒生捐资修葺碑林。

        明嘉靖三十四年（公元1556年），陕西关中发生大地震，碑林也遭到空前的浩劫。《开成石经》114石就有40石被震倒，其他碑石如《孔子庙堂记》、《皇甫诞碑》、《三坟记》、《拪先茔记》等也都倾倒折断。

        据统计，明代（公元1368年—1644年）碑林新增各类碑刻90多种，内容广泛，风格多样，使碑林初具规模。由于碑石较多，遂有“碑林”之称。

        清康熙五十九年（公元1720年），西安知府徐容倡议修缮碑林，徐之叔祖徐朱（火鼎）资助“独解私囊，成此巨业”。

        清乾隆十六年（公元1751年），柳觉先撰，柳云培书、侯钧篆额的《西安府碑洞石刻目录》刊石，共收录碑刻71种，邱仰文作跋。这是碑林第一份碑刻目。

      清道光二十一年（公元1841年），富呢扬阿来陕，观览碑林，见“庭楹廊庑日就摧落”，于是倡议整修。工程为三个月，立《复修碑林记碑》以载此事。

      清顺治二年至光绪十八年（公元1646—1892年），246年间，碑林共增加了各种碑刻256种，内容丰富，题材广泛，主要有建城、修桥、栈道、河渠，整修寺观庙宇、田赋、学规、格言、名人书帖、诗词、线刻画等，书法风格多样，使碑林得到了进一步的充实。

      民国二十四年（1935年）春，国民党中央古物保管委员会在西安设立办事处。同年9月，古物保管委员会第三次会议召开，黄文弼、徐炳昶等委员倡议与陕西省政府联合整修碑林，得到了国民党政府的批准，并拨款7万元。

      民国二十七年（1938年）4月，整修西安碑林工程动工。对碑林的全部房屋进行了翻修，采取先立碑、后盖房的方式，将原来埋入地下的碑座全部露出地面。整修了《开成石经》，对明嘉靖大地震震断处，由耀县张穆生校正接补，对错行者31石、残缺齐48石也做了改正。取掉碑额，用钢筋混凝土在上面整体连接加固。工程结束后，国民党政府主席林森题词：“整理西安碑林奠基纪念”刊石，嵌于十三经旁。于右任题写“西安碑林”匾额，悬于大门之上。经过这次整修，基本上形成了碑林的规模。

      民国三十三年（1944年），陕西省历史博物馆在碑林成立。 民国三十六年（1947年），陕西省历史博物馆编、曹仲谦作序的《西京碑林藏石目录》出版，据该书统计，碑林中所陈列的各类碑石491种1243石。           

      1953年，孔庙被扩充为陕西省历史博物馆馆区。1955年，陕西省历史博物馆更名为陕西省博物馆，并开始筹建新馆。1991年，陕西历史博物馆新馆正式开放，碑林从省博物馆中拆分成一座独立的博物馆。1992年，正式改名西安碑林博物馆。2010年5月18日，建馆以来最大的单体项目“西安石刻艺术馆”正式运营。 

      西安碑林博物馆占地面积3.19万平方米，陈列面积4900平方米，由孔庙、碑林、石刻艺术室和石刻艺术馆组成，是中国收藏古代碑石时间最早、藏品最多的艺术宝库，有着巨大的历史和艺术价值。  西安碑林的“碑”字为何少了一撇，专家解释说，中国古代书法讲究结构对称美，多一笔少一笔没甚奇怪，并非错字。

    2006年，陕西西安市蓝田县五里头村村北果园中一座古墓葬被盗，出土大批精美宋代瓷器。西安警方迅速破案，逮捕主犯吕富平等一众案犯。经现场调查与被盗文物综合考查后初步认为，被盗墓葬主人为北宋吕氏家族“吕门四贤”之吕大临。2006年3月~2009年12月，陕西省考古研究院、西安市文物保护考古研究所对蓝田县五里头村北宋“吕氏家族”墓地共计29座墓葬进行了调查、测绘、勘探及发掘。出土了铜器、金器、铁器、玉器、骨器、瓷器、石器等700余件文物。其中一件铜质渣斗内发现了距今近一千年、保存完好的珍贵茶叶，大约有30多根。考古专家表示，能够保存至今的茶叶实物在中国考古史上较为罕见。被盗走的文物后来也都被追缴回来，共计89件文物，其中3件是国宝级文物，11件是国家二级文物，其余的都是国家三级文物。 蓝田“吕氏家族”墓地被国家文物局公布为2010年度全国十大考古新发现。2013年5月3日，蓝田“吕氏家族”墓地被中华人民共和国国务院公布为第七批全国重点文物保护单位。

    此案主犯吕富平是吕大临的后代子孙。被抓后，吕富平质问警方说：“我挖的是自己家的祖坟，你们凭什么抓我？”。吕富平最终难逃法律的制裁被判处死刑缓期两年执行。