泰山庙始建于明初，原名“东岳庙”， 位于南京市浦口区宣化山。最初供奉“东岳大帝”，即道教泰山神黄飞虎，后来供奉黄飞虎的女儿“碧霞元君”。受佛教影响，泰山庙从原来的道教场逐步转以供奉佛像为主，以供奉道教神像为辅，泰山庙改名“泰山寺”， 专派尼师隆月师太主持庙务，恢复教务活动，成为释道合一的寺庙。
沿袭至今的泰山庙会成为每年一次举办的物资交流会，成为泰山寺与其他寺庙不同的佛教场所内容。
起初，农历三月二十八，是泰山庙会的正期，天亮出会，人们撑着善男信女们捐款做的"万民伞"，抬着"泰山老母"神像巡街。与此同时，江北地区四乡八镇(包括浦口、江浦、六合及安徽省滁县、和县、来安等地)的民间文艺节目，会聚浦口东门镇。
神像一出庙宇，人们紧跟在后，上街表演龙舞、狮子舞、高跷、旱船、渔翁捕蚌等节目，在鞭炮声中，越舞越欢。翻筋斗、叠罗汉，时出高招，围观群众欢呼雀跃。
"出会巡街"仪式完毕，人们将神像送回庙堂原位供奉。
泰山寺供奉有大、小金装菩萨27座，16幅尊者画像，坐佛1尊，以泰山老母碧霞元君为主的泰山老姥和使女神像各1座。
庙会期间的宣化山巅笼罩着浓郁的宗教气氛。虔诚的佛教徒，背着香袋，从泰山庙脚下的石阶一级、一步、一跪、一叩首直至庙堂。
香烟缭绕在庙堂内外，梵音阵阵、木鱼声声，前来烧香许愿、还愿的，怀着有求必应的期盼，求神赐福、赐财、赐子的、消灾去病的，往来的人流，终日不断。 堪称江北地区佛教胜地。
清咸丰年间太平天国的战火，焚毁泰山庙。
同治五年（1855）庙内僧人德缘化募重建，有中殿和后殿，没有前殿；
清光绪五年(1879)，浦口防军提督黄士林命人从山脚到庙门口铺有132级台阶；
民国25年泰山庙重修。
1952年泰山庙神像被山下农民砸烧干净，剩下空空庙堂。
其后，泰山庙为部队营区至八十年代中期。
1986年，浦口区政府将该庙移交给南京市佛教协会。南京鸡鸣寺释农月来此，她主持修复泰山庙明清建筑，修建了高5米的简易山门、边门和泰西路边院墙，从山门至庙堂进行全面修缮，并将泰山庙改名为"泰山寺"正专派尼师隆月师太主持庙务，恢复佛教活动。
历经沧桑的泰山寺，每一步都艰辛出努力前行的脚步，为了发展佛教，泰山寺陆续将原有建筑翻建出新并扩建。泰山庙现有大门、山门殿、大雄宝殿、藏经楼、东西廊房等建筑更加完善，在寺庙的原有格局上进行改造彰显古色古香的明清建筑气息，颂扬劝人向善、慈悲为怀的佛家理念，结合现代市场借庙会举办物资交流会，每年一次延续至今，是人们精神与物质需求的最佳去处。
庙会期间，纷至沓来的民众进香前来祈福，让这座释道合一的泰山寺更加吉祥完善。
