西山八大水院中的潭水院，即是今日名声在外的香山了。
香山原有香山寺。名为“香山”，是因为寺庙坐落于香山；香山为小西山之中峰，亦名香炉峰。
香山寺始建于唐，与其共存的还有吉安寺。
金大定二十六年(1186年)，金章宗把二寺合一为大永安寺。
元代重修，易名“甘露寺”。明朝再建，称“永安禅寺”。
1745年，同样喜欢大兴土木的乾隆皇帝建成规模宏丽的皇家苑囿，赐名静宜园。寺庙在原址上扩建，形成了前街、中寺、后苑独特的寺院格局，赐名“大永安禅寺”，为静宜园二十八景之一。
香山寺依山而建，错落有致，严整壮观，由前到后，层层递增，曾为西山诸寺之冠。
香山寺于1860年、1900年分别遭英法联军和八国联军焚烧，仅存知乐濠、听法松、娑罗树御制碑、石屏等遗物。
史料记载，金章宗游幸香山寺达七次之多，留下了许多故事。相传有一天，金章宗晚宿香山行宫，梦中见泉水涌流而出；第二天，立即降旨掘地三尺，果在不远处掘得泉水两股，取名梦感泉。金章宗曾题镌“双井”二字刻石。到清代，乾隆手书“双清”二字，镌刻摩崖，为静宜园二十八景松坞云庄景区。
还有一段护驾松的故事。一天，金章宗游性大发，边走边说，不留神失足下跌，险些滚落山谷，多亏中同有一棵大松树把他拦住，才避免了一场灾祸。金章宗感其救驾之恩，赐名“护驾松”。
香山寺前，原有一座高台，金章宗常于台上拜祭星辰，取名祭星台。与金章宗有关的，还有他曾与人下棋之处，曰棋盘石等等。
与金章宗性格极其相似的乾隆皇帝，对香山寺也格外喜爱。他除了重修、扩建了香山寺，并常居于此之外，还曾在此举办过两次三班九老宴，传为佳话。第一次是在乾隆二十六年，为庆祝皇太后七十生日，三班共请了在朝王公大臣、武将人员和致仕诸臣各九人。第二次在乾隆三十六年，为庆祝皇太后八十生日，规模同上。这不仅对朝臣们是一种格外的恩宠，同时也使他们有幸巡游静宜园，领略皇家园林的壮丽气派。事后许多人作诗、作画纪念。
香山寺台阶下原有一座莲香池，内种五色香莲逾万株。每到盛夏，芬芳数里，翠盖亭亭，风送清香，景色迷人。
如今，寺虽不存，但院中尚有大石屏一座，中刊金刚经，左为心经，右为观音经，屏背镌刻乾隆御笔、燃灯石佛、观音、普贤诸像和赞语。两边石柱上刻有乾隆题联。另有一座方形石碑，用满、蒙、汉、梵四体书写《婆罗树歌》，系乾隆手迹。
