宋朝岳飞“莫须有”案件发生之后，其三儿子岳霖为躲避奸臣的追杀，一路从河南逃到山西，到达一山高林密之地，道路崎岖蜿蜒，石壁高耸，逼仄呈一线天之势，一夫当关万夫莫开。“人头有血，山头有水”，二层山的山头上，水草丰茂，果实甘甜，口干舌燥的岳霖饱食一顿之后，困乏交加之下头枕一古榔树沉沉睡去。
传说夜晚此树化为一白发老翁，对岳霖讲：“我在，岳家后代就在”。岳霖将军顿悟，此为神佑忠良之后，从而定居于此地，并立规，后人需世世代代保护且敬拜神树。传说当然是演绎，但是这棵古树实实在在的陪伴岳家寨人度过近千载。
榔树占据了小小村落近四分之一的面积，枝枝直立，叶叶精神，传递着宇宙天地的浩然正气。在阳光的映射下，在雨露的滋润中，日渐粗壮，有两人合抱之势，日见高大，遮天蔽日亭亭如盖，极力向四周扩展着它的势力范围，与它的执着，佑护着岳家忠良之后，践行着亘古不变的诺言，不改初衷不变初心历经千年续写传奇。古树是历史的活化石，它见证了岳家寨发展变迁的历史，古人曾浇当时树，古树庇荫当代人。根须结集崎岖，蜿蜒显露于地面，展示着自己独特顽强的生命力。抚摸千年古树，感受树皮的坚韧与坚硬，仿佛是在穿越时光隧道，和树仙对语，见证岳家寨人的荣辱兴衰。
因山高林密路深，常有石块落下砸伤过往行人，因此地貌特征，旧时村落对外称之为“下石壕”，对内起名为“岳家寨”，这样既逃避了奸人的耳目，也寄托了思念先人纪念先人的情怀。
村落规模并不大，有十多户人家的光景，这里的人家似乎并不钟情于院落，一律的门户开放，家家向阳而居，户户开面对石街，想来都是一家人，没有忌讳，没有堤防，红梅花儿开朵朵放光彩，聚是一团火散是满天星，路不拾遗夜不闭户，这神奇的力量连野兽也要退避三舍呢!村风典雅民风淳朴，快哉美哉！
传说无独有偶，进入岳家寨有条路叫卸甲路，据寨中年逾古稀的老人所述，当年隋末农民起义英雄窦建德经过岳家寨时，四面悬崖峭壁，无路可行，只有一条石头路通往山下，此路为天然形成，并非人工修建，所以地势极为险峻，小道立如峭壁，就连身强力壮的窦王，也是寸步难行，所以只得卸下沉重的盔甲从此下山，实属绝处逢生，因而得名“卸甲路”。
卸甲路对面的山崖上，建有岳飞庙，每年的二月十五，岳家寨人一分为二：一部分代表寻根觅祖远赴汤阴祭祀先人民族英雄岳飞，其余人则在自建的庙内，遥寄哀思，追随先祖的英灵，光大寨子的大业。
