听老辈人说，在大云山靠近邵阳一边，以前还有一座殿堂，叫做六仙殿。可惜现在已经看不到任何踪迹了。
相传唐朝时代，有六位仙人，即铁拐李，汉钟离，何仙姑，蓝采和，吕洞宾，韩湘子见大云山景色秀丽，风光迷人，来此山腰下了七天的棋。
七天之中，山下有一个穷放牛娃，每天都清晨上山放牛，并且为他们清理下棋场地。每天都是观棋不语，他家贫，勤劳，且孝敬父母。这些仙人有心想帮助他成仙，其中一人就问放牛娃：“这里有几个人在下棋。”他连数了两次，都说：“六人下棋。”话音刚落，仙人们见其太不聪明，都遗憾地摇摇头，一会儿他们就不见人影。放牛娃回去同当地人讲了这件事，当地人问他这些人叫什么名字，他又详细地介绍，当地的老年人都知道这都是仙人。为了纪念这些仙人，大家捐钱捐物修成了这座大殿，取名为“六仙殿”。
