云龙山名字的来历，说法不一，有史载，亦有民间传说。
一种说法是：“山出云气，蜿蜒如龙，因名。”其山九节山峰，高低起伏，其状恰如一条卧龙，而春夏云雾缭绕时，又如龙起舞，故名云龙山。
另外一种说法是：因刘邦曾藏于此山。董其昌《彭城云龙山重修放鹤亭记》说：“按史记称秦始皇东于厌王气，汉祖心自疑，避匿山中，吕后尝得之，曰季所居有云成五彩云，而赤帝子斩白帝子，盖龙德也，彭城之有云龙山，其得名当以此。”公元前206年，刘邦在丰西泽斩白蛇，举义旗，宣布抗秦起义，隐匿于芒砀山、云龙山之间，总有一片祥云，形状如龙，围绕在刘邦头顶。因刘邦后来当了汉朝的开国皇帝，皇帝是“龙”，他藏过身的山，也就称为云龙山了。
三还有一种说法是：南（朝）宋皇帝刘裕曾来过此山，故名。古彭城有个刘裕，是楚元王刘交的二十一世孙。东晋时期为大将。为消灭割据势力，曾在彭城设幕府，指挥战事。期间，曾多次登云龙山
刘裕，南朝刘宋开国皇帝，徐州人，也是楚元王刘交的二十一世孙。辛弃疾充满激情的“想当年，金戈铁马，气吞万里如虎。”说的就是他。徐州是刘裕北伐的基地，他坐镇徐州指挥北伐达九个月，期间为徐州做了许多好事，时值秋雨滂沱，城墙坍塌，他的儿子彭城县公刘义隆率众把坍塌的土城墙全部改建为砖墙，这是史载徐州城墙第一次全部用青砖垒砌，城门、城楼、寺庙等建筑也得到重建，这些建筑不仅坚固，而且非常壮观。徐州百姓感恩戴德，认为刘裕是真龙天子，因此把山称为云龙山。
