此地无银三百两~~~~~
漏洞描述
许多网站和企业使用robots.txt文件来设置某些文件不允许蜘蛛索引，但却没有想到却将这些秘密的文件告诉了他们的竞争者。因为人们在创建robots.txt文件的时候只是想如果蜘蛛不能索引他们，那么人们也就不能搜索到它们。但是当你将这些文件包含在robots.txt文件中的时候，你已经在告诉真实的人们这些文件在哪里。同样让人惊讶的是，大多数这些“秘密的”文件都没有采取保护措施，竞争者们不需要任何权限和密码就可以轻松的获得它们。
漏洞影响
有可能泄露系统中的敏感信息，如后台地址或者不愿意对外公开的地址等等。
解决建议
确保robots.txt中不包含敏感信息，建议将不希望对外公布的目录用一些特殊字符包含起来而不是放到robots.txt文件中。如admin目录可以命名为admin，这样就能保证攻击者无法获取目录了。
