一、什么是robots协议？
robots协议即搜索引擎爬虫与网站站点沟通的“桥梁”，网站站点通过robots文件中的声明规则明确告知搜索引擎爬虫哪些文件/目录不可以抓取。
注意：如果网站站点存在不希望搜索引擎爬虫抓取收录的内容是，才有必要创建robots.txt文件，如果您希望搜索引擎收录网站上的所有内容，则无需建立robots.txt文件。
二、robots.txt文件存放位置
通常网站的robots.txt文件放置在网站根目录下，便于搜索引擎爬虫第一时间抓取该文件。
网站robots协议
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
