Robots协议（爬虫协议、机器人协议等）网站通过Robots协议告诉蜘蛛哪些页面可以抓取，哪些页面不能抓取。
Robots.txt是一个文本文件，位置：在网站的根目录下。
搜索引擎命令site，intitle，inurl，分别代表什么意思：
1.site:网址 关键词
2.关键词 site:网址
把搜索范围限定在特定站点中，如site：某某.com。“site:”后面跟的站点域名，不要带“http://”；site:后面带不带www结果可能是不一样的，因为有些域名还包括二级域名，如：site:www.某某.com和site:某某.com,搜索结果就不一样；另外，site:和站点名之间，不要带空格。
intitle是SEO中的高级搜索指令，intitle：关键词指令返回的是页面title中包含关键词的页面。Goolge和百度都支持intitle指令。
inurl，拆开来，就是in url ，它的作用是限定在url中搜索。URL,全称Uniform Resource Locator，中文译为“统一资源定位器”，就是地址栏里的内容。
