爬虫协议
什么是爬虫协议：
爬虫协议，也被叫做robots协议，是为了告诉网络蜘蛛哪些页面可以抓取，哪些页面不能抓取
如何查看爬虫协议：
在访问网站域名后加上robots.txt即可，例如查看百度网站的爬虫协议：https://www.baidu.com/robots.txt
爬虫协议属性：
拦截所有的机器人：
User-agent: *
Disallow: /
允许所有的机器人：
User-agent: *
Disallow:
例如：拉勾网明确给出了哪些允许、哪些不允许
拉勾.png
阅读robots协议，了解更多爬虫协议属性。
爬虫建议：
1、爬取互联网公开数据
2、尽量放慢你的速度，数据量很大的话需要增加超时设置（timeout）
3、尽量遵循robots协议
4、不要用于商业用途
5、不要公布爬虫程序与数据
