一、前言
刚才爬取了京东商品的页面，
很多网页对爬虫有所限制，或者通过Robots协议或者通过requests headers来限制。
下图为亚马逊的robots协议，通过www.amazon.cn/robots.txt进行查看。
可以看出亚马逊对爬虫很限制。所以需要对其headers进行更改，使亚马逊识别不出是用python程序进行访问的。
user-agent:*
disallow:/
这是禁止所有爬虫访问任何目录的代码
user-agent:*
disallow:
这是允许所有爬虫访问任何目录的代码
二、进行爬取
先在亚马逊网页上--F12--network--headers ---找到user-agent.
三、全代码
更改头部信息
kv = {
"User - Agent":"Mozilla / 5.0(Windows NT 10.0; WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 67.0 .3396.79 Safari / 537.36"
}
kv 是任意的名字，你也可以用headers。
"User - Agent":"Mozilla / 5.0(Windows NT 10.0; WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 67.0 .3396.79 Safari / 537.36"就是你查找的headers。
print(r.status_code)验证是否可以访问网络。
四、小结
很多网站对爬虫有所限制，可以先看一下该网站的robots协议，就是某个网站/robots.tex。例如www.baidu.com/robots.txt，从而查看哪些是可以用爬虫访问的。
通过更改头部信息就可以进行访问了。
