爬虫模拟浏览器的请求,进行反反爬虫

(1)明确要爬取网页的地址以豆瓣网的电影页为例:url=r'https://movie.douban.com'

(2)获得请求头:header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'},请求头是一个字典,'User-Agent‘的之可以从一下图中参考获取:


(3)获得请求体:req=request.Request(url,headers=header)

(4)发起请求并保存:response=request.urlopen(req)

data=response.read()

with open('scrapy2.html','wb') as f:

    f.write(data)

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容