关于使用request获取网页返回为空的解决方法

这两天在做爬虫的时候,发现一个问题,部分网站在使用request.get返回的内容为空,原因为,这些网站对于发送的请求,会需要在head里面加上一些特殊信息,这些信息可以使用chrome进行查看,查看方法:
打开chrome,
打开开发者页面
输入网址,
选择network,点击all,选择左侧的一堆request,右边可以看到request 的head信息,

注意把这些信息传递给get即可:

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容