fake-useragent，python爬虫伪装请求头

在编写爬虫进行网页数据的时候，大多数情况下，需要在请求是增加请求头，下面介绍一个python下非常好用的伪装请求头的库：fake-useragent，具体使用说明如下：

安装fake-useragent库

pip install fake-useragent

获取各浏览器的fake-useragent

from fake_useragent import UserAgent

ua = UserAgent()

#ie浏览器user agent

print(ua.ie)

#opera浏览器

print(ua.opera)

#chrome浏览器

print(ua.chrome)

#firefox浏览器

print(ua.firefox)

#safri浏览器

print(ua.safari)

#最常用的方式#写爬虫最实用的是可以随意变换headers，一定要有随机性。支持随机生成请求头print(ua.random)

print(ua.random)

from fake_useragent

import UserAgentimport requestsua=UserAgent()

#请求的网址

url="http://www.baidu.com"

#请求头

headers={"User-Agent":ua.random}

#请求网址

response=requests.get(url=url,headers=headers)

#响应体内容

print(response.text)

#响应状态信息

print(response.status_code)

#响应头信息

print(response.headers)

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。