在爬虫爬取网站的过程中,难免遇到网站通过useragent验证是否为正常用户。可以自己维护一个ua列表,但是为了方便,我们可以使用一个python三方库fake_useragent
来随机生成ua,具体步骤如下:
- 安装fake_useragent
pip install fake_useragent
- 使用
from fake_useragent import UserAgent
ua = UserAgent()
random_ua = ua.random
print random
在爬虫爬取网站的过程中,难免遇到网站通过useragent验证是否为正常用户。可以自己维护一个ua列表,但是为了方便,我们可以使用一个python三方库fake_useragent
来随机生成ua,具体步骤如下:
pip install fake_useragent
from fake_useragent import UserAgent
ua = UserAgent()
random_ua = ua.random
print random