用户代理工具包 fake-useragent 的用法

UserAgent 就是用户代理，又叫报头，是一串字符串，相当于浏览器的身份证号
在利用爬虫爬取网站数据时，频繁更换它可以避免触发相应的反爬机制

• 安装

pip install fake-useragent

• 用法

引入，生成实例：

from fake_useragent import UserAgent
ua = UserAgent()

如果报错 fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
首先检查网络，然后：
如果不希望缓存数据库或不需要可写文件系统：

ua = UserAgent(cache=False)

如果不想使用宿主缓存服务器，可以禁用服务器缓存：

ua = UserAgent(use_cache_server=False)

如果以上方法均报错，执行：

ua = UserAgent(verify_ssl=False)

由于 fake-useragent 库维护的 user-agent 列表存放在在线网页上
过低版本依赖的列表网页可能就会报 403
随手更新：

ua.update()

查看全部 user-agent ：

ua.data_browsers

In [20]: len(reduce(lambda a, b: a+b, ua.data_browsers.values()))
Out[20]: 250

获取随机值：

In [26]: ua.random
Out[26]: 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) 
Chrome/31.0.1650.16 Safari/537.36'

• 卸载

pip install -U fake-useragent

• fake-useragent 源码