在做网络爬虫时,防止爬虫被ban的一个方式就是在爬取时修改请求的UserAgent,然而想要获取众多的UserAgent的时候,就只能在各个网站中去搜索别人的帖子,效率很低。
今天在网上浏览的时候发现了一个很不错的网站,里面有全球各个版本浏览器的UserAgent,拿来给大家一起分享下。
http://www.useragentstring.com/pages/useragentstring.php?name=All
希望对各个爬行者能有帮助
在做网络爬虫时,防止爬虫被ban的一个方式就是在爬取时修改请求的UserAgent,然而想要获取众多的UserAgent的时候,就只能在各个网站中去搜索别人的帖子,效率很低。
今天在网上浏览的时候发现了一个很不错的网站,里面有全球各个版本浏览器的UserAgent,拿来给大家一起分享下。
http://www.useragentstring.com/pages/useragentstring.php?name=All
希望对各个爬行者能有帮助