python爬虫之使用随机UA发起请求

1.pip3 install fake-useragent

from fake_useragent import UserAgent

2.实例化一个UA

user_agent = UserAgent()

3.获取google浏览器的ua

print(user_agent.chrome)

4.获取火狐浏览器的ua

print(user_agent.firefox)

5.获取safar浏览器的ua

print(user_agent.safari)

6.随机获取ua

print('-------------')
print(user_agent.random)
print(user_agent.random)
print(user_agent.random)
print(user_agent.random)

from urllib import request

import ssl

目标url

url = 'https://github.com/hellysmile/fake-useragent'

构建请求头

req_header = {
'User-Agent':user_agent.random
}

构建一个Request对象

req = request.Request(url,headers=req_header)

另一种方式添加请求头

req.add_header('Referer','https://github.com/search?q=fake-useragent')

从请求头中取出一个请求头的参数

print(req.get_header('Referer'))

发起请求

response = request.urlopen(req,timeout=10)

print(response.status)
print(response.url)1.

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

友情链接更多精彩内容