模拟浏览器

import urllib.request

import random

url=r'http:\\baidu.com'

'''

#在浏览网页F12中 NetWork中 Headers中找到User-Agent 并复制

#模拟请求头（一般时字典）

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36'}

#完整的headers中有的Accept,X-Requested-With,User-Agent,Content-Type等

#设置一个请求体

req=urllib.request.Request(url,headers)

#发起请求(请求体)

response=urllib.request.urlopen(req)

response.read().decode('utf-8')

#每次拿出一个User-Angent，网上搜索

agentsList=[

'','','',''

]

#从agentslist中随机拿出一个

headers=random.choice(agentsList)

'''

req=urllib.request.Request(url)

#向请求体里添加User-Agent

req.add_header('User-Agent',headers)

response=urllib.request.urlopen(req)

print(response.read())