urllib常用的方法有,URLopen,parse,request.error。
下面我们来简单说一下它们的用法
urllib:就是向网页发起请求,至于怎么发起我们就直接上代码了
#首先我们导入我们需要的包
import urllib.urlopen
#我们定义一个url
#输入我们要访问的网址
url = 'www.badu.com'
#这里我们要设置一个UA
haer = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6801.400 QQBrowser/10.3.2928.400'
}
#这里是吧参数传给urlopen让他知道我们要访问什么网址,返回一个request
request = urllib.request.Request(url=url,haders=haer)
#这一步是用urlopen向我们定义的url发起请求
response = urllib.request.urlopen(request)
if response.status==200:
#这我们用到lparse模块的解码
ym = response.read().decode()
print(ym)
#这就urlopen的用法了
下面我们简单说一下怎么自定义opener来使用代理来发起请求
#首先我们先导入我们需要的包
from urllib import request,error
#构建多个代理
proxy = {
'https':'182.111.64.7:41766',
'https':'111.194.96.166:8118',
}
#使用我们的代理发起请求
proxy_handler = request.ProxyHandler(
proxies=proxy
)
#实例化一个opener对象
opener = request.build_opener(proxy_handler)
#定义url
url = 'http://www.baidu.com/'
#使用我们刚才我们的自定义发起请求
response = opener.open(request)
if response.status==200:
ym = response.read().decode()
print(ym)
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。