1.函数名及其来源
这是python内置的一个网络请求模块,无需安装即可使用
一般来说爬虫更为常用的是requests库。
通常写法如下:
import urllib
response = urllib.request.urlopen('https://www.python.org')
print(response.read())
这里简单解释下我们请求一个网页信息的过程。通常我们使用浏览器请求一个网址的信息,比如www.baidu.com
一:输入网址
那肯定是输入你要访问的网站网址了,俗称url,比如www.baidu.com
二:缓存解析
浏览器获取了这个url,当然就去解析了,它先去缓存当中看看有没有,从 浏览器缓存-系统缓存-路由器缓存 当中查看,如果有从缓存当中显示页面,然后没有那就进行步骤三;
三: 域名解析
在发送http之前,需要进行DNS解析即域名解析。
DNS解析:域名到IP地址的转换过程。域名的解析工作由DNS服务器完成。解析后可以获取域名相应的IP地址
四:tcp连接,三次握手
在域名解析之后,浏览器向服务器发起了http请求,tcp连接,三次握手建立tcp连接。TCP协议是面向连接的,所以在传输数据前必须建立连接
五:服务器收到请求
服务器收到浏览器发送的请求信息,返回一个响应头response header和一个响应体response body。
六:页面渲染
浏览器收到服务器发送的响应头和响应体,进行客户端渲染,生成Dom树、解析css样式、js交互。
这里urllib就模拟了浏览器除了最后页面渲染外其他步骤。
2.函数定义源码及其用法拆解
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
参数说明:
url:访问的地址,一般不只是地址。
data:此参数为可选字段,特别要注意的是,如果选择,请求变为post传递方式,其中传递的参数需要转为bytes,如果是我们只需要通过urllib.parse.urlencode转换即可:
timeout:设置网站的访问超时时间
其他参数:
context 参数:它必须是 ssl.SSLContext 类型,用来指定 SSL 设置。
cafile 和 capath 两个参数:是指定CA证书和它的路径,这个在请求 HTTPS 链接时会有用。
cadefault 参数:现在已经弃用了,默认为 False
Python3中将python2.7的urllib和urllib2两个包合并成了一个urllib库,其主要包括一下模块:
urllib.request 请求模块
urllib.error 异常处理模块
urllib.parse url解析模块
urllib.robotparser robots.txt解析模块
urlopen返回对象提供方法:
read() , readline() ,readlines() , fileno() , close() :对HTTPResponse类型数据进行操作。
info():返回HTTPMessage对象,表示远程服务器返回的头信息。
getcode():返回Http状态码。
geturl():返回请求的url
爬虫内容较多,此处仅举例请求Python官方网站http://python.org/
import urllib.request
response = urllib.request.urlopen('http://python.org/')
print("查看response的返回类型",type(response))
print("查看响应的信息",response)
print("查看头部信息1",response.info())
print("查看头部信息2",response.getheaders())
print("查看头部的server属性信息",response.getheader("Server"))
print("查看响应的状态信息",response.status)
print("查看响应状态码",response.getcode())
print("查看响应的url地址",response.geturl())
page = response.read()
print("输出网页源码:",page.decode('utf-8'))
3.版本差异
python2中使用urlib2请求
- urllib2.urlopen可以接受一个Request对象或者url,(在接受Request对象时候,并以此可以来设置一个URL
的headers),urllib.urlopen只接收一个url - urllib 有urlencode,urllib2没有
所以python2中两者通常一起使用。
在Python3中包urllib2归入了urllib中,所以要导入urllib.request,并且要把urllib2替换成urllib.request
4.学习建议
实际使用中更多用到更强大的requests库,这个作为基础学习即可。
对基础运行环境有疑问的,推荐参考:python函数深入浅出 0.基础篇