The Website is the API
Requests 库的安装
windows环境下：
以管理员身份运行”cmd，执行 pip install requests
安装完成测试：
Requests库的七个方法：
方法 说明
requests.request() 构造一个请求，支撑以下各方法的基础方法
requests.get() 获取HTML网页的主要方法，对应于HTTP的GET
requests.head() 获取HTML网页头的信息方法，对应于HTTP的HEAD
requests.post() 向HTML网页提交POST请求的方法，对应于HTML的POST
requests.put() 向HTML网页提交PUT请求方法，对应于HTML的PUT
requests.patch() 向HTML网页提交局部修改请求对应于HTML的PATCH
requests.delete() 向HTML网页提交删除请求对应于HTML的DELETE
requests.get()
requests.get(url, params=None, **kwargs)
∙ url : 拟获取页面的url链接
∙ params : url中的额外参数，字典或字节流格式，可选
∙ **kwargs: 12个控制访问的
源代码：
Requests库的两个重要对象：
Response对象包含爬虫返回的内容
Response对象示例：
Response对象包含服务器返回的所有信息，也包含请求的Requests信息
Response 对象的属性
属性 说明
r.status_code HTTP请求的返回状态，200表示连接成功，404表示失败
r.text HTTP 响应内容的字符串形式，即，url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式）
r.content HTTP 响应内容的二进制
理解Response的编码：
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式（备选编码方式）
r.encoding 如果header中不存在charset，则认为编码为ISO‐8859‐1
r.text 根据r.encoding显示网页内容
r.apparent_encoding 根据网页内容分析出的编码方式
可以看作是r.encoding的备选
理解requests 库的异常：
网络连接有风险，异常处理很重要
异常 说明
requests.ConnectionError 网络连接错误异常，如DNS查询失败、拒绝连接requests.HTTPError HTTP错误异常
requests.URLRequired URL缺失异常
equests.TooManyRedirects 超过最大重定向次数，产生重定向异常
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 请求URL超时，产生超时
理解Response 对象的异常
r.raise_for_status() 如果不是200产生异常 requests.HTTPError
r.raise_for_status()在方法内部判断r.status_code是否等于200，不需要增加额外的if语句，该语句便于利用try‐except进行异常处理
爬取网页的通用代码框架
HTTP协议
HTTP 协议 （Hypertext Transfer Protocol） 超文本传输协议
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议
HTTP协议采用URL作为定位网络资源的标识，URL格式如下：
http://host[:port][path]
host: 合法的Internet主机域名或IP地址
port: 端口号，缺省端口为80
path: 请求资源的路径
HTTP URL实例：
http://www.bit.edu.cn
http://220.181.111.188/duty
HTTP URL：
URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源
HTTP协议对资源的操作：
方法 说明
GET 请求获取URL位置的资源
HEAD 请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST 请求向URL位置的资源后附加新的数据
PUT 请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH 请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE 请求删除URL位置存储的
HTTP协议对资源的操作：
通过URL和命令管理资源，操作独立无状态，网络通道及服务器成为了黑盒子
理解 PATCH和PUT的区别：
假设URL位置有一组数据UserInfo包括UserIDUserName等20个字段
需求：用户修改了UserName，其他不变
• 采用PATCH，仅向URL提交UserName的局部更新请求
• 采用PUT，必须将所有20个字段一并提交到URL，未提交字段被删除
PATCH的最主要好处：节省网络带宽
HTTP 协议 Requests库
HTTP协议方法 Requests库方法 功能一致性
GET requests.get() 一致
HEAD requests.head() 一致
POST requests.post() 一致
PUT requests.put() 一致
PATCH requests.patch() 一致
DELETE requests.delete() 一致
requests库的 heade() 方法
