第一章 Requests库

1.1 Requests库方法介绍

requests.request() : 构造一个请求，支持下面方法（其它方法基础）

Requests 库的六种方法和HTTP协议的六种方法一致：
requests.get()：获取HTML网页的主要方法，对于与HTTP的GET
requests.head()：获取HTML页头信息，对应于与HTTP的HEAD
requests.post()：向网页提交POST请求方法，对应于HTTP的POST
requests.put()：向网页提交PUT请求方法，对应于HTTP的PUT
requests.patch()：向网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()：向网页提交删除请求，对应于HTTP的DELETE

用户通过 requests.get()， requests.head() 访问 Internet，获取资源
用户通过 requests.put()，requests.post()， requests.patch()， requests.delete() 修改Internet网络信息

假设：URL位置有一组数据 UserInfo，包括UserID， UserName等20个字段
需求：用户修改了UserName，其它不变
方法： 1. 采用Patch，仅向URL提交UserName局部修改信息
2. 采用PUT，必须将所有20个字符一起提交URL，未提交字符会删除

1.2 Response对象属性

r.status_code: HTTP请求的返回状态，200表示访问成功
r.text: HTTP响应内容的字符串格式
r.encoding: HTTP header的编码方式
r.apparent_encoding: HTTP 内容中的编码方式
r.content: HTTP响应内容的二进制形式（还原图片）

主要注意 r.encoding 和 r.apparent_encoding 区别
r.encoding 如果header中不存在charset，则默认为 ISO-8859-1

import requests
r = requests.get('http://www.baidu.com')
print(r.text)
print(r.encoding)
print(r.apparent_encoding)
r.encoding = 'utf-8'
print(r.text)

r.text: 一开始输入非常规码
r.encoding : 'ISO-8859-1'
r.apparent_encoding: 'utf-8'
r.text: 显示可读代码

Requests 返回的异常值

requests.ConnectionError: 网络连接错误异常，如DNS查询失败，拒绝连接等
requests.HTTPError： HTTP错误异常
requests.URLRequired： URL缺失异常
requests.tooManyRedirects：超过最大定向次数，产生重定向异常
requests.ConnectTimeout：连接远程服务器超时异常
requests.Timeout：请求URL超时，产生超时异常

1.3 爬虫代码通用框架结构

import requests

def getHTMLText(url):
  try:
    r = requests.get(url, timeout = 30)
    r.raise_for_status() # not 200, raise error automatically
    r.encoding = r.apparent_encoding
    return r.text
  except:
    return 'FINDING ERRORS!'

if __name__ = '__main__':
  url = 'http://www.baidu.com'
  print(getHTMLText(url))

1.4 requests.request(method, url, **kwargs)

请求方法
r = requests.request('GET', url, **kwargs)
r = requests.request('HEAD', url, **kwargs)
r = requests.request('POST', url, **kwargs)
r = requests.request('PUT', url, **kwargs)
r = requests.request('PATCH', url, **kwargs)
r = requests.request('delete', url, **kwargs)
r = requests.request('OPTIONS', url, **kwargs)

**kwarges 控制访问参数，均为可选项

params：字典或者字节序列，作为参数增加到url中

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', params =kv)
print(r.url)
# http://python123.io/ws?key1=value1&key2=value2

data:字典或者字符串，向data域赋值

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', data=kv)

json:字典，向json域赋值

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', json=kv)

其它还有headers，cookies， auth， files， timeout， proxis等

1.5 requests.get(url)

r = requests.get(url, params = None, **kwargs)
url: 获取页面的url链接
params: url中的额外参数，字典或字节流格式，可选
**kwargs: 12个控制访问的参数

获取HTML网页的主要方法，对于与HTTP的GET
首先构造一个向服务器请求资源的Request对象
结果返回一个包含服务器资源的Response类

import requests
r = response.get(''http://www.baidu.com'')
print(r.status_code)
print(r.headers)
print(type(r))

status_code ：如果返回 200,表示访问成功
type(r)： requests.models.Response
r.headers: 显示头文件

1.6 requests.head(url)

只是显示头部信息，所花费流量信息比较少

import requests
r = requests.head('http://www.baidu.com')
print(r.headers)
print(r.text)

结果显示print(r.text)为None

1.7 requests.post(url)

向URL POST一个字典自动编码为form(表单）
向URL POST一个字符串自动编码为data

import requests
payload = {'key1':'value1', 'key2':'value2'}
r = requests.post('http://httpbin.org/post', data = payload)
print (r.text)
{
'form':{
  'key2': 'valu2'
  'key1' : 'value1'
 }
}

import requests
payload = {'key1':'value1', 'key2':'value2'}
r = requests.post('http://httpbin.org/post', data = 'ABC')
print (r.text)
{
  'data': 'ABC'
  'form':{
 }
}