什么是Requests

Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库。与urllib相比，Requests更加方便，可以节约我们大量的工作，建议爬虫使用Requests库。

requests请求方式

requests提供的请求各个请求方式：

import requests
requests.get(url)
requests.post(url)
requests.put(url)
requests.delete(url)
requests.head(url)
requests.options(url)

get请求

get请求核心代码是requests.get(url)，具体例子如下：

import requests
url = 'http://baidu.com'
response = requests.get(url)
print(response)

打印出来的结果是：<Response [200]>。<>表示这是一个对象，也就是我们这里获取的是一个response的对象，200表示状态码。

requests get 请求.png

post请求

post请求核心代码是requests.post(url,data={请求体的字典})，具体例子（百度翻译）如下：

import requests
url = 'https://fanyi.baidu.com'
data = {'from': 'zh',
        'to': 'en',
        'query': '人生苦短，我用python'
        }
response = requests.post(url, data=data)
print(response)

data部分的参数，取自于页面NetWork→Headers→Form Data。打印出来的结果是：<Response [200]>。

requests post 请求.png

response方法

获取网页的解码字符串

通过上述例子我们可以看到，不管是get请求还是post请求，我们得到的返回都是一个Response[200]的对象，但是我们想要得到的，应该是与网页response下一样的字符串对象，这时就需要用到response的方法了。

response.text。获取网页的HTML字符串，该方式往往会出现乱码，出现乱码使用response.encoding='utf-8'

import requests
url = 'http://baidu.com'
response = requests.get(url)
response.encoding = 'utf-8'
print(response.text)

response.content.decode()。把相应的二进制字节流转化为str类型。

import requests
url = 'http://baidu.com'
response = requests.get(url)
print(response.content.decode('gbk'))

在这里我总结了一下三种获取网页源码的三种方式，通过这三种方式，一定可以获取到网页正确解码之后的字符串：

response.content.decode()
response.content.decode('gbk')
response.text

获取其他属性

import requests
response = requests.get("http://www.baidu.com") 
print(type(response.requests.headers),response.requests.headers) #获取请求头
print(type(response.headers),response.headers) #获取响应头
print(type(response.cookies),response.cookies)#获取响应cookie
print(type(response.url),response.url) #获取响应url
print(type(response.requests.url),response.requests.url) #获取请求url

Python爬虫（三）Requests库