Requests:第三方封装的用于网络请求操作的一个模块，主要用于爬虫程序的开发，尤其以开发简单，上手容易、操作灵活、开发效率高著称，所以在实际项目操作过程中，requests模块是使用最多的爬虫操作模块。
1. 安装
pip install requests
#或者
easy_install requests
简单爬虫案例：
#引入需要的模块
import requests
#发送请求得到相应数据
response = requests.get("https://www.taobao.com")
#打印展示获取的数据
print(response.text)
2. 各种设置
2.1请求方式
通过request直接调⽤用对应的函数/⽅方法即可完成
一般只有 requests.get 和 requests.post 。-
2.2 附带普通参数的请求
参数包含在⼀一个字典对象中，将字典对象交给requests的函数即可。# get 方式发送请求，包含参数，用 params 接收 res = requests.get(URL, params = data) # post 方式发送请求，包含参数 ，用 data 接收 res = requests.post(URL, data = data) -
2.3 传递JSON参数
在请求的过程中，有些URL接口需要的参数数据并不不是零散的数据，而是需要封装在一起的JSON数据，此时数据需要转化为json格式。# 引⼊入需要的模块 imoprt json # 封装参数的字典 data = {“city”:”郑州”} # 转换参数 json_data = json.dumps(data) get(url, json=..)--无效 post(url, json=..)--常规操作[使用非常少]，一般用data传递 -
2.4 返回的数据和它编码操作
返回的数据，可以根据数据的编码类型区分为二进制数据和文本数据，两种不同的数据通过两个不同的属性进行获取。response.content：获取响应中包含的二进制数据 response.text：获取响应中包含的文本数据
如果出现乱码，可通过response的属性encoding，
进行编码的获取和指定
response.encoding = “编码(utf-8)” -
2.5 文件上传操作
requests对象支持文件的数据流式处理，不需要将整个文件都加载到内存中，而是读取一部分传递一部分，将文件指定给requests请求的file参数即可。注意：文件的上传操作只能通过post()请求方式执行操作
# 1.整个文件读取 import requests # 打开文件 f = open(“d:/test.txt”, “r”) # 包装文件参数 file = {“file”:f} # 传递文件 response = requests.post(URL, files=file) #2.流式数据传递方式 import requests # 打开文件 with open(“d:/test.txt”, “r”) as f: response = requests.post(URL, data=f) -
2.6 cookie操作
requests模块中对cookie的操作进行了封装，可以直接通过响应对象的cookie属性进行操作。import requests response = request(“http://www.badiu.com ” ) # 获取整个cookie print(response.cookies) # 根据key获取指定的值 print(r.cookies[“key”]) -
2.7 请求超时设置
如果要求对于数据操作性能有要求的话，可以通过传递timeout参数数据进行超时时间的设置，超过超时时间的连接自动 抛出异常。import requests response = requests.get(“http://github.com ” , timeout=0.1) 异常信息：requests.exceptions.ConnectTimeout -
2.8 让多个请求包含在一个会话中
一般情况下，爬虫操作获取目标数据都是短连接，也就是获取数据时连接服务器，每次发起请求就是一个连接，获取到服务器的响应数据后连接自动断开，再次发起请求时又是一个新的请求对象了。import requests response1 =requests.get() response2 = requests.get() #上面的代码中，两次请求就不是同一个会话。 #如果要进行多个请求包含在同一个会话中， #通过requests模块的会话对象Session()构建一个会话请求进行操作即可。 import requests req = requests.Session() response1 = req.get() response2 = req.get() -
2.9 SSL证书设置
让爬虫程序类似浏览器一样验证https协议访问的网站，当网站的SSL无效时，爬虫无法访问，需要关闭HTTPS的SSL证书验证，通过设置请求参数verify=False关闭该验证。response = requests.get(URL,verify=False) -
2.10 代理设置
和urllib2一样，爬虫操作过程中，代理的设置是不可避免的一种技术手段。在requests模块中，通过将代理服务器端口配置在字典中，然后通过proxies参数进行设置即可。import requests proxies = { "https":"122.72.32.75:80" } response = requests.get(URL, proxies=proxies) print (response.text)
