1.requests库文档链接
2.使用requests发送get请求
- 使用requests发送get请求，首先需安装requests模块，然后导入使用；
pip install requests
import requests
- 然后可以使用例如：
r = requests.get('https://www.baidu.com')，方法获取某个网页，r表示一个 Response 对象，我们从这个对象中获取所有我们想要的信息；
import requests
from requests.cookies import RequestsCookieJar
r = requests.get('https://www.baidu.com')
3.如何传递url参数
- 如果我们想要手动构建URl，可以使用params关键字来传参，如：
r = requests.get('https://www.baidu.com') ,params={'id': 'abc'})
print(r.url) # 输出：https://www.baidu.com/?id=abc；
- 所以我们可以知道如果是手工构建 URL，那么数据会以键/值对的形式置于 URL 中，跟在一个问号的后面；
4.resquest中常用的Response响应信息
-
r.text：返回响应对象，Unicode型数据，主要取文本；
r = requests.get('https://www.baidu.com')
print(r.text)
r.content：返回响应对象，bytes型，二进制数据，主要取图片和文件等，中文显示为字符；r.url：获取当前请求的url；r.json()：Requests中内置的JSON解码器；r.encoding：编码方式；r.status_code：状态响应码；r.headers：响应头；r.cookies：返回cookie；
5.使用requests发送post请求
POST请求方式的编码方式，也就是Content-Type的类型一般有3种，分别是：
application/x-www-form-urlencoded：以form表单形式提交数据，使用的时候只需要将请求的参数构造成一个字典，然后传给requests.post()的data参数即可；
import requests
from requests.cookies import RequestsCookieJar
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=payload )
print(r.text)
# 输出打印中的headers中是"Content-Type": "application/x-www-form-urlencoded"，所以我们可以知道application/x-www-form-urlencoded是默认的post请求的Content-Type
application/json：以json格式提交数据，主要是用于发送ajax请求中，动态加载数据；
multipart/form-data：一般用于上传文件，使用时需要将文件传给requests.post()的files参数；
6.超时
- 为了防止服务器响应缓慢，导致客户端处理异常，requests请求大多设置 timeout 参数，例如：requests.get('http://baidu.com', timeout=10)，如果需要让 request 永远等待，则传入一个 None 作为 timeout 的值；
import requests
from requests.cookies import RequestsCookieJar
r = requests.get('https://www.baidu.com', timeout=0.001)
print(r)
# 执行代码时会报错，因为在0.001秒时服务器响应还没有完成
7.Cookie
- Cookie 的返回对象为 RequestsCookieJar，它的行为和字典类似，但接口更为完整，适合跨域名跨路径使用，可以把 Cookie Jar 传到 Requests 中来请求登录页面，例如：
r = requests.get('[https://www.baidu.com/',](https://www.baidu.com/',) cookies=jar)；
我们来尝试一下使用cookie获取登录豆瓣官网之后的信息
- 获取cookie
from requests.sessions import Session
# 返回一个会话的上下文管理器对象
requests = Session()
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
date = {'ck':'', 'name':'xxxxxxxx', 'password': 'xxxxxxxx', 'remember':'false', 'ticket': ''}
result = requests.post('https://accounts.douban.com/j/mobile/login/basic', data=date, headers=headers)
print(result.text)
# 拿到cookie
cookies = result.cookies
for i in cookies:
print(i)
for item in cookies.iteritems():
print(item)
print(cookies.get_dict())
print(cookies.list_paths())
print(cookies.list_domains())
print(cookies.items())
- 获取使用cookie请求登录页面
from requests.cookies import RequestsCookieJar
import requests
jar = RequestsCookieJar()
jar.set('bid', 'OvpnenMUNWo', domain='.douban.com', path='/')
jar.set('dbcl2', r'"153039786:aYRnqJukECk"', domain='.douban.com', path='/')
r = requests.get('https://www.douban.com/', cookies=jar)
print(r.text)
