方便简单的HTTP请求框架
requests-get请求
传递请求头及参数
注意，对于请求头大小写不敏感
>>> headers = {'user-agent': 'my-app/0.0.1'}
>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
>>> r = requests.get('http://httpbin.org/get', params=payload, headers=headers)
>>> print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3 #传递的参数等同于直接写在URL上
响应内容
- 对于文本请求，使用
r.text获得。
通常Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。
若解码出现乱码，使用r.encoding进行修改使用的编码方式。 - 对于图片等内容，使用
r.content进行请求。 - 对于JSON内容，使用
r.json()进行请求。
requests-post
传递data的值可以为dict，元组和json
dict
>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.post("http://httpbin.org/post", data=payload)
元组
>>> payload = (('key1', 'value1'), ('key1', 'value2'))
>>> r = requests.post("http://httpbin.org/post", data=payload)
JSON
>>> payload = {'some': 'data'}
>>> r = requests.post(url, data=json.dumps(payload))
>>> payload = {'some': 'data'}
>>> r = requests.post(url, json=payload)
响应状态码
-
r.status_code可以获得状态码。 -
Response.raise_for_status()可以用来抛出异常。
Cookies
得到请求中的cookies
>>> r = requests.get(url)
>>> r.cookies['example_cookie_name']
请求中带有cookies参数
>>> cookies = dict(cookies_are='working')
>>> r = requests.get(url, cookies=cookies)
使用RequestsCookieJar构建cookies
>>> jar = requests.cookies.RequestsCookieJar()
>>> jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
>>> jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
>>> url = 'http://httpbin.org/cookies'
>>> r = requests.get(url, cookies=jar)
会话对象
s = requests.Session()
会话对象可以跨请求保持某些参数，可以保持cookies，同时底层的TCP连接会被重用，可以带来显著的性能提升。
对于session方法保持cookie的问题。
requests只能保持 cookiejar 类型的cookie。
#将CookieJar转为字典：
cookies = requests.utils.dict_from_cookiejar(r.cookies)
#将字典转为CookieJar：
cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)
转换完之后就可以把它赋给cookies 并传入到session中了：
s = requests.Session()
s.cookies = cookies
使用with前后文管理器
with requests.Session() as s:
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
这样就能确保 with 区块退出后会话能被关闭，即使发生了异常也一样。
代理
import requests
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://example.org", proxies=proxies)
其他
-
allow_redirects=False代表禁用重定向
r = requests.get('http://github.com', allow_redirects=False)
-
timeout=0.001超时
>>> requests.get('http://github.com', timeout=0.001)
