Python-Requests

方便简单的HTTP请求框架

requests-get请求

传递请求头及参数

注意，对于请求头大小写不敏感

>>> headers = {'user-agent': 'my-app/0.0.1'}
>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}


>>> r = requests.get('http://httpbin.org/get', params=payload, headers=headers)
>>> print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3       #传递的参数等同于直接写在URL上

响应内容

对于文本请求，使用r.text获得。
通常Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。
若解码出现乱码，使用r.encoding进行修改使用的编码方式。
对于图片等内容，使用r.content进行请求。
对于JSON内容，使用r.json()进行请求。

requests-post

传递data的值可以为dict，元组和json
dict

>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.post("http://httpbin.org/post", data=payload)

元组

>>> payload = (('key1', 'value1'), ('key1', 'value2'))
>>> r = requests.post("http://httpbin.org/post", data=payload)

JSON

>>> payload = {'some': 'data'}
>>> r = requests.post(url, data=json.dumps(payload))

>>> payload = {'some': 'data'}
>>> r = requests.post(url, json=payload)

响应状态码

r.status_code可以获得状态码。
Response.raise_for_status()可以用来抛出异常。

Cookies

得到请求中的cookies

>>> r = requests.get(url)
>>> r.cookies['example_cookie_name']

请求中带有cookies参数

>>> cookies = dict(cookies_are='working')
>>> r = requests.get(url, cookies=cookies)

使用RequestsCookieJar构建cookies

>>> jar = requests.cookies.RequestsCookieJar()
>>> jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
>>> jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
>>> url = 'http://httpbin.org/cookies'
>>> r = requests.get(url, cookies=jar)

会话对象

s = requests.Session()

会话对象可以跨请求保持某些参数，可以保持cookies，同时底层的TCP连接会被重用，可以带来显著的性能提升。

对于session方法保持cookie的问题。
requests只能保持 cookiejar 类型的cookie。

#将CookieJar转为字典：
cookies = requests.utils.dict_from_cookiejar(r.cookies)

#将字典转为CookieJar：
cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)

转换完之后就可以把它赋给cookies 并传入到session中了：

s = requests.Session()
s.cookies = cookies

使用with前后文管理器

with requests.Session() as s:
    s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')

这样就能确保 with 区块退出后会话能被关闭，即使发生了异常也一样。

代理

import requests

proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}

requests.get("http://example.org", proxies=proxies)

其他

allow_redirects=False代表禁用重定向

r = requests.get('http://github.com', allow_redirects=False)

timeout=0.001超时

>>> requests.get('http://github.com', timeout=0.001)