一、请求
基本get请求
import requests
response = requests.get('http://httpbin.org/get')
带参数get请求
response = requests.get("http://httpbin.org/get?name=germey&age=22")
or
data = {
'name': 'germey',
'age': 22
}
response = requests.get("http://httpbin.org/get", params=data)
解析Json
response.json() 等同于json.loads(response.text)
获取二进制数据
response.content 可以获取到二进制数据，多用于图片的下载。如：
response = requests.get("https://github.com/favicon.ico")
with open('favicon.ico', 'wb') as f:
f.write(response.content)
f.close()
添加headers
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
}
response = requests.get("https://www.zhihu.com/explore", headers=headers)
添加cookies
cookies比较特别，不同网站不一样。需要先登陆该网站，开发者工具查看cookies值，全保存在一个txt文件中。
f=open('cookie_txt','r')
cookies={}
for line in f.read().split(';'):
name,value=line.strip().split('=',1)
cookies[name]=value
r = requests.get('url', headers=headers,cookies=cookies)
这是针对要登陆的网站的一种方法，还有一种会话维持的方法session下面说。
基本post请求
data = {'name': 'germey', 'age': '22'}
response = requests.post("http://httpbin.org/post", data=data)
二、响应
response属性
response.text 返回网页解析的内容，可通过response.encoding='gbk'来改变解码方式。
response.status_code 返回状态码
response.headers 返回头部信息
response.cookies 返回cookies信息
三、高级特性
文件上传
files = {'file': open('favicon.ico', 'rb')}
response = requests.post("http://httpbin.org/post", files=files)
会话维持
requests.get('http://httpbin.org/cookies/set/number/123456789')
response = requests.get('http://httpbin.org/cookies')
以上的cookie并没有维持，因为两次get请求相当于用两个浏览器发出请求，cookie没有持续下来。需要用session。
s = requests.Session() #创建一个session对象
s.get('http://httpbin.org/cookies/set/number/123456789')
response = s.get('http://httpbin.org/cookies')
证书验证
访问一些https网站时，经常弹出此网站证书有问题的提示，从而影响爬虫的正常爬取。可使用如下方法：
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get('https://www.12306.cn', verify=False)
代理设置
response = requests.get("https://www.taobao.com", proxies=proxies)
proxies是个字典，健可以是http或https，值是代理IP和端口
sock协议的还可以用
pip3 install 'requests[socks]'
之后proxies可以用sock协议代理。
超时设置
from requests.exceptions import ReadTimeout
try:
response = requests.get("http://httpbin.org/get", timeout = 0.5)
print(response.status_code)
except ReadTimeout:
print('Timeout')
异常处理
异常处理的exception可以参考官网。
常见有ReadTimeout、RequestException、ConnectionError等。
