Requests 模块说明：
支持HTTP连接保持和连接池，支持cookie保持会话，支持文件上传，支持自动确定响应内容编码，支持国家化的URL和POST数据自动编码。
requests模块安装
pip install requests
Requests模块简单入门：
import requests
# 尝试获取某个网页,如：百度
r = requests.get('https://www.baidu.com/') # 访问成功，返回200
# 发送HTTP POST请求
r = requests.post('http://httpbin.org/post', data = {'key':'value'})
# 对于其他的http请求的操作
r = requests.put('http://httpbin.org/put', data = {'key':'value'})
r = requests.delete('http://httpbin.org/delete')
r = requests.head('http://httpbin.org/get')
r = requests.options('http://httpbin.org/get')
带参数的请求实例：
发送带参数的get请求，get请求是以关键字params传递参数的
发送带参数的post请求，post请求是以关键字data传递参数的
import requests
requests.get('http://www.dict.baidu.com/s', params={'wd': 'python'}) #GET参数实例
requests.post('http://www.itwhy.org/wp-comments-post.php', data={'comment': '测试POST'}) #POST参数实例
Post发送Json实例：
import requests
import json
r = requests.post('https://api.github.com/some/endpoint', data=json.dumps({'some': 'data'}))
print(r.json())
Post一个文件：
url='https://www.baidu.com'
files={'file': open('report.xls', 'rb')}
r = requests.post(url, files=files)
# 可以在post文件时指定文件名等额外的信息：
url = 'http://pythontab.com/postTest'
files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}
r = requests.post(url, files=files)
传递url参数
如果是手工构建的URL，数据会以键值对的模式存储在URL中，跟在一个问号的后面。如，login的api/user/login?username='tester'&passwd='aA123456'。 Requests允许使用params关键字参数，以一个字符串字典来提供这些参数
payload = {'username':'tester','passwd':'aA123456'}
r = requests.post('http://hostNmae/api/user/login',params=payload)
# 返回 200
print(r.url)# 通过打印输出该 URL，URL 已被正确编码
响应内容: 读取服务器响应内容
Requests会自动解码来自服务器的内容。大多数的Unicode字符集都能被无缝解码。
r = requests.get('https://www.baidu.com/')r
r.text # content of the response, in unicode
r.content # 以字节的方式访问请求响应体，
r.content.decode() # 加上decode方法
订制请求头
如果想为请求添加HTTP 头部，只要简单传递一个dict给header就可以了。
例如，指定content-type：
url = 'http://m.ctrip.com'
headers = {'User-Agent' : 'Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 4 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Mobile Safari/535.19'}
r = requests.post(url, headers=headers)
print(r.request.headers)
注意: 所有的 header 值必须是 string、bytestring 或者 unicode。尽管传递 unicode header 也是允许的，但不建议这样做。
更加复杂的POST请求
url = 'http://m.ctrip.com'
payload = {'some': 'data'}
r = requests.post(url, data=json.dumps(payload)) #如果传递的payload是string而不是dict，需要先调用dumps方法格式化一下
返回状态码
r = requests.get('https://www.baidu.com/')
r.status_code
响应头
r = requests.get('https://www.baidu.com/')
print(r.headers)
print(r.headers['Content-Type'])
print(r.headers.get('content-type'))
设置访问代理
#设置访问代理
proxies = {
"http": "http://10.10.10.10:8888",
"https": "http://10.10.10.100:4444",
}
r = requests.get('http://m.ctrip.com', proxies=proxies)
下载页面
r=requests.get("http://www.pythontab.com")
with open("haha.html","wb") as html:
html.write(r.content)
html.close()
Requests整合案例1：
import requests
import nnlog
import os
from conf.setting import LOG_PATH
class MyRequest:
log_file_name = os.path.join(LOG_PATH,'MyRequest.log')#日子文件名
time_out = 10 #请求超时时间
def __init__(self,url,data=None,headers=None,file=None):
self.url = url
self.data = data
self.headers = headers
self.file = file
def post(self):
try:
req = requests.post(self.url,data=self.data,headers=self.headers,
files=self.file,timeout=self.time_out)
except Exception as e:
res = {"status":0,"data":e.args} #0代表请求失败
else:
try:
res = {"status":1,"data":req.json()} #1代表返回的json
except Exception as e:
res = {"staus":2,"data":req.text} #2代表返回不是json
log_str = 'url： %s 请求方式：post data：%s ,返回数据：%s'%(self.url,self.data,res)
self.write_log(log_str)
return res
def get(self):
try:
req = requests.get(self.url,params=self.data,headers=self.headers,timeout=self.time_out)
except Exception as e:
res = {"status":0,"data":e.args} #0代表请求失败
else:
try:
res = {"status":1,"data":req.json()} #1代表返回的json
except Exception as e:
res = {"staus":2,"data":req.text} #2代表返回不是json
log_str = 'url： %s get请求 data：%s ,返回数据：%s'%(self.url,self.data,res)
self.write_log(log_str)
return res
@classmethod
def write_log(cls,content):
log = nnlog.Logger(cls.log_file_name)
log.debug(content)
参考文档：http://docs.python-requests.org/zh_CN/latest/user/advanced.html#advanced
