什么是Requests
Requests是用python语言基于urllib编写的,采用的是Apache2 Licensed开源协议的HTTP库。与urllib相比,Requests更加方便,可以节约我们大量的工作,建议爬虫使用Requests库。
requests请求方式
requests提供的请求各个请求方式:
import requests
requests.get(url)
requests.post(url)
requests.put(url)
requests.delete(url)
requests.head(url)
requests.options(url)
get请求
get请求核心代码是requests.get(url),具体例子如下:
import requests
url = 'http://baidu.com'
response = requests.get(url)
print(response)
打印出来的结果是:<Response [200]>。<>表示这是一个对象,也就是我们这里获取的是一个response的对象,200表示状态码。requests get 请求.png
post请求
post请求核心代码是requests.post(url,data={请求体的字典}),具体例子(百度翻译)如下:
import requests
url = 'https://fanyi.baidu.com'
data = {'from': 'zh',
'to': 'en',
'query': '人生苦短,我用python'
}
response = requests.post(url, data=data)
print(response)
data部分的参数,取自于页面NetWork→Headers→Form Data。打印出来的结果是:<Response [200]>。requests post 请求.png
response方法
获取网页的解码字符串
通过上述例子我们可以看到,不管是get请求还是post请求,我们得到的返回都是一个Response[200]的对象,但是我们想要得到的,应该是与网页response下一样的字符串对象,这时就需要用到response的方法了。
- response.text。获取网页的HTML字符串,该方式往往会出现乱码,出现乱码使用response.encoding='utf-8'
import requests
url = 'http://baidu.com'
response = requests.get(url)
response.encoding = 'utf-8'
print(response.text)
- response.content.decode()。把相应的二进制字节流转化为str类型。
import requests
url = 'http://baidu.com'
response = requests.get(url)
print(response.content.decode('gbk'))
在这里我总结了一下三种获取网页源码的三种方式,通过这三种方式,一定可以获取到网页正确解码之后的字符串:
- response.content.decode()
- response.content.decode('gbk')
- response.text
获取其他属性
import requests
response = requests.get("http://www.baidu.com")
print(type(response.requests.headers),response.requests.headers) #获取请求头
print(type(response.headers),response.headers) #获取响应头
print(type(response.cookies),response.cookies)#获取响应cookie
print(type(response.url),response.url) #获取响应url
print(type(response.requests.url),response.requests.url) #获取请求url