大家好，我是小瑜！
今天我来给介绍一个常用的库—requests来获取数据。文末给大家准备了cURL转换器领取。
在开始使用requests之前，需要使用下面的命令安装requests。
pip install requests # Mac电脑
pip3 install requests # Windows电脑
requests库可以帮我们下载网页源代码、文本、图片，甚至是音频。其实，“下载”本质上是向服务器发送请求并得到响应。
1. GET请求
向服务器端发送HTTP GET请求是最常见的操作之一，如果只是简单地发送GET请求，只需将URL传入get方法即可。要想为GET请求指定参数，可以使用get方法的params参数，该参数需要是一个字典类型的值。如果同时在URL中和params参数指定GET请求的参数，那么get方法会将参数合并。实例如下：
import requests
params = (
('cl', '3'),
('tn', 'baidutop10'),
('fr', 'top1000'),
('wd', '\u59D4\u5458\u5EFA\u8BAE\u7537\u5973\u5171\u62C5\u793E\u4F1A\u5316\u5206\u62C5\u5BB6\u52A1'),
('rsv_idx', '2'),
('rsv_dl', 'fyb_n_homepage'),
('hisfilter', '1'),
)
response = requests.get('https://www.baidu.com/s',params=params)
print(response.text)
运行结果如下：
在这里并没有我们想要的内容，这是因为我们还没有加请求头，下面我们来加上请求头看看。
2. 添加HTTP请求头
有很多网站，在访问其Web资源时，必须设置一些HTTP请求头，如User-Agent、Host、Cookie等，否则网站服务端会限制访问这些Web资源。使用get方法为HTTP添加请求头相当容易，只需要设置get方法的headers参数即可。实例如下：
import requests
cookies = {
'BIDUPSID': 'C18361A64764F59D646052EE4AD79175',
'PSTM': '1615270228',
'BDRCVFR[RLNFFabN1tf]': 'mk3SLVN4HKm',
'BAIDUID': 'C18361A64764F59DA5EF8CC25D35CD7C:FG=1',
'BD_HOME': '1',
'BD_UPN': '12314753',
'BDRCVFR[S4-dAuiWMmn]': 'gPGGOZY-30sfj63njb1nWRkg1RLgv99',
'delPer': '0',
'BD_CK_SAM': '1',
'PSINO': '2',
'H_PS_PSSID': '33256_33344_31253_33594_33570_33392_33600_33604_33459_26350_22157',
'H_PS_645EC': '8ffbimOuh1Rt%2FHBU7k%2FLARKLTxIx9QZBQ8MC5l5R83NAhtJrZ8wxGdpolO57H5he%2BA',
'BA_HECTOR': '0g2l84002404818ltc1g4e4ao0q',
'BDORZ': 'B490B5EBF6F3CD402E515D22BCDA1598',
}
headers = {
'Connection': 'keep-alive',
'Cache-Control': 'max-age=0',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Sec-Fetch-Site': 'same-origin',
'Sec-Fetch-Mode': 'navigate',
'Sec-Fetch-User': '?1',
'Sec-Fetch-Dest': 'document',
'Referer': 'https://www.baidu.com/?tn=88093251_57_hao_pg',
'Accept-Language': 'zh-CN,zh;q=0.9',
}
params = (
('cl', '3'),
('tn', 'baidutop10'),
('fr', 'top1000'),
('wd', '\u59D4\u5458\u5EFA\u8BAE\u7537\u5973\u5171\u62C5\u793E\u4F1A\u5316\u5206\u62C5\u5BB6\u52A1'),
('rsv_idx', '2'),
('rsv_dl', 'fyb_n_homepage'),
('hisfilter', '1'),
)
response = requests.get('https://www.baidu.com/s', headers=headers, params=params, cookies=cookies)
print(response.text)
程序运行结果部分图：
加上请求头后，我们请求的数据就多了！
3. 抓取二进制数据
get方法指定的URL不仅可以是网页，还可以是任何二进制文件，如png图像、pdf文档等。一般获取二进制数据，需要将数据保存到本地文件中。所以需要调用content属性获得bytes形式数据，然后在保存到文件中即可。4. 响应数据
发送HTTP请求后，get方法会返回响应，Response对象还有很多属性和方法可以用来获取更多的响应信息。如状态码、响应头、Cookie等等。在获得响应结果后，通常需要判断状态码，如果状态码是200，说明服务端成功响应了客户端，如果不是200，那就是有错误，需要进行检查处理。
查询状态码方式：
response = requests.get('https://www.baidu.com/s', headers=headers, params=params, cookies=cookies)
print(response.status_code)
5. 使用代理现在爬取很多网站可能会导致封掉自己的ip，所以我们需要使用代理ip，保护好自己的ip，requests使用代理发送请求非常容易，只需指定proxies参数即可。
import requests
proxies = {
"http": "http://10.10.1.10:3128",
"https": "https://10.10.1.10:1080",
}
requests.get("http://example.org", proxies=proxies)
6.身份验证
使用requests进行身份验证十分简单，只需设置auth参数即可。auth参数的值是一个HTTPBasicAuth对象，封装了用户名和密码。
import requests
from requests.auth import HTTPBasicAuth
url = "http://httpbin.org"
#身份验证-BasicAuth
r = requests.get(url+"/basic-auth/51zxw/8888",auth=HTTPBasicAuth('51zxw','8888'))
print(r.text)
程序运行结果如下：
总结
1. requests库的用法十分简单，大家只需多加练习即可。其中前两个最常用，大家仔细阅读。
2. 如果大家觉得请求头或者其他参数不太好找，建议大家使用cURL，可以一键构造出来，以后爬虫只需要提取和存储数据即可，不用在操构建请求的心思了！
3. 点击领取URL转换器！提取码：qwer
