07《Python 原生爬虫教程》requests 第三方库

官方定义:Requests is the only Non-GMO HTTP library for Python, safe for human consumption.
简单翻译一下就是:Requests 是唯一适用于 Python 的 Non-GMO HTTP 库,可供开发人员安全使用。

上面是 requests 库的官方定义。简单来说 requests 库是 Python 的第三方 HTTP 库,以 urllib 为基础。因为使用简单,人性化,安全的特性,被广泛的用来爬虫的请求发送。

1. requests 安装

可以通过 PIP 进行安装:

Tips:Python 环境安装之后 PIP 也会自动安装,直接打开 CMD 命令行使用即可。

pip install requests

也可以到 官网下载,然后通过以下命令进行安装。然后进入到下载的目录,输入以下命令:

python setup.py install

2. requests 请求

下面我们使用慕课网作为目标网站,并使用 requests 库进行请求:

2.1 get 无参数请求

我们直接使用 request 的 get 方法来请求慕课网,然后打印返回结果:

import requests
r = requests.get('https://www.imooc.com/')
print(r.text)

请求结果如下,格式为 HTML:

<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>慕课网-程序员的梦工厂</title>
<meta http-equiv="X-UA-Compatible" content="IE=edge, chrome=1">
<meta name="renderer" content="webkit" />
<meta name="mobile-agent" content="format=wml"; url="https://m.imooc.com/">
<link rel="alternate" media="only screen and (max-width: 640px)" href="https://m.imooc.com/">
<meta name="mobile-agent" content="format=xhtml"; url="https://m.imooc.com/">
<meta name="mobile-agent" content="format=html5"; url="https://m.imooc.com/">
<meta property="qc:admins" content="77103107776157736375" />
......

2.2 get 有参数请求

下面我们给 get 请求加上参数,来看看返回结果:

import requests

r = requests.get('https://www.imooc.com/common/adver-getadverlistbymarking?marking=global_newcomer
', {marking: global_newcomer})
print(r.text)

请求结果如下,格式为 Json:

{"result":0,"data":{"global_newcomer":{"id":"2696","name":"\u65b0\u4eba\u6709\u793c","column_id":"366","description":"","pic":"\/\/img3.mukewang.com\/5df2084b096514ff25600136.png","links":"https:\/\/www.imooc.com\/act\/newcomer","type":"99","type_id":"0","create_time":"1576142925","uid":"10001","is_open":"0","seqid":"0","status":"0","start_time":"0","end_time":"0","skillid_list":""}},"msg":"\u6210\u529f"}

2.3 无参数的 post 请求

import requests

r = requests.post('https://www.imooc.com/search/hotwords')
print(r.text)

请求结果如下,格式为 Json:

{"result":0,"data":["Vue","Python","Java","flutter","springboot","docker","React","\u5c0f\u7a0b\u5e8f"],"msg":"\u6210\u529f"}

2. 4 有参数的 post 请求

import requests

r = requests.post('https://httpbin.org/post', data = {'key':'value'})
print(r.text)

请求结果如下,格式为 Json:

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key": "value"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "9", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.22.0", 
    "X-Amzn-Trace-Id": "Root=1-5e3bde61-bb0c787463f0852c81b7faa8"
  }, 
  "json": null, 
  "origin": "124.78.170.82", 
  "url": "https://httpbin.org/post"
}
代码块1234567891011121314151617181920

除了 get,post 等基本请求,Request 也支持其他的请求类型。以下罗列的是官方提供的其他请求方法:

r = requests.put('https://httpbin.org/put', data = {'key':'value'})
r = requests.delete('https://httpbin.org/delete')
r = requests.head('https://httpbin.org/get')
r = requests.options('https://httpbin.org/get')

3. requests 的响应

3.1 获取二进制响应内容

import requests
r = requests.post('https://www.imooc.com/')
print(r.content)

返回的二进制文本如下所示:

b'\n\r\n<!DOCTYPE html>\r\n<html>\r\n<head>\r\n<meta charset="utf-8">\r\n<title>\xe6\x85\x95\xe8\xaf\xbe\xe7\xbd\x91-\xe7\xa8\x8b\xe5\xba\x8f\xe5\x91\x98\xe7\x9a\x84\xe6\xa2\xa6\xe5\xb7\xa5\xe5\x8e\x82</'
......

某些情况下,我们需要获取二进制的内容,比如图片或者一些视频的信息流。

3.2 获取响应状态码和响应编码

import requests
r = requests.post('https://www.imooc.com/')
print(r.status_code)
print(r.encoding)

请求成功后将会得到以下的状态码。另外,request 库同时也提供了 requests.codes.ok 来表示请求成功。

通过响应码,我们可以知道我们请求的是否发送成功,是否被正确的解析,以及是否正确的返回。通过检验程序的编码,来防止编码不一致导致的乱码问题。

4. 自定义请求头

这里,我们把程序的请求头封装在了字典里,然后通过字典的形式传给 requests 进行请求,这样做,有助于我们代码的整洁性和可维护性。

url = 'https://www.imooc.com/'
headers = {'user-agent': 'app/1.0'}
r = requests.get(url, headers=headers)
print(r.request.headers) # 响应状态码

上述代码,我们仍然可以请求成功,只是更改了 user-agent 字段而已,返回的结果如下所示:

{'user-agent': 'muke_app/1.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

5. 高级内容

上面的内容我们只是罗列了一些 requests 库经常使用的功能,但是已经足够我们进行爬虫开发了。当然 requests 库还有许多的高级功能比如设置请求时间,会话,代理,以及身份认证等。有兴趣的同学可以参考去 Requests 官网 学习。这里我们就不一一赘述了。

6. 小结

这一个小节,我们讲解了 Requests 第三方库,介绍了安装,以及请求和响应。Reqeusts 库的设计非常的简单方便,绝大多数的爬虫程序都是使用 Requests 库进行网页的爬取。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,635评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,543评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 168,083评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,640评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,640评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,262评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,833评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,736评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,280评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,369评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,503评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,185评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,870评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,340评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,460评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,909评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,512评论 2 359

推荐阅读更多精彩内容