Python网络爬虫01——HTTP请求

什么是HTTP协议

HTTP 协议是互联网的基础协议,也是网页开发的必备知识,最新版本 HTTP/2 更是让它成为技术热点。

HTTP/0.9

1、1991发布0.9版本的为最早版本;
2、HTTP是基于TCP/IP协议的应用层协议;
3、 它不涉及数据包(packet)传输,主要规定了客户端和服务器之间的通信格式 ;
4、默认使用80端口;
5、0.9版本只有一个命令:GET
请求:

GET /index.html

响应:

<html>
<body>Hello World</body>
</html>

说明:

1、 TCP 连接(connection)建立后,客户端向服务器请求(request)网页index.html
2、 协议规定,服务器只能回应HTML格式的字符串,不能回应别的格式
3、 服务器发送完毕,就关闭TCP连接

HTTP/1.0

1、 1996年5月,HTTP/1.0 版本发布;
2、 任何格式的内容都可以发送:传输文字、图像、视频、二进制文件;
3、支持命令:GET、POST、HEAD命令;
4、 除了数据部分,每次通信都必须包括头信息(HTTP header),用来描述一些元数据 ;
5、 其他的新增功能还包括状态码(status code)、多字符集支持、多部分发送(multi-part type)、权限(authorization)、缓 存(cache)、内容编码(content encoding)等

请求:

GET / HTTP/1.0
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5)
Accept: */*

响应:

HTTP/1.0 200 OK
Content-Type: text/plain
Content-Length: 137582
Expires: Thu, 05 Dec 1997 16:00:00 GMT
Last-Modified: Wed, 5 August 1996 15:55:28 GMT
Server: Apache 0.84

<html>
<body>Hello World</body>
</html>

说明:

1、 第一行是请求命令,必须在尾部添加协议版本(HTTP/1.0),后面就是多行头信息,描述客户端的情况。
2、 回应的格式是"头信息 + 一个空行(\r\n) + 数据"。其中,第一行是"协议版本 + 状态码(status code)+ 状态描述"
3、 头信息必须是 ASCII 码,后面的数据可以是任何格式 , 服务器回应的时候,必须告诉客户端,数据是什么格式,这就是Content-Type字段的作用。
4、常见 Content-Type( 这些数据类型总称为MIME type,每个值包括一级类型和二级类型,之间用斜杠分隔 ):

  • text/plain
  • text/html
  • text/css
  • image/jpeg
  • image/png
  • image/svg+xml
  • audio/mp4
  • video/mp4
  • application/javascript
  • application/pdf
  • application/zip
  • application/atom+xml

5、 除了预定义的类型,厂商也可以自定义类型,如:application/vnd.debian.binary-package( 发送的是Debian系统的二进制数据包 )
6、 MIME type还可以在尾部使用分号,添加参数,如:Content-Type: text/html; charset=utf-8( 发送的是网页,而且编码是UTF-8 )
7、客户端可以使用Accept字段声明自己可以接受哪些数据格式 ,如:Accept: /( 客户端声明自己可以接受任何格式的数据 )
8、 MIME type不仅用在HTTP协议,还可以用在其他地方,比如HTML网页
如:

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<!-- 等同于 -->
<meta charset="utf-8" />

6、 由于发送的数据可以是任何格式,因此可以把数据压缩后再发送Content-Encoding字段 说明数据的压缩的方法,

如:

Content-Encoding: gzip
Content-Encoding: compress
Content-Encoding: deflate

客户端在请求时,用Accept-Encoding字段说明自己可以接受哪些压缩方法 ,

如:

Accept-Encoding: gzip, deflate

7、缺点:
1)每个TCP连接只能发送一个请求。发送数据完毕,连接就关闭,如果还要请求其他资源,就必须再新建一个连接;
2) CP连接的新建成本很高,因为需要客户端和服务器三次握手,并且开始时发送速率较慢(slow start)。所以,HTTP1.0版本的性能比较差。随着网页加载的外部资源越来越多,这个问题就愈发突出了;

解决方法:
1)为了解决这个问题,有些浏览器在请求时,用了一个非标准的Connection字段如:

Connection: keep-alive

2) 这个字段要求服务器不要关闭TCP连接,以便其他请求复用。服务器同样回应这个字段
3) 一个可以复用的TCP连接就建立了,直到客户端或服务器主动关闭连接。但是,这不是标准字段,不同实现的行为可能不一致,因此不是根本的解决办法

HTTP/1.1

1、 1997年1月,HTTP/1.1 版本发布 ;
2、 它进一步完善了 HTTP 协议,一直用到了20年后的今天,直到现在还是最流行的版本;
3、 入了持久连接(persistent connection), 即TCP连接默认不关闭,可以被多个请求复用,不用声明Connection: keep-alive;
4、 客户端和服务器发现对方一段时间没有活动,就可以主动关闭连接。不过,规范的做法是,客户端在最后一个请求时,发送Connection: close,明确要求服务器关闭TCP连接 :Connection: close;
5、 目前,对于同一个域名,大多数浏览器允许同时建立6个持久连接;
6、 引入了管道机制(pipelining),即在同一个TCP连接里面,客户端可以同时发送多个请求。这样就进一步改进了HTTP协议的效率,如:客户端需要请求两个资源。以前的做法是,在同一个TCP连接里面,先发送A请求,然后等待服务器做出回应,收到后再发出B请求。管道机制则是允许浏览器同时发出A请求和B请求,但是服务器还是按照顺序,先回应A请求,完成后再回应B请求
7、Content-Length字段; 个TCP连接现在可以传送多个回应,势必就要有一种机制,区分数据包是属于哪一个回应的。这就是 Content-length字段的作用,声明本次回应的数据长度,如:Content-Length: 3495( 上面代码告诉浏览器,本次回应的长度是3495个字节,后面的字节就属于下一个回应了 )
8、 使用Content-Length字段的前提条件是,服务器发送回应之前,必须知道回应的数据长度
9、 对于一些很耗时的动态操作来说,这意味着,服务器要等到所有操作完成,才能发送数据,显然这样的效率不高。更好的处理方法是,产生一块数据,就发送一块,采用"流模式"(stream)取代"缓存模式"(buffer); 因此,1.1版规定可以不使用 Content-Length字段,而使用"分块传输编码"(chunked transfer encoding)。只要请求或回应的头信息有
Transfer-Encoding 字段,就表明回应将由数量未定的数据块组成 ,
如:

Transfer-Encoding: chunked

10、 每个非空的数据块之前,会有一个16进制的数值,表示这个块的长度。最后是一个大小为0的块,就表示本次回应的数据发送完
如:

 HTTP/1.1 200 OK
Content-Type: text/plain
Transfer-Encoding: chunked
25
This is the data in the first chunk
1C
and this is the second one
3
con
8
sequence
0

11、 1.1版还新增了许多动词方法:PUT、PATCH、HEAD、 OPTIONS、DELETE
12、 客户端请求的头信息新增了Host字段,用来指定服务器的域名,如:Host:www.example.com( 有了Host字段,就可以将请求 发往同一台服务器上的不同网站,为虚拟主机的兴起打下了基础 )
13、缺点:
1) 虽然1.1版允许复用TCP连接,但是同一个TCP连接里面,所有的数据通信是按次序进行的。服务器只有处理完一个回应,才会进行下一个回应。要是前面的回应特别慢,后面就会有许多请求排队等着。这称为"队头堵塞"(Head-of-line blocking)
2) 为了避免这个问题,只有两种方法:一是减少请求数,二是同时多开持久连接。这导致了很多的网页优化技巧,比如合并脚本和样式表、将图片嵌入CSS代码、域名分片(domain sharding)等等。如果HTTP协议设计得更好一些,这些额外的工作是可以避免的

HTTP/2

1、 2015年,HTTP/2 发布。它不叫 HTTP/2.0,是因为标准委员会不打算再发布子版本了

2、二进制协议:
1) HTTP/2 则是一个彻底的二进制协议,头信息和数据体都是二进制,并且统称为"帧"(frame):头信息帧和数据帧
2)二进制的好处是,可以定义额外的帧, HTTP/2 定义了近十种帧,为将来的高级应用打好了基础 , 如果使用文本实现这种功能,解析数据将会变得非常麻烦,二进制解析则方便得多

3、多工:

1) HTTP/2 复用TCP连接,在一个连接里,客户端和浏览器都可以同时发送多个请求或回应 ,而且不用按照顺序一一对 应,这样就避免了"队头堵塞", 这样双向的、实时的通信,就叫做多工(Multiplexing)。
2)举例来说,在一个TCP连接里面,服务器同时收到了A请求和B请求,于是先回应A请求 , 结果发现处理 过程非常 耗时,于是就发送A请求已经处理好的部分, 接着回应B请求,完成后,再发送A请求剩下的 部分。

4、 数据流:

1) HTTP/2 的数据包是不按顺序发送的 ,同一个连接里连续的数据包,可能属于不同回应,因此, 必须要对数据包做标记,指出它属于哪个回应。
2) HTTP/2 将每个请求或回应的所有数据包,称为一个数据流(stream)。每个数据流都有独一无二的编号,数据包发送的时候,必须标注数据流ID,用来区分它属于哪个数据流, 另外还规定,客户端发出的数据流,ID一律为奇数,服务器发出的,ID为偶数。
3) 数据流发送到一半的时候,客户端和服务器都可以发送信号(RST_STREAM帧), 取消这个数据流。1.1版取消数据流的唯一方法,就是关闭TCP连接。这就是说,HTTP/2 可以取消某一次请求,同时保证TCP连接还打开着,可以被其他请求使用
4) 客户端还可以指定数据流的优先级。优先级越高,服务器就会越早回应

5、头信息压缩:

1)HTTP协议不带有状态,每次请求必须附上所有信息,所以,请求字段都是重复的, 比如Cookie和User Agent,一模一样的内 容,每次请求都必须附带,这会浪费很多带宽,也影响速度
2) HTTP/2 对这一点做了优化,引入了头信息压缩机制(header compression),一方面,头信息使用gzip或compress压缩后再发送; 另一方面客户端和服务器同时维护同一张头信息表,所有字段都会存入这个表,生成一个索引号,以后就不发送同样的字段了 , 发送索引号,这样就提高速度。

6、服务器推送:

1) HTTP/2 允许服务器未经请求,主动向客户端发送资源,这叫做服务器推送 (server push)。
2)常见场景是客户端请求一个网页,这个网页包含很多静态资源, 正常情况下,客户端必须收到网页后,解析HTML源码,发现 有静态资源,再发出静态资源请求,其实服务器可以预期到客户端请求网页后,很可能会请求静态资源,所以主动他这些静态资 源随着网页一起发送给客户端

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 230,048评论 6 542
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 99,414评论 3 429
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 178,169评论 0 383
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 63,722评论 1 317
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 72,465评论 6 412
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 55,823评论 1 328
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 43,813评论 3 446
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 43,000评论 0 290
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 49,554评论 1 335
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 41,295评论 3 358
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 43,513评论 1 374
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 39,035评论 5 363
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 44,722评论 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 35,125评论 0 28
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 36,430评论 1 295
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 52,237评论 3 398
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 48,482评论 2 379

推荐阅读更多精彩内容