HTTP传输大数据的方式

本文为极客时间《透视HTTP协议》笔记



数据压缩

请求方带着“Accept-Encoding”头字段,表示请求方所支持的压缩格式,如:gzip,deflate,br等。

应答方可以选择一种压缩算法放进“Content-Encoding”响应头里面,再把数据压缩后发给请求方。

但使用目前的数据压缩方式通常值对文本文件有较好的压缩率。

分块传输

压缩是把大文件整体变小,在传输后接收方再对文件进行解压还原。另一种方式就是将大文件拆开,分解成多个小块,分批发送,收到后进行重新组装还原。

在响应头里面用文字段“Transfer-Encoding: chunked”来表示body部分分成了许多块进行逐个发送。注意:chunk方式仍然是一个请求内发生的事情。

“Transfer-Encoding: chunked”和“Content-Length“这两个字段是互斥的.也就是说chunked 方式的长度是未知的。

分块传输的结构如下:

1.每个分块包含两个部分,长度头和数据块(其中此部分长度头为chunk当前部分的长度,这和content-length并不相同,chunked编码用在流式数据发送时,通常数据是即时生成的,故之后在处理全部后才会知道整个content-length,故在发送时候整个content-length是未知的)

2.长度头以CRLF(回车换行,即\r\n)结尾的一行明文,用16进制数字表示长度;

3.数据块紧跟在长度头后,最后也用CRLF结尾,但数据不包括CRLF;

4.最后一个长度为0的块表示结束,即”0\r\n\r\n“


chunk结构

范围请求

HTTP支持范围请求,只要用于允许请求段在请求头里面使用专用的字段只获取文件的一部分。相同于从请求方开始的”化整为零“。

范围请求不是Web服务器必备的功能,可以实现也可以不实现,所以服务器必须要在响应头中使用字段”Accept-Ranges: bytes“告诉请求方支持范围请求。若不发送或着发送的是”Accept-Ranges: none“则表示当前的web服务器不支持分段请求。

请求Range字段表示请求的范围。格式为”bytes=x-y“。

应答方收到Range字段处理流程为:

1.检查范围是否合法,若不合法则返回状态416,表示范围请求有误。

2.若范围正确服务器会返回206 Partial Content 表示这只是数据的一部分。

3.服务器要添加Content-Range字段,告诉片段的实际偏移量和资源的总大小,格式是”bytes x-y/length“

GET /16-2 HTTP/1.1

Host: www.chrono.com

Conent: bytes=0-31  请求头

context-ramgeL表示读取到了文件片段。


一般来说短续传,多段下载,都是基础分段下载实现的。

请求大概如下:

先发个 HEAD,看服务器是否支持范围请求,同时获取文件的大小。

开个N进程,每线程使用Range字段划分出各自负责的片段,分别发送请求。

下载失败只需要发送对应的未下载区域即可。

多端数据

多端数据的只要用意是使用一个请求,同时发送多个片段的请求,因为Range头里面支持使用多个”X-Y“一次性获取多个片段数据。

这种情况需要设置MIME类型为”multipart/byteranges“,并使用”boundary=xxx“给出段之间的分隔标记。



multipart

请求与响应如:

GET /16-2 HTTP/1.1

Host: www.chrono.com

Range: bytes=0-9, 20-29

HTTP/1.1 206 Partial Content

Content-Type: multipart/byteranges; boundary=00000000001

Content-Length: 189 Connection: keep-alive Accept-Ranges: bytes

--00000000001

Content-Type: text/plain

Content-Range: bytes 0-9/96

// this is

--00000000001

Content-Type: text/plain

Content-Range: bytes 20-29/96

ext json d --00000000001--

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,254评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,875评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,682评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,896评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,015评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,152评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,208评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,962评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,388评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,700评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,867评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,551评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,186评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,901评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,142评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,689评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,757评论 2 351

推荐阅读更多精彩内容

  • API定义规范 本规范设计基于如下使用场景: 请求频率不是非常高:如果产品的使用周期内请求频率非常高,建议使用双通...
    有涯逐无涯阅读 2,524评论 0 6
  • HTTP的头域包括通用头,请求头,响应头和实体头四个部分。每个头域由一个域名,冒号(:)和域值三部分组成。域名是大...
    肆意咯咯咯阅读 1,885评论 0 0
  • 公司某产品的网页有安全保护机制,每过一段时间就会自动登出,没办法毕竟是对安全要求比较高的产品,所以只能不停地登录。...
    山猫猫那个红艳艳阅读 514评论 0 5
  • 1、什么是Keep-Alive模式? 我们知道HTTP协议采用“请求-应答”模式,当使用普通模式,即非KeepAl...
    寄去远方的盛夏阅读 793评论 0 0
  • 一、HTTP(HyperTextTransferProtocol)是超文本传输协议的缩写,它用于传送WWW方式的数...
    wuxuan94阅读 278评论 0 1