JavaScript 二进制数组(ArrayBuffer、Typed Array、DataView)

前言

二进制数组是JavaScript用来操作二进制数据的一个接口。有ArrayBuffer对象、TypedArray视图和DataView视图三个对象接口。它们可以以数组下标的形式直接操作内存,可以与操作系统的原生接口进行二进制通信。

随着Web应用程序变得越来越强大,尤其一些新增加的功能例如:音频视频编辑,访问WebSockets的原始数据等,很明显有些时候如果使用JavaScript代码可以快速方便地通过类型化数组(Typed Arrays)来操作原始的二进制数据将会非常有帮助。注意:(不要把类型数组与正常数组混淆,在类型数组上调用Array.isArray(arr)会返回false,不是所有可用于正常数组的方法都能被类型数组所支持)

一、类型数组架构:缓冲和视图

JavaScript 类型数组(Typed Arrays)将实现拆分为缓冲视图两部分。它是一种处理二进制数据的特殊数组,像C语言那样直接操纵字节,不过得先用ArrayBuffer对象创建数组缓冲区(Array Buffer),再映射到指定格式的视图(view)之后,才能读写其中的数据。总共有两类视图,分别是特定类型的TypedArray和通用类型的DataView。在ES6引入类型化数组之后,大大提升了JavaScript数学运算的性能。

ArrayBuffer对象:代表内存之中的一段二进制数据,可以通过“视图”进行操作。“视图”部署了数组接口,这意味着,可以用数组的方法操作内存。

TypedArray对象:用来生成内存的视图,通过9个构造函数,可以生成9种数据格式的视图

DataView对象:用来生成内存的视图,可以自定义格式和字节序

简单说,ArrayBuffer对象代表原始的二进制数据,TypedArray对象代表确定类型的二进制数据,DataView对象代表不确定类型的二进制数据。它们支持的数据类型一共有9种(DataView对象支持除Unit8c以外的其他8种)

二、ArrayBuffer(缓冲区)

虽然ArrayBuffer对象可以开辟一片固定大小的内存区域(即数组缓冲区),但它不能直接读写所存储的数据,需要借助视图(TypeArray和DataView)来读写。

【2.1】ArrayBuffer()

通过构造函数ArrayBuffer()可以分配指定字节数量的缓冲区,如下代码所示,分配了一段8个字节的内存区域,每个字节的默认值都为0。有一点要注意,缓冲区的容量在指定后,就不可再修改。

let buffer = new ArrayBuffer(8);

【2.2】ArrayBuffer.prototype.byteLength

ArrayBuffer实例的byteLength属性,返回所分配的内存区域的字节长度。

有时候我们要分配的内存区域很大,有可能分配失败(因为没有那么多的连续空余内存),所以有必要利用检查是否分配成功。

let buffer = new ArrayBuffer(8)
console.log(buffer.byteLength) // 8

【2.3】ArrayBuffer.prototype.slice()

ArrayBuffer实例有一个slice方法,允许将内存区域的一部分,拷贝生成一个新的ArrayBuffer对象。

let buffer = new ArrayBuffer(8);
let newBuffer = buffer.slice(0, 3);

// 上面代码拷贝buffer对象的前3个字节(从0开始,到第3个字节前面结束),生成一个新的ArrayBuffer对象。
// slice方法其实包含两步,第一步是先分配一段新内存,第二步是将原来那个ArrayBuffer对象拷贝过去。

【2.4】ArrayBuffer.isView()

ArrayBuffer有一个静态方法isView,返回一个布尔值,表示参数是否为ArrayBuffer的视图实例。这个方法大致相当于判断参数,是否为TypedArray实例或DataView实例。

let buffer = new ArrayBuffer(8);
ArrayBuffer.isView(buffer) // false

let v = new Int32Array(buffer);
ArrayBuffer.isView(v) // true

三、TypedArray

ArrayBuffer对象作为内存区域,可以存放多种类型的数据。同一段内存,不同数据有不同的解读方式,这就叫做“视图”(view)。ArrayBuffer有两种视图,一种是TypedArray视图,另一种是DataView视图,两者的区别主要是字节序,前者的数组成员都是同一个数据类型,后者的数组成员可以是不同的数据类型。目前,TypedArray对象一共提供9种类型的视图,每一种视图都是一种构造函数。

【3.1】数据类型

  • Int8Array:8位有符号整数,长度1个字节
  • Uint8Array:8位无符号整数,长度1个字节
  • Uint8ClampedArray:8位无符号整数,长度1个字节,溢出处理不同
  • Int16Array:16位有符号整数,长度2个字节
  • Uint16Array:16位无符号整数,长度2个字节
  • Int32Array:32位有符号整数,长度4个字节
  • Uint32Array:32位无符号整数,长度4个字节
  • Float32Array:32位浮点数,长度4个字节
  • Float64Array:64位浮点数,长度8个字节

这9个构造函数生成的对象,统称为TypedArray对象。它们很像正常数组,都有length属性,都能用方括号运算符([])获取单个元素,所有数组的方法,在类型化数组上面都能使用。

TypeArray和数组主要的区别是:

  • TypedArray数组的所有成员,都是同一种类型和格式。
  • TypedArray数组的成员是连续的,不会有空位。
  • Typed化数组成员的默认值为0。比如, new Array(10)返回一个正常数组,里面没有任何成员,只是10个空位;new Unit8Array(10)返回一个类型化数组,里面10个成员都是0。
  • TypedArray数组只是一层视图,本身不储存数据,它的数据都储存在底层的ArrayBuffer对象之中,要获取底层对象必须使用buffer属性。

【3.2】TypedArray(buffer, byteOffset=0, length?)****

  • 第一个参数(必需):视图对应的底层ArrayBuffer对象,
  • 第二个参数(可选):视图开始的字节序号,默认从0开始。
  • 第三个参数(可选):视图包含的数据个数,默认直到本段内存区域结束。
// 创建一个8字节的ArrayBuffer
let b = new ArrayBuffer(8);

// 创建一个指向b的Int32视图,开始于字节0,直到缓冲区的末尾
let v1 = new Int32Array(b);

// 创建一个指向b的Uint8视图,开始于字节2,直到缓冲区的末尾
let v2 = new Uint8Array(b, 2);

// 创建一个指向b的Int16视图,开始于字节2,长度为2
let v3 = new Int16Array(b, 2, 2);

// v1[0]是一个32位整数,指向字节0~字节3;
// v2[0]是一个8位无符号整数,指向字节2;
// v3[0]是一个16位整数,指向字节2~字节3。
// v1、v2和v3是重叠的,只要任何一个视图对内存有所修改,就会在另外两个视图上反应出来。

【3.3】TypedArray(length)

视图还可以不通过ArrayBuffer对象,直接分配内存而生成。

let f64a = new Float64Array(8);
f64a[0] = 10;
f64a[1] = 20;
f64a[2] = f64a[0] + f64a[1];

// 上面代码生成一个8个成员的Float64Array数组(共64字节)
// 然后依次对每个成员赋值。这时,视图构造函数的参数就是成员的个数
// 可以看到,视图数组的赋值操作与普通数组的操作毫无两样

【3.4】TypedArray(typeArray)

类型化数组的构造函数,可以接受另一个视图实例作为参数。

let typedArray = new Int8Array(new Uint8Array(4));

// 上面代码中,Int8Array构造函数接受一个Uint8Array实例作为参数。
// 注意,此时生成的新数组,只是复制了参数数组的值,对应的底层内存是不一样的。新数组会开辟一段新的内存储存数据,不会在原数组的内存之上建立视图。

let x = new Int8Array([1, 1]);
let y = new Int8Array(x);
x[0] // 1
y[0] // 1
x[0] = 2;
y[0] // 1

// 上面代码中,数组y是以数组x为模板而生成的,当x变动的时候,y并没有变动。
//如果想基于同一段内存,构造不同的视图,可以采用下面的写法。

var x = new Int8Array([1, 1]);
var y = new Int8Array(x.buffer);
x[0] // 1
y[0] // 1
x[0] = 2;
y[0] // 2

【3.5】TypedArray(arrayLikeObject)

构造函数的参数也可以是一个普通数组,然后直接生成TypedArray实例。

let typedArray = new Uint8Array([1, 2, 3, 4]);

// 上面代码从一个普通的数组,生成一个8位无符号整数的TypedArray实例
// 注意,这时TypedArray视图会重新开辟内存,不会在原数组的内存上建立视图
// TypedArray数组也可以转换回普通数组,代码如下

let normalArray = Array.prototype.slice.call(typedArray);

【3.6】BYTES_PER_ELEMENT属性

每一种视图的构造函数,都有一个BYTES_PER_ELEMENT属性,表示这种数据类型占据的字节数

Int8Array.BYTES_PER_ELEMENT // 1
Uint8Array.BYTES_PER_ELEMENT // 1
Int16Array.BYTES_PER_ELEMENT // 2
Uint16Array.BYTES_PER_ELEMENT // 2
Int32Array.BYTES_PER_ELEMENT // 4
Uint32Array.BYTES_PER_ELEMENT // 4
Float32Array.BYTES_PER_ELEMENT // 4
Float64Array.BYTES_PER_ELEMENT // 8

// 这个属性在TypedArray实例上也能获取,即有TypedArray.prototype.BYTES_PER_ELEMENT

【3.7】ArrayBuffer与字符串的互相转换

ArrayBuffer转为字符串,或者字符串转为ArrayBuffer,有一个前提,即字符串的编码方法是确定的。假定字符串采用UTF-16编码(JavaScript的内部编码方式),可以自己编写转换函数。

// ArrayBuffer转为字符串,参数为ArrayBuffer对象
function ab2str(buffer) {
  return String.fromCharCode.apply(null, new Uint16Array(buffer));
}

// 字符串转为ArrayBuffer对象,参数为字符串
function str2ab(str) {
  let buf = new ArrayBuffer(str.length * 2); // 每个字符占用2个字节
  let bufView = new Uint16Array(buf);
  for (var i = 0, strLen = str.length; i < strLen; i++) {
    bufView[i] = str.charCodeAt(i);
  }
  return buf;
}

【3.8】溢出

不同的视图类型,所能容纳的数值范围是确定的。超出这个范围,就会出现溢出。比如,8位视图只能容纳一个8位的二进制值,如果放入一个9位的值,就会溢出。TypedArray数组的溢出处理规则,简单来说,就是抛弃溢出的位,然后按照视图类型进行解释。

let uint8 = new Uint8Array(1); // 1个字节 = 8位

uint8[0] = 256;
uint8[0] // 0

uint8[0] = -1;
uint8[0] // 255

// 上面代码中,uint8是一个8位视图,
// 而256的二进制形式是一个9位的值100000000,这时就会发生溢出。
// 根据规则,只会保留后8位,即00000000。uint8视图的解释规则是无符号的8位整数,所以00000000就是0。

【3.9】TypedArray.prototype.buffer

TypedArray实例的buffer属性,返回整段内存区域对应的ArrayBuffer对象。该属性为只读属性。

let a = new Float32Array(64);
let b = new Uint8Array(a.buffer);

// 上面代码的a视图对象和b视图对象,对应同一个ArrayBuffer对象,即同一段内存。

【3.10】TypedArray.prototype.byteLength,TypedArray.prototype.byteOffset

byteLength属性返回TypedArray数组占据的内存长度,单位为字节。byteOffset属性返回TypedArray数组从底层ArrayBuffer对象的哪个字节开始。这两个属性都是只读属性。

var b = new ArrayBuffer(8);

var v1 = new Int32Array(b);
var v2 = new Uint8Array(b, 2);
var v3 = new Int16Array(b, 2, 2);

v1.byteLength // 8
v2.byteLength // 6
v3.byteLength // 4

v1.byteOffset // 0
v2.byteOffset // 2
v3.byteOffset // 2

【3.11】TypedArray.prototype.length

length属性表示TypedArray数组含有多少个成员。注意将byteLength属性和length属性区分,前者是字节长度,后者是成员长度。

let a = new Int16Array(8);

a.length // 8
a.byteLength // 16

【3.12】TypedArray.prototype.set()

TypedArray数组的set方法用于复制数组(正常数组或TypedArray数组),也就是将一段内容完全复制到另一段内存。

var a = new Uint8Array(8);
var b = new Uint8Array(8);
b.set(a);

// 上面代码复制a数组的内容到b数组,它是整段内存的复制,比一个个拷贝成员的那种复制快得多。
// set方法还可以接受第二个参数,表示从b对象哪一个成员开始复制a对象。

var a = new Uint16Array(8);
var b = new Uint16Array(10);
b.set(a, 2)

// 上面代码的b数组比a数组多两个成员,所以从b[2]开始复制。

【3.13】TypedArray.prototype.subarray()​​​​​​​

subarray方法是对于TypedArray数组的一部分,再建立一个新的视图。subarray方法的第一个参数是起始的成员序号,第二个参数是结束的成员序号(不含该成员),如果省略则包含剩余的全部成员。

var a = new Uint16Array(8);
var b = a.subarray(2,3);

a.byteLength // 16
b.byteLength // 2

// 上面代码的a.subarray(2,3),意味着b只包含a[2]一个成员,字节长度为2。

【3.14】TypedArray.prototype.slice()​​​​​​​

TypeArray实例的slice方法,可以返回一个指定位置的新的TypedArray实例。slice方法的参数,表示原数组的具体位置,开始生成新数组。负值表示逆向的位置,即-1为倒数第一个位置,-2表示倒数第二个位置,以此类推。

let ui8 = Uint8Array.of(0, 1, 2); // [0, 1, 2]
ui8.slice(-1) // Uint8Array [2]

// 上面代码中,ui8是8位无符号整数数组视图的一个实例。
// 它的slice方法可以从当前视图之中,返回一个新的视图实例。

四、DataView

如果一段数据包括多种类型(比如服务器传来的HTTP数据),这时除了建立ArrayBuffer对象的复合视图以外,还可以通过DataView视图进行操作。

DataView视图提供更多操作选项,而且支持设定字节序。本来,在设计目的上,ArrayBuffer对象的各种TypedArray视图,是用来向网卡、声卡之类的本机设备传送数据,所以使用本机的字节序就可以了;而DataView视图的设计目的,是用来处理网络设备传来的数据,所以大端字节序或小端字节序是可以自行设定的。

【4.1】DataView(ArrayBuffer buffer [, 字节起始位置 [, 长度]])

DataView视图本身也是构造函数,接受一个ArrayBuffer对象作为参数,生成视图。

let buffer = new ArrayBuffer(24);
let dv = new DataView(buffer);

【4.2】DataView实例属性

DataView实例有以下属性,含义与TypedArray实例的同名方法相同。

DataView.prototype.buffer     // 返回对应的ArrayBuffer对象
DataView.prototype.byteLength // 返回占据的内存字节长度
DataView.prototype.byteOffset // 返回当前视图从对应的ArrayBuffer对象的哪个字节开始

【4.3】了解端序

端序又称字节序(Endianness),表示多字节中的字节排列方式。小端序是指字节的最低有效位在最高有效位之前(大端序正好与之相反),例如数字10,如果用16位二进制表示,那么它就变为0000 0000 0000 1010,换算成16进制就是000A,用小端序存储的话,该值会被表示成0A00。虽然大端序更符合人类的阅读习惯,但英特尔处理器和多数浏览器采用的都是小端序。引入该参数后,能更灵活的处理不同存储方式的数据。

【4.4】读取内存

  • getInt8:读取1个字节,返回一个8位整数。
  • getUint8:读取1个字节,返回一个无符号的8位整数。
  • getInt16:读取2个字节,返回一个16位整数。
  • getUint16:读取2个字节,返回一个无符号的16位整数。
  • getInt32:读取4个字节,返回一个32位整数。
  • getUint32:读取4个字节,返回一个无符号的32位整数。
  • getFloat32:读取4个字节,返回一个32位浮点数。
  • getFloat64:读取8个字节,返回一个64位浮点数。

这一系列get方法的参数都是一个字节序号(不能是负数,否则会报错),表示从哪个字节开始读取。

let buffer = new ArrayBuffer(24);
let dv = new DataView(buffer);

// 从第1个字节读取一个8位无符号整数
let v1 = dv.getUint8(0);

// 从第2个字节读取一个16位无符号整数
let v2 = dv.getUint16(1);

// 从第4个字节读取一个16位无符号整数
let v3 = dv.getUint16(3);

// 上面代码读取了ArrayBuffer对象的前5个字节,其中有一个8位整数和两个十六位整数。

如果一次读取两个或两个以上字节,就必须明确数据的存储方式,到底是小端字节序还是大端字节序。默认情况下,DataView的get方法使用大端字节序解读数据,如果需要使用小端字节序解读,必须在get方法的第二个参数指定true。

// 小端字节序
let v1 = dv.getUint16(1, true);

// 大端字节序
let v2 = dv.getUint16(3, false);

// 大端字节序
let v3 = dv.getUint16(3);

【4.5】写入内存

  • setInt8:写入1个字节的8位整数。
  • setUint8:写入1个字节的8位无符号整数。
  • setInt16:写入2个字节的16位整数。
  • setUint16:写入2个字节的16位无符号整数。
  • setInt32:写入4个字节的32位整数。
  • setUint32:写入4个字节的32位无符号整数。
  • setFloat32:写入4个字节的32位浮点数。
  • setFloat64:写入8个字节的64位浮点数。

这一系列set方法,接受两个参数,第一个参数是字节序号,表示从哪个字节开始写入,第二个参数为写入的数据。对于那些写入两个或两个以上字节的方法,需要指定第三个参数,false或者undefined表示使用大端字节序写入,true表示使用小端字节序写入。

// 在第1个字节,以大端字节序写入值为25的32位整数
dv.setInt32(0, 25, false);

// 在第5个字节,以大端字节序写入值为25的32位整数
dv.setInt32(4, 25);

// 在第9个字节,以小端字节序写入值为2.5的32位浮点数
dv.setFloat32(8, 2.5, true);

五、具体应用

【5.1】webSocket

webSocket可以通过arrayBuffer,发送或接收二进制数据。

let socket = new WebSocket('ws://127.0.0.1:8081');
socket.binaryType = 'arraybuffer';

socket.addEventListener('open', function (event) {
  let typedArray = new Uint8Array(4);
  socket.send(typedArray.buffer);
});

socket.addEventListener('message', function (event) {
  let arrayBuffer = event.data;
  // ···
});

【5.2】Ajax

传统上,服务器通过AJAX操作只能返回文本数据,即responseType属性默认为text。XMLHttpRequest第二版XHR2允许服务器返回二进制数据,这时分成两种情况。如果明确知道返回的二进制数据类型,可以把返回类型(responseType)设为arraybuffer;如果不知道,就设为blob。

let xhr = new XMLHttpRequest();
xhr.open('GET', someUrl);
xhr.responseType = 'arraybuffer';

xhr.onload = function () {
  let arrayBuffer = xhr.response;
  // ···
};

xhr.send();

【5.3】Canvas

将Canvas数据转换为二进制格式

imagedata = context.getImageData(0, 0, imagewidth,imageheight);    
let canvaspixelarray = imagedata.data;   

let canvaspixellen = canvaspixelarray.length;  
let bytearray = new Uint8Array(canvaspixellen);  

for (let i=0;i<canvaspixellen;++i) {  
     bytearray[i] = canvaspixelarray[i];  
} 

把二进制数据还原为图像的代码如下,请注意我们不能直接从arrayBuffer获取数据直接放到Canvas中

let bytearray = new Uint8Array(event.data);  

let tempcanvas = document.createElement('canvas');  
    tempcanvas.height = imageheight;  
    tempcanvas.width = imagewidth;  
let tempcontext = tempcanvas.getContext('2d');  
let imgdata = tempcontext.getImageData(0,0,imagewidth,imageheight);  
let imgdataimgdatalen = imgdata.data.length;  

for(let i=8;i<imgdatalen;i++)  {  
    imgdata.data[i] = bytearray[i];  
}  

tempcontext.putImageData(imgdata,0,0);  

文章每周持续更新,可以微信搜索「 前端大集锦 」第一时间阅读,回复【视频】【书籍】领取200G视频资料和30本PDF书籍资料

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342