ByteBuf:Netty的数据容器

1. ByteBuf API的优点

  • 可以被扩展
  • 通过内置的复合缓冲区类型实现了透明的零拷贝
  • 容量可以按需增长
  • 读写模式切换不需要调用flip方法
  • 读写使用不用的索引
  • 方法支持链式调用
  • 支持引用计数
  • 支持池化

2.ByteBuf如何工作

ByteBuf维护了两个索引,一个读索引(readerIndex),一个写索引(writerIndex),读取数据时readerIndex增加,写入数据时writerIndex增加,当readerIndex达到writerIndex相同值时,再继续读取数据将会触发一个IndexOutOfBoundException

3.ByteBuf使用模式

  1. 堆缓冲区

最常用的模式是将数据存储到JVM对空间中,这种模式称为支撑数组,它能在没有使用池化的情况下提供快速的分配和释放。例子如下

ByteBuf byteBuf = ...;
if (byteBuf.hasArray()) {
    byte[] bytes = byteBuf.array();
    int offset = byteBuf.arrayOffset() + byteBuf.readerIndex();
    int length = byteBuf.readableBytes();
    hanle(array, offset, length);
}

当hasArray方法返回false时,尝试获取支撑数组将会引发UnsupportedOperationException,这和JDK的ByteBuffer类似

  1. 直接缓冲区

直接缓冲区允许通过本地调用来分配内存,这种方式可以减少每次调用本地I/O时将缓冲区内容复制到中间缓冲区。

直接缓冲区缺点在于,它的内存分配和释放比较昂贵,同时因为数据不在堆上,所以代码中不得不多进行一次复制,如下

ByteBuf byteBuf = ...;
if (!byteBuf.hasArray()) {
    int length = byteBuf.readableBytes();
    byte[] bytes = new byte[length];
    byteBuf.getBytes(byteBuf.readerIndex(), bytes);
    handle(bytes, 0, length);
}
  1. 复合缓冲区

复合缓冲区为多个ByteBuf提供了一个聚合视图,它允许添加或删除ByteBuf实例,Netty通过ByteBuf子类---CompositeByteBuf实现这个模式,它提供了一个将多个缓冲区表示为单个合并缓冲区的虚拟表示,例子如下

CompositeByteBuf buf = Unpooled.compositeBuffer();
ByteBuf headBuf = ...;
ByteBuf bodyBuf = ...;
buf.addComponents(headBuf, bodyBuf);
for (ByteBuf b:buf) {
    System.out.println(b.toString());
}

访问复合缓冲区

CompositeByteBuf buf = Unpooled.compositeBuffer();
int length = buf.readableBytes();
byte[] bytes = new byte[length];
buf.getBytes(buf.readerIndex(), bytes);
handle(bytes, 0, length);

4.ByteBuf的字节操作

  • 随机访问

和Java中的数组一样,ByteBuf的索引是从0开始,最后一个字节的索引是capacity()-1,对ByteBuf的随机访问代码如下

ByteBuf buf = ...;
for (int i = 0; i < buf.capacity(); i ++) {
    byte b = buf.getByte(i);
    System.out.println((char)b);
}

需要索引来获取数据的方法不会改变readerIndex、writerIndex的值

  • 可读字节

对于每个新分配的ByteBuf,其默认readerIndex都为0,任何以read或者skip开头的方法,会检索或者跳过位于当前readerIndex的数据,并且增加readerIndex的值

ByteBuf buf = ...;
while (buf.isReadable()) {
    System.out.println((char)buf.readByte());
}
  • 可写字节

可写字段指拥有一段未定义、可写入的内容,新分配的缓冲区默认writerIndex为0,任何以write为开头的方法都会增加writeIndex的值。

ByteBuf buf = ...;
while (buf.writableBytes() >= 4) {
    buf.writeInt(random.nextInt());
}
  • 索引管理

通过调用markReaderIndex、markWriterIndex、resetReaderIndex、resetWriterIndex可以实现对读、写索引的标记与重置,可以通过readerIndex(int)、writerIndex(int)方法来移动读、写索引,注意,任何试图将索引移动到一个无效位置的操作都会触发IndexOutBoundsException。

clear方法会将readerIndex和writerIndex置0,但是不会清除内存当中的内容,它仅仅是改变了索引的值。

  • 查找操作

ByteBuf中最简单的查找方法是indexOf(fromIndex, toIndex, value)方法,这个方法直接返回,这个方法查询指定索引之间的字符与指定值是否匹配,并返回查找到的索引。ByteBuf还提供了forEachByte()方法,这个方法接收一个ByteBufProcessor的实例,ByteBufProcessor接口只有一个方法:

boolean process(byte value)

通过这种方式可以使用一些较为复杂的查询逻辑来进行查询操作,ByteBufProcessor针对一些常见的值定义了一些具体实例,如程序想要查找换行符

ByteBuf buf = ...;
int index = buf.forEach(ByteBufProcessor.FIND_LF);
  • 派生缓冲区

Netty为ByteBuf提供了如下创建视图的方法

  1. duplicate()
  2. slice()
  3. slice(int, int)
  4. Unpooled。unmodifiableBuffer();
  5. order(ByteOrder);
  6. readSlice(int);

以上每个方法都会返回一个新的ByteBuf实例,他们维护自己的读、写索引,但是内部的存储是共享的,所以对视图实例的修改也会影响到源实例的内容。

如果需要一个ByteBuf的真是副本,可以使用copy()和copy(int, int)方法,这两个方法会返回一个拥有独立存储的ByteBuf。

  • 读写操作

ByteBuf的读写操作与JDK ByteBuffer类似,都提供了getXXX(int)、setXXX(int)的相对给定索引的读写方法,如getBoolean(int)、setBoolean(int, boolean)。

而readXXX()和wirteXXX()操作则是相对于readerIndex和writerIndex进行读写的,此类方法会修改readerIndex和writerIndex的值,如writeBoolean(boolean)、readBoolean()。

  • 其他操作
名称 描述
isReadable() 如果有可读的字节,返回true
isWritable() 如果有可写的空间,返回true
readableBytes() 返回可读取的字节数
writableBytes() 返回可以写入的字节数

5.ByteBuf分配

ByteBuf分配分为两种,一种是ByteBufAllocator进行分配,另外一种通过Unpooled进行分配,ByteBufAllocator的实例可以通过一下两种方式获取

Channel channel = ...;
ByteAllocator allocator1 = channel.alloc();

ChannelHandlerContext ctx = ...;
ByteAllocator allocator2 = ctx.alloc();

ByteBufAllocator提供了一系列重载的buffer()、heapBuffer()、directBuffer()、compositeBuffer()方法来分配ByteBuf。

在某些情况下可能无法获取到一个ByteAllocator的实例,此时可以使用Unpooled工具类来创建ByteBuf,具体方法如下

  • buffer()
  • buffer(int initialCapacity)
  • buffer(int initialCapacity, int maxCapacity)
  • directBuffer()
  • directBuffer(int initialCapacity)
  • directBuffer(int initialCapacity, int maxCapacity)
  • wrappedBuffer(...)
  • copiedBuffer(...)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容