ByteBuf介绍
因为所有的网络通信都涉及了字节序列的移动,所以高效易用的数据结构是必不可少的。Java的NIO提供了ByteBuffer作为它的字节容器,但是这个类使用起来很复杂,而且也有些繁琐。
ByteBuf优点:
- 可以被用户自定义的缓冲区类型扩展
- 通过内置的复合缓冲区类型实现了透明的零拷贝
- 容量按需增长
- 在读写模式切换时,不需要像NIO一样调用ByteBuffer的flip()方法
- 读和写使用了不同的索引
- 支持方法的链式调用
- 支持引用计数
- 支持池化
ByteBuf结构
上图为ByteBuf的一个结构图,从上图可以看出:
ByteBuf维护了两个索引,一个用于读取,一个用于写入。当从ByteBuf读取时,它的readerIndex将会递增已经被读取的字节数;类似的,当写入Bytebuf时,它的writerIndex将会递增。
当readerIndex和writerIndex相等时,再进行读取会抛出
IndexOutOfBoundsException
ByteBuf中还有一个参数是maxCapacity,当向ByteBuf写数据的时候,如果容量不足,将会进行扩容,直到达到最大容量。
ByteBuf的使用模式
堆缓冲区
将数据存储在堆中,这种模式也被称为支撑数组,它能在没有池化的情况下进行快速的分配和释放。
ByteBuf heapBuf = ...;
if (heapBuf.hasArray()) {
// 如果有,则获取对该数组的引用
byte[] array = heapBuf.array();
// 对array继续进行操作
}
直接缓冲区
数据存储来JVM堆外。
ByteBuf directBuf = ...;
if (!directBuf.hasArray()) {
// 获取可读字节数
int length = directBuf.readableBytes();
// 创建一个数组来保存数据
byte[] arrar = new byte[length];
// 对array继续进行操作
}
复合缓冲区
如果我们需要像是HTTP一样的header和body合在一起传输,每个消息可能重用消息头,也可能重用消息体,使用 CompositeByteBuf
可以避免在每次分配两个ByteBuf。
使用复合缓冲区模式
CompositeByteBuf messageBuf = Unpooled.compositeBUffer();
ByteBuf headerBuf = ...;
ByteBuf bodyBuf = ...;
// 添加ByteBuf实例
messageBuf.addComponents(headerBuf, bodyBuf);
........
// 删除header
messageBuf.removeComponent(0);
字节级操作
随机访问索引
getByte()
此方法既不会改变readerIndex,也不会改变writerIndex
可丢弃字节
文中最上方的图中,“已读字节”也是可以丢弃的字节,通过调用discardReadBytes(),可以丢弃他们并回收空间。
可读字节
readableBytes(),返回可以被读取的字节数,若尝试读取超过容量的数据,将会抛出
IndexOutOfBoundsException
异常。isReadable(),可以知道此ByteBuf中是否还有可读的字节,避免在读取时抛出
IndexOutOfBoundsException
异常。伪代码如下:
ByteBuf buffer = ...;
while(buffer.isReadable()){
buffer.readByte();
// 或者类似的其他处理
}
可写字节
isWriteable(),返回这个ByteBuf是否可写(至少一个字节)
writeableBytes(),如果尝试往ByteBuf写入超过容量的数据,将会抛出
IndexOutOfBoundsException
异常。以下为伪代码:
ByteBuf buffer = ...;
while(buffer.writeableBytes() > 4) {
buffer.writeInt(byte);
}
索引管理
markReaderIndex(),标记读索引
markWriterIndex(),标记写索引
resetReaderIndex(),重置读索引
resetWriterIndex(),重置写索引
readerIndex(int),将读索引设置到指定位置
writerIndex(int),将写索引设置到指定位置
clear(),读写索引设置为0
查找操作
- indexOf(),类似String的方法
- forEachByte(ByteProcesser);一个查找
\r
的例子:
int index = buffer.forEachByte(ByteProcesser.FIND_CR);
派生缓冲区
- duplicate()将返回一个新的ByteBuf实例,它具有自己的读索引、写索引和标记索引,相当于一个浅复制,如果修改了这个实例的内容,也会修改对应的源实例。
- slice(int, int),对ByteBuf进行切片,范围即为参数范围
- Unpoled.unmodifiableBuffer(ByteBuf),创建只读ByteBuf实例,该实例不允许进行任何修改操作。新ByteBuf具有与指定ByteBuf相同的readerIndex和writerIndex。
- copy(),深复制一个ByteBuf实例,即修改这个实例内容不会对原来实例造成任何影响
读写操作
- get和set为前缀的方法,不会改变读写索引
- read和write为前缀的方法,将会改变读写索引
创建ByteBuf实例的几种方式
按需分配:ByteBufAllocator的一些操作
- buffer(),返回一个基于直接内容或者堆内存存储的ByteBuf
- heapBuffer(),返回一个基于堆内存存储的ByteBuf
- directBuffer(),返回一个基于直接内存存储的ByteBuf
- compositeBuffer(),返回一个
CompositeBuffer
- ioBuffer(),返回一个用于套接字操作的ByteBuf
如何获取 ByteBufAllocator
引用
// 从channel中获取
Channel channel = ...;
ByteBufAllocator allocator = channel.alloc();
// 从ChannelHandlerContext中获取
ChannelHandlerContext ctx = ...;
ByteBufAllocator allocator2 = ctx.alloc();
Netty有两种 ByteBufAllocator
实现,一种是 PooledByteBufAllocator
,池化了ByteBuf实例以提高性能,并可以最大限度地减少内存碎片。另一种是 UnpooledByteBufAllocator
,此方法不池化ByteBuf实例,并且在每次它被调用时都会返回一个新的实例。
Unpooled缓冲区
某些情况下,可能未获取到ByteBufAllocator引用。Netty提供了Unpooled的静态辅助方法来创建未池化的ByteBuf实例。
- buffer(),返回一个未池化的基于堆内存存储的ByteBuf
- directBuffer(),返回一个未池化的基于直接内存存储的ByteBuf
- wrappedBuffer(),返回一个包装了指定数据的ByteBuf
- copiedBuffer(),返回一个复制了给定数据的ByteBuf
ByteBufUtil类
可能会有用的方法
hexdump(),十六进制打印ByteBuf内容
equals(ByteBuf, ByteBuf),判断两个实例是否相等
引用计数
获得引用计数
int count = buffer.refCnt();
当引用计数为0时,可进行释放,释放成功时返回 true
boolean isReleased = buffer.release();
参考资料
- Netty in action
本文由 发给官兵 创作,采用 CC BY 3.0 CN协议 进行许可。 可自由转载、引用,但需署名作者且注明文章出 处。如转载至微信公众号,请在文末添加作者公众号二维码。