简介
指计算机在执行操作的时候,cpu不需要先将数据从某处复制到一个特定地方,节省cpu的时钟周期和内存带宽
常规流程
DMA:DIRECT MEMORY ACCESS
这个东西不消耗cpu(从磁盘到内核read缓冲区,从内核socket缓冲区到网卡都是DMA)
mmap
实现原理:所有的操作系统都使用的是虚拟内存,取代物理内存,虚拟内存远大于物理内存,
所有一个以上的虚拟内存可以指向同一个物理内存,这样DMA就可以填充对内核及用户进程空间同时可见的缓冲区
节省了内核到用户空间的copy,但是从内核read缓冲区到内核socket缓冲区的拷贝没有节省
NIO的FileChannel.map底层就是封装了 linux的 mmap
java实现
public static void main(String[] args) {
File file = new File("");
try {
//打开FileChannel只能读取
FileChannel fileChannelIn = new FileInputStream(file).getChannel();
//打开FileChannel只能写入
FileChannel fileChannel1Out = new FileInputStream("").getChannel();
//读入数据转为MappedByteBuffer
MappedByteBuffer mbb = fileChannelIn.map(FileChannel.MapMode.READ_ONLY,0,file.length());
//创建解码器
Charset charset = Charset.forName("UTF-8");
//写入数据
fileChannel1Out.write(mbb);
mbb.clear();
//创建解码器
CharsetDecoder decoder = charset.newDecoder();
// 使用解码器将byteBuffer转为CharBuffer
CharBuffer charBuffer = decoder.decode(mbb);
System.out.println(charBuffer);
}catch (Exception e){
return;
}
}
sendFile
适用于:保存了mmap的不需要来回拷贝的优点,适用于应用进程不需要对读取数据做任何处理的场景,类似于一种完全意义上的数据传输
这个实现的拷贝,主要做的实现了数据的偏移量offset,数据长度length的拷贝
不存在用户缓冲区(不需要使用)
数据甚至不用从内核缓冲区拷贝到socket的缓冲区,只需要将内核缓冲区的拷贝一些offset和length到socket缓冲区
数量少可以忽略所以认为不存在此次copy
nio中使用的是FileChannel.transferTo,底层封装的是linux的sendfile这个方法
只有两次的上下文切换和两次dma切换
public static void main(String[] args) {
String files[] = new String[1];
files[0] = System.getProperty("usr.dir") + "/c:\\aa\\dn.txt";
catFiles(Channels.newChannel(System.out), files);
}
private static void catFiles(WritableByteChannel target, String[] files) {
try{
for (int i = 0; i < files.length; i++) {
FileInputStream fileInputStream = new FileInputStream(files[1]);
FileChannel channel = fileInputStream.getChannel();
channel.transferTo(0,channel.size(),target);
channel.close();
fileInputStream.close();
}
} catch (Exception e){
System.out.println(e);
}
}
总结
传统io有4次上下文切换,4次拷贝
磁盘 》 内核read 》用户 》 内核socket 》网卡(协议引擎)
mmap:三次拷贝(两次DMA + 一次内核read缓冲到内核socket缓存)。将磁盘文件映射到内存,支持读写内存文件直接反映到磁盘文件上,适合小文件读取
sendfile:两次拷贝(两次DMA),适合大文件传输
Netty的零拷贝
1.Netty的接收和发送ByteBuffer采用的是Direct buffers,使用堆外内存直接进行socket读取,如果是传统内存,jvm会将堆内存buffer拷贝一份到直接内存中,再写入socket,所以传统堆内存在消息发送的过程中多了一次缓冲区的内存拷贝
2.提供了bytebuf对象,整合了bytebuffer,用户通过bytebuf可以像操作一个buffer那样对组合的buffer进行操作
做法是实现CompositeByteBuf
CompositeByteBuf 实际就是个 ByteBuf 的包装器,它将多个 ByteBuf 组合成一个集合
该类相关定义如下
private static final ByteBuffer EMPTY_NIO_BUFFER = Unpooled.EMPTY_BUFFER.nioBuffer();
private static final Iterator<ByteBuf> EMPTY_ITERATOR = Collections.<ByteBuf>emptyList().iterator();
private final ByteBufAllocator alloc;
private final boolean direct;
private final List<Component> components; private final int maxNumComponents;
private boolean freed;
3.文件传输采用transferTo,可以将文件缓冲区的数据发送到目标channel避免通过传统的write方式导致的内存拷贝问题
这个就是nio里的FileChannel的transferTo
4.wrap
5.slice