零拷贝实现

概述

零拷贝指计算机操作过程中，CPU不需要在数据内存之间拷贝消耗资源。通常应用在网络上发送文件时，不需要将文件内容拷贝到用户空间（User Space）而直接在内核空间（Kernel Space）中传输到网络的方式。

Kafka的高性能正是运用了这一技术。

优点

减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他任务。
减少内存带宽的使用。
减少用户空间和操作系统内核空间之间的上下文切换。

应用场景

适用于不操作文件直接读取文件发送到网络的情景。零拷贝是直接在内核空间完成文件读取并转到磁盘（或发送到网络）。由于它没有读取文件数据到JVM这一环，因此程序无法操作该文件数据，尽管效率很高！

文件较大，读写慢，追求速度等；
内存不足，无法加载太大数据；
带宽不够，即存在其他程序或线程使用大量的IO操作。

原理论述

传统的读取文件并发送到网络的步骤如下：

（1）操作系统：将磁盘文件读取到内核空间的页面缓存；

（2）应用程序：将数据从内核空间读入到用户空间缓冲区；

（3）应用程序：将数据写回内核空间并放入socket缓冲区；

（4）操作系统：将socket缓冲区的数据复制到网卡接口。

传统IO操作流程.png

所以，传统的IO操作会经过4次用户态和内核态（上下文）的切换，相当耗资源。

使用零拷贝技术后，其实现原理如下：

（1）操作系统：将磁盘文件读取到内核空间的页面缓存；

（2）通过硬件实现直接将数据从页面缓存发送到网络中。

零拷贝操作流程.jpg

Java实现

1.零拷贝实现

File file = new File("test.zip");
RandomAccessFile raf = new RandomAccessFile(file, "rw");
FileChannel fileChannel = raf.getChannel();
SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("", 1234));
// 直接使用了transferTo()进行通道间的数据传输
fileChannel.transferTo(0, fileChannel.size(), socketChannel);

Java中零拷贝通过Channel的TransferTo方法实现。Java中所有的Buffer都在用户空间中，因此使用Channel直接将数据传输到网络接口中，效率远高于从内核缓冲区到用户缓冲区切换。

2.内存映射实现

内存映射并不是零拷贝，但速度要比普通IO要更快。

File file = new File("test.txt");
RandomAccessFile raf = new RandomAccessFile(file,"rw");
FileChannel fileChannel = raf.getChannel();
//映射地址
MappedByteBuffer buffer = fileChannel.map(FileChannel.MapMode.READ_ONLY,0,fileChannel.sizez());
//processDate();    //可进行处理数据
SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("127.0.0.1",8080));
socketChannel.write(buffer);

该方法使用内存映射方式将内存地址和磁盘文件做一个映射，读写这块内存，相当于直接对磁盘文件进行读写，但是实际上的读还是要经过操作系统读取到内存页中。

该方法特点：1.可对文件进行读写操作再发送网络。 2.速度要比普通IO操作更快。 3.适合大文件的读取和修改。