零拷贝实现

概述

零拷贝指计算机操作过程中,CPU不需要在数据内存之间拷贝消耗资源。通常应用在网络上发送文件时,不需要将文件内容拷贝到用户空间(User Space)而直接在内核空间(Kernel Space)中传输到网络的方式。

Kafka的高性能正是运用了这一技术。

优点

  • 减少甚至完全避免不必要的CPU拷贝,从而让CPU解脱出来去执行其他任务。
  • 减少内存带宽的使用。
  • 减少用户空间和操作系统内核空间之间的上下文切换。

应用场景

适用于不操作文件直接读取文件发送到网络的情景。零拷贝是直接在内核空间完成文件读取并转到磁盘(或发送到网络)。由于它没有读取文件数据到JVM这一环,因此程序无法操作该文件数据,尽管效率很高!

  • 文件较大,读写慢,追求速度等;
  • 内存不足,无法加载太大数据;
  • 带宽不够,即存在其他程序或线程使用大量的IO操作。

原理论述

传统的读取文件并发送到网络的步骤如下:

(1)操作系统:将磁盘文件读取到内核空间的页面缓存;

(2)应用程序:将数据从内核空间读入到用户空间缓冲区;

(3)应用程序:将数据写回内核空间并放入socket缓冲区;

(4)操作系统:将socket缓冲区的数据复制到网卡接口。

传统IO操作流程.png

所以,传统的IO操作会经过4次用户态和内核态(上下文)的切换,相当耗资源。

使用零拷贝技术后,其实现原理如下:

(1)操作系统:将磁盘文件读取到内核空间的页面缓存;

(2)通过硬件实现直接将数据从页面缓存发送到网络中。

零拷贝操作流程.jpg

Java实现

1.零拷贝实现
File file = new File("test.zip");
RandomAccessFile raf = new RandomAccessFile(file, "rw");
FileChannel fileChannel = raf.getChannel();
SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("", 1234));
// 直接使用了transferTo()进行通道间的数据传输
fileChannel.transferTo(0, fileChannel.size(), socketChannel);

Java中零拷贝通过ChannelTransferTo方法实现。Java中所有的Buffer都在用户空间中,因此使用Channel直接将数据传输到网络接口中,效率远高于从内核缓冲区到用户缓冲区切换。

2.内存映射实现

内存映射并不是零拷贝,但速度要比普通IO要更快。

File file = new File("test.txt");
RandomAccessFile raf = new RandomAccessFile(file,"rw");
FileChannel fileChannel = raf.getChannel();
//映射地址
MappedByteBuffer buffer = fileChannel.map(FileChannel.MapMode.READ_ONLY,0,fileChannel.sizez());
//processDate();    //可进行处理数据
SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("127.0.0.1",8080));
socketChannel.write(buffer);

该方法使用内存映射方式将内存地址和磁盘文件做一个映射,读写这块内存,相当于直接对磁盘文件进行读写,但是实际上的读还是要经过操作系统读取到内存页中。

该方法特点:1.可对文件进行读写操作再发送网络。 2.速度要比普通IO操作更快。 3.适合大文件的读取和修改。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。