浅析零拷贝技术

1.缓冲I/O

为什么使用缓冲?

缓冲IO使用的是页缓存,在某些条件下可以极大提高系统效率和屏蔽底层IO设备的差异性(如块大小),IO设备普遍是顺序读写性能远大于随机读写性能,如果有内核缓冲区的存在我们才采取read操作时,内核可以设置一个较大的缓冲区充当预读告诉缓存,原理很简单程序都遵循局部性原理,现在读到页a那么读到页a+1,a+2的可能性就很高,我们采用顺序读进来相邻的几个页就会比只读单页等需要读到下个页在读下个页的性能要高,对于写操作也是如此只要写到缓冲区就可以返回而不用同步的等待发送。把同步操作变化为异步操作,极大的提升了效率但是如果掉电有可能丢失数据。

缺点:
需要把数据复制到内核缓冲区,写也是如此增大了复制的开销而且页缓存策略不一定适合当前应用场景

在许多Web程序当中都有静态资源读取操作,读取大量的硬盘上的数据并写回响应套接字。
这并不是一个高效操作
代码如下

    File.read(fileDesc, buf, len);
    Socket.send(socket, buf, len);

也就是两个系统调用 read()和write()
操作步骤如下:

1.使用DMA把数据从磁盘读到内核的read buffer
2.将内核态的read buffer复制到用户态的application buffer
3.将用户态的application buffer复制到内核态的socket buffer
4.使用DMA把数据从socket buffer复制到NIC (network interface card)的buffer上等待合适的时机发送

可以看出上述操作有四次内核态-用户态的切换(两个系统调用都是一进一出所以需要四次切换),有四次复制数据

2.直接I/O

直接把数据从IO设备上读取到用户缓冲区,打开文件时需要设置访问模式为O_DIRECT,没有了内核缓冲区,我们需要设置缓冲区对齐和缓冲区大小,read()和write()也都是同步操作,在调用直接IO读取操作前需要把页缓冲的脏页刷回到IO设备上。优点是大大提高了读写大量数据时的性能,减少了到内核缓冲区的拷贝次数,降低CPU、内存开销。

缺点:

应用程序需要自己控制IO设备读写的特性,如将数据写入磁盘因为是同步操作很有可能把数据写入到相隔很远的磁盘空间而浪费大量时间,在读取时也要自己设计缓存。

很明显一种简单的优化思路是使用直接I/O,这样可以省去内核的缓存而优化掉两次复制操作

3.采用mmap

mmap可以把内核的部分内存空间映射到用户空间的内存,内核核用户共享一个相同的物理内存从而提供了用户进程对内存的直接访问能力。
这样就不需要把内核的缓存复制回用户空间的缓存

4.sendfile

java中的方法是java.nio.channels.FileChannel类中的transferTo

public void transferTo(long position, long count, WritableByteChannel target);

底层系统调用为

#include <sys/socket.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

这个方法可以将数据从可读描述符传送到给定的可写描述符,in_fd必须是一个可以mmap的文件描述符,不可以是socket,而out_fd必须是socket。这样就可以把两个系统调用优化成一个从而减少两次内核-用户态的切换。
复制操作减少为3次,分别是DMA把数据读取到read_buffer,read_buffer把数据复制到socket_buffer,socket_buffer把数据复制到NIC_buffer。

linux内核2.4之后优化了套接字缓冲区描述符以支持收集操作,可以将一个描述符(包括数据的位置与长度信息)追加到套接字缓冲区,DMA引擎则直接把数据从read_buffer发送到NIC_buffer则减少了一次复制操作。
linux 4.1支持一个sockmap 可以从socket到socket的数据转发。

总结

有了零拷贝技术,我们可以极大优化那些fd到fd的复制操作,比如一些静态资源服务器的静态资源分发。在文件服务器也可以应用这种技术以获得性能的巨大提升。