Java 零拷贝、缓冲区

这两部分知识体系暂时没有联系起来，先记录以下

一、缓冲区——直接缓冲与非直接缓冲

1.1 非直接缓冲区（堆缓冲区）

在JVM中内存中创建，在每次调用IO时，虚拟机都会将缓冲区的内容复制到中间缓冲区（或者从中间缓冲区复制内容）；缓冲区的内容驻留在JVM内，受GC管理，因此创建和销毁容易，但是占用JVM内存开销，处理过程中有复制操作。

源码：

public static ByteBuffer allocate(int capacity) {
        if (capacity < 0)
            throw new IllegalArgumentException();
        return new HeapByteBuffer(capacity, capacity);
}
    //底层为数组实现
HeapByteBuffer(int cap, int lim) {            // package-private
        super(-1, 0, lim, cap, new byte[cap], 0);
        /*
        hb = new byte[cap];
        offset = 0;
        */
}

1.2 直接缓冲区

创建的缓冲区，在JVM内存外分配内存，在每次调用基础操作系统的一个本机IO之前或者之后，虚拟机都会避免将缓冲区的内容复制到中间缓冲区（或者从中间缓冲区复制内容），缓冲区的内容驻留在物理内存内，会少一次复制过程，如果需要循环使用缓冲区，用直接缓冲区可以很大地提高性能。虽然直接缓冲区使JVM可以进行高效的I/O操作，但它使用的内存是操作系统分配的，绕过了JVM堆栈，但是由于不收JVM的GC管理，建立和销毁比堆栈上的缓冲区要更大的开销。

源码:

//物理磁盘Buffer
    public static ByteBuffer allocateDirect(int capacity) {
        return new DirectByteBuffer(capacity);
    }
    //底层都去调用内存分页了
    DirectByteBuffer(int cap) {                   // package-private

        super(-1, 0, cap, cap);
        boolean pa = VM.isDirectMemoryPageAligned();
        int ps = Bits.pageSize();
        long size = Math.max(1L, (long)cap + (pa ? ps : 0));
        Bits.reserveMemory(size, cap);

        long base = 0;
        try {
            base = unsafe.allocateMemory(size);
        } catch (OutOfMemoryError x) {
            Bits.unreserveMemory(size, cap);
            throw x;
        }
        unsafe.setMemory(base, size, (byte) 0);
        if (pa && (base % ps != 0)) {
            // Round up to page boundary
            address = base + ps - (base & (ps - 1));
        } else {
            address = base;
        }
        cleaner = Cleaner.create(this, new Deallocator(base, size, cap));
        att = null;
    }

二者使用上的区别就是一个用的allocate()而后者用的allocateDirect()

二、零拷贝

读取文件，再用socket发送出去
传统方式实现：先读取、再发送，实际经过1~4四次copy：
1、将磁盘文件，读取到操作系统内核缓冲区；
2、将内核缓冲区的数据，copy到application应用程序的buffer；
3、将application应用程序buffer中的数据，copy到socket网络发送缓冲区(属于操作系统内核的缓冲区)；
4、将socket buffer的数据，copy到网卡，由网卡进行网络传输。
中间做了很多的copy但是我们并没有察觉，而这些都有可能造成性能上的瓶颈。

广义上的零拷贝方式有很多种，他们都处于一个目的：尽可能减少上述四个环节中的某些拷贝环节不发生：

2.1 remaping

DMA加载磁盘数据到kernel buffer后，应用程序缓冲区(application buffers)和内核缓冲区(kernel buffer)进行映射，数据再应用缓冲区和内核缓存区的改变就能省略。

image.png

2.2 sendfile

当调用sendfile()时，DMA将磁盘数据复制到kernel buffer，然后将内核中的kernel buffer直接拷贝到socket buffer；

image.png

2.3 splice

splice和sendfile的不同，sendfile是将磁盘数据加载到kernel buffer后，需要一次CPU copy,拷贝到socket buffer。而splice是更进一步，连这个CPU copy也不需要了，直接将两个内核空间的buffer进行set up pipe。

通俗来说，就是没有拷贝，而是以Pipline的方式传递给socket引用，而不需要向socket拷贝一份

Java 零拷贝、缓冲区