4.Java NIO Scatter / Gather

Java NIO 带有内置的分散/收集支持，分散/聚集是用于从通道读取或者写入通道。

Scatter（分散）：分散读取，从管道Channel中读取的数据分散到一个或者多个缓冲区Buffer中，分散的时候会依次的按缓冲区的顺序一个一个的进行。

Gather（聚集）：聚集写入，把缓冲区position到limit之间的数据依次的写入到通道中。

这样，一个大文件就可以分割成许多小的文件进行传输。

在您需要分别处理传输数据的各个部分的情况下，分散/收集非常有用。 例如，如果消息由标题和正文组成，您可以将标题和正文保存在单独的缓冲区中。 这样做可以让您更轻松地分别处理标题和正文。

Scattering Reads

“分散读取”将数据从单个通道读取到多个缓冲区中。 下图是该原则的说明：

image.png

下面代码片段是如何执行分散读取：

ByteBuffer header = ByteBuffer.allocate(128);
ByteBuffer body   = ByteBuffer.allocate(1024);
ByteBuffer[] bufferArray = { header, body };
channel.read(bufferArray);

注意buffer首先被插入到数组，然后再将数组作为channel.read() 的输入参数。read()方法按照buffer在数组中的顺序将从channel中读取的数据写入到buffer，当一个buffer被写满后，channel紧接着向另一个buffer中写。

Scattering Reads在移动下一个buffer前，必须填满当前的buffer，这也意味着它不适用于动态消息(消息大小不固定)。

Gathering Writes

“收集写入”将数据从多个缓冲区写入单个通道。这是该原则的说明：

image.png

这是一个代码示例，展示了如何执行收集写入：

ByteBuffer header = ByteBuffer.allocate(128);
ByteBuffer body   = ByteBuffer.allocate(1024);
//write data into channel
ByteBuffer[] bufferArray = { header, body };
channel.write(bufferArray);

缓冲区数组被传递给 write() 方法，该方法按照它们在数组中遇到的顺序写入缓冲区的内容。 仅写入缓冲区的poisition到limit之间的数据。 因此，如果缓冲区的容量为 128 字节，但仅包含 58 字节，则只有 58 字节从该缓冲区写入通道。 因此，与分散读取相比，聚集写入对动态大小的消息部分工作正常。

 @Test
    public void test_scatter_gather() throws IOException {
        RandomAccessFile raf1=new RandomAccessFile("nio-data.txt", "rw");
        //获取通道
        FileChannel channel1 = raf1.getChannel();
        //设置缓冲区
        ByteBuffer buf1=ByteBuffer.allocate(50);
        ByteBuffer buf2=ByteBuffer.allocate(1024);
        //分散读取的时候缓存区应该事有序的，所以把几个缓冲区加入数组中
        ByteBuffer[] bufs={buf1,buf2};
        //通道进行传输
        channel1.read(bufs);

        //查看缓冲区中的内容
        for (int i = 0; i < bufs.length; i++) {
            //切换为读模式
            bufs[i].flip();
        }

        System.out.println(new String(bufs[0].array(),0,bufs[0].limit()));
        System.out.println();
        System.out.println(new String(bufs[1].array(),0,bufs[1].limit()));

        //聚集写入
        RandomAccessFile  raf2=new RandomAccessFile("ScoAndGat.txt", "rw");
        FileChannel channel2 = raf2.getChannel();
        //只能通过通道来进行写入
        channel2.write(bufs);

    }

5.Java NIO 通道到通道数据传输

在Java NIO中，如果两个通道中有一个是FileChannel，那你可以直接将数据从一个channel传输到另外一个channel。

transferFrom()

FileChannel.transferFrom() 方法将数据从源通道传输到 FileChannel。 这是一个简单的例子：

RandomAccessFile fromFile = new RandomAccessFile("fromFile.txt", "rw");
FileChannel      fromChannel = fromFile.getChannel();
RandomAccessFile toFile = new RandomAccessFile("toFile.txt", "rw");
FileChannel      toChannel = toFile.getChannel();
long position = 0;
long count    = fromChannel.size();

toChannel.transferFrom(fromChannel, position, count);

参数position和count，告诉目标文件中的何处开始写入（position），以及最大传输多少字节（count）。 如果源通道的剩余空间小于 count 个字节，则所传输的字节数要小于请求的字节数。

此外，一些 SocketChannel 实现可能只传输 SocketChannel 在其内部缓冲区中准备好的数据（可能不足count字节)——即使 SocketChannel 稍后可能有更多可用数据。 因此，它可能不会将请求的整个数据（count）从 SocketChannel 传输到 FileChannel。

transferTo()

transferTo()方法将数据从FileChannel传输到其他的channel中。下面是一个简单的例子：

RandomAccessFile fromFile = new RandomAccessFile("fromFile.txt", "rw");
FileChannel      fromChannel = fromFile.getChannel();

RandomAccessFile toFile = new RandomAccessFile("toFile.txt", "rw");
FileChannel      toChannel = toFile.getChannel();

long position = 0;
long count    = fromChannel.size();

fromChannel.transferTo(position, count, toChannel);

请注意该示例与前一个示例的相似程度，唯一真正的区别是调用该方法的 FileChannel 对象，其余的都是一样的。SocketChannel 的问题也存在于 transferTo() 方法中，SocketChannel会一直传输数据直到目标buffer被填满。

6.Java NIO Selector

Java NIO Selector 是一个组件，它可以检查一个或多个 Java NIO Channel 实例，并确定哪些通道准备好用于例如阅读或写。通过这种方式，单个线程可以管理多个通道，从而管理多个网络连接。

为什么要使用选择器？

仅使用单个线程来处理多个通道的优点是您需要更少的线程来处理通道。实际上，您可以只使用一个线程来处理您的所有频道。对于操作系统来说，线程之间的切换是昂贵的，并且每个线程也占用操作系统中的一些资源（内存）。因此，使用的线程越少越好。

但是，需要记住，现代的操作系统和CPU在多任务方面表现的越来越好，所以多线程的开销随着时间的推移，变得越来越小了。实际上，如果一个CPU有多个内核，不使用多任务可能是在浪费CPU能力。不管怎么说，关于那种设计的讨论应该放在另一篇不同的文章中。在这里，只要知道使用Selector能够处理多个通道就足够了。

这是使用 Selector 处理 3 Channel 的线程的说明 :

image.png

创建选择器

您可以通过调用 Selector.open() 方法创建一个 Selector，如下所示：

Selector selector = Selector.open();

向Selector注册通道

为了将Channel和Selector配合使用，必须将channel注册到selector上。通过SelectableChannel.register()方法来实现，如下：

channel.configureBlocking(false);
SelectionKey key = channel.register(selector, SelectionKey.OP_READ);

Channel 必须处于非阻塞模式才能与 Selector 一起使用。这意味着您不能将 FileChannel 与 Selector 一起使用，因为 FileChannel 无法切换到非阻塞模式。不过，套接字通道可以正常工作。

注意register()方法的第二个参数。这是一个“interest集合”，意思是在通过Selector监听Channel时对什么事件感兴趣。可以监听四种不同类型的事件：

• Connect
• Accept
• Read
• Write

通道触发了一个事件意思是该事件已经就绪。所以，某个channel成功连接到另一个服务器称为“连接就绪”。一个server socket channel准备好接收新进入的连接称为“接收就绪”。一个有数据可读的通道可以说是“读就绪”。等待写数据的通道可以说是“写就绪”。

这四种事件用SelectionKey的四个常量来表示：

• SelectionKey.OP_CONNECT
• SelectionKey.OP_ACCEPT
• SelectionKey.OP_READ
• SelectionKey.OP_WRITE

如果你对不止一种事件感兴趣，那么可以用“位或”操作符将常量连接起来，如下：

int interestSet = SelectionKey.OP_READ | SelectionKey.OP_WRITE;

SelectionKey
在上一小节中，当向Selector注册Channel时，register()方法会返回一个SelectionKey对象。这个对象包含了一些你感兴趣的属性：

• interest集合
• ready集合
• Channel
• Selector
• 附加的对象（可选）

我将在下面描述这些属性。

兴趣集

interest集合是你所选择的感兴趣的事件集合。 您可以通过 SelectionKey 读取和写入该兴趣集，如下所示：

int interestSet = selectionKey.interestOps();

boolean isInterestedInAccept  = SelectionKey.OP_ACCEPT  == (interests & SelectionKey.OP_ACCEPT);
boolean isInterestedInConnect = SelectionKey.OP_CONNECT == (interests & SelectionKey.OP_CONNECT);
boolean isInterestedInRead    = SelectionKey.OP_READ    == (interests & SelectionKey.OP_READ);
boolean isInterestedInWrite   = SelectionKey.OP_WRITE   == (interests & SelectionKey.OP_WRITE);

如您所见，您可以将兴趣集与给定的 SelectionKey 常量进行 "位与"运算，以确定某个事件是否在兴趣集中。

ready集合

ready 集合是通道已经准备就绪的操作的集合。在一次选择(Selection)之后，你会首先访问这个ready set。Selection将在下一小节进行解释。可以这样访问ready集合：

int readySet = selectionKey.readyOps();

可以用像检测interest集合那样的方法，来检测channel中什么事件或操作已经就绪。但是，也可以使用以下四个方法，它们都会返回一个布尔类型：

• 1 selectionKey.isAcceptable();
• 2 selectionKey.isConnectable();
• 3 selectionKey.isReadable();
• 4 selectionKey.isWritable();

Channel + Selector

从SelectionKey访问Channel和Selector很简单。如下：

Channel  channel  = selectionKey.channel();
Selector selector = selectionKey.selector();

附加的对象

可以将一个对象或者更多信息附着到SelectionKey上，这样就能方便的识别某个给定的通道。例如，可以附加 与通道一起使用的Buffer，或是包含聚集数据的某个对象。使用方法如下：

selectionKey.attach(theObject);
Object attachedObj = selectionKey.attachment();

还可以在用register()方法向Selector注册Channel的时候附加对象。如：

SelectionKey key = channel.register(selector, SelectionKey.OP_READ, theObject);

通过Selector选择通道

一旦向Selector注册了一或多个通道，就可以调用几个重载的select()方法。这些方法返回你所感兴趣的事件（如连接、接受、读或写）已经准备就绪的那些通道。换句话说，如果你对“读就绪”的通道感兴趣，select()方法会返回读事件已经就绪的那些通道。

下面是select()方法：

• int select()
• int select(long timeout)
• int selectNow()

select()阻塞到至少有一个通道在你注册的事件上就绪了。

select(long timeout)和select()一样，除了最长会阻塞timeout毫秒(参数)。

selectNow()不会阻塞，不管什么通道就绪都立刻返回（此方法执行非阻塞的选择操作,如果自从前一次选择操作后，没有通道变成可选择的，则此方法直接返回零。）。

select()方法返回的int值表示有多少通道已经就绪。亦即，自上次调用select()方法后有多少通道变成就绪状态。如果调用select()方法，因为有一个通道变成就绪状态，返回了1，若再次调用select()方法，如果另一个通道就绪了，它会再次返回1。如果对第一个就绪的channel没有做任何操作，现在就有两个就绪的通道，但在每次select()方法调用之间，只有一个通道就绪了。

selectedKeys()

一旦您调用了 select() 方法之一并且其返回值表明一个或多个通道已准备就绪，您就可以通过调用选择器 selectedKeys() 方法，通过“选定的键集”访问准备好的通道。 如下所示：

Set selectedKeys = selector.selectedKeys();

当您使用 Selector 注册channel时，Channel.register()方法会返回一个SelectionKey 对象。这个对象代表了注册到该Selector的通道。可以通过SelectionKey的selectedKeySet()方法访问这些对象。

可以遍历这个已选择的键集合来访问就绪的通道。如下：

Set<SelectionKey> selectedKeys = selector.selectedKeys();
Iterator<SelectionKey> keyIterator = selectedKeys.iterator();
while(keyIterator.hasNext()) {
    SelectionKey key = keyIterator.next();
    if(key.isAcceptable()) {
        // a connection was accepted by a ServerSocketChannel.
    } else if (key.isConnectable()) {
        // a connection was established with a remote server.
    } else if (key.isReadable()) {
        // a channel is ready for reading
    } else if (key.isWritable()) {
        // a channel is ready for writing
    }
    keyIterator.remove();
}

这个循环遍历已选择键集中的每个键，并检测各个键所对应的通道的就绪事件。

注意每次迭代末尾的keyIterator.remove()调用。Selector不会自己从已选择键集中移除SelectionKey实例。必须在处理完通道时自己移除。下次该通道变成就绪时，Selector会再次将其放入已选择键集中。

SelectionKey.channel()方法返回的通道需要转型成你要处理的类型，如ServerSocketChannel或SocketChannel等。

wakeUp()

某个线程调用select()方法后阻塞了，即使没有通道已经就绪，也有办法让其从select()方法返回。只要让其它线程在第一个线程调用select()方法的那个对象上调用Selector.wakeup()方法即可。阻塞在select()方法上的线程会立马返回。

如果有其它线程调用了wakeup()方法，但当前没有线程阻塞在select()方法上，下个调用select()方法的线程会立即“醒来（wake up）”。

close()

完成 Selector 后，您将调用其 close() 方法。 这将关闭 Selector 并使所有注册到此 Selector 的 SelectionKey 实例无效。 通道本身并未关闭。

完整的示例

这里有一个完整的示例，打开一个Selector，注册一个通道注册到这个Selector上(通道的初始化过程略去),然后持续监控这个Selector的四种事件（接受，连接，读，写）是否就绪。

Selector selector = Selector.open();

channel.configureBlocking(false);

SelectionKey key = channel.register(selector, SelectionKey.OP_READ);


while(true) {

  int readyChannels = selector.selectNow();

  if(readyChannels == 0) continue;


  Set<SelectionKey> selectedKeys = selector.selectedKeys();

  Iterator<SelectionKey> keyIterator = selectedKeys.iterator();

  while(keyIterator.hasNext()) {

    SelectionKey key = keyIterator.next();

    if(key.isAcceptable()) {
        // a connection was accepted by a ServerSocketChannel.

    } else if (key.isConnectable()) {
        // a connection was established with a remote server.

    } else if (key.isReadable()) {
        // a channel is ready for reading

    } else if (key.isWritable()) {
        // a channel is ready for writing
    }

    keyIterator.remove();
  }
}