概述
NIO是为了弥补传统I/O工作模式的不足而研发的,NIO的工具包提出了基于Selector(选择器)、Buffer(缓冲区)、Channel(通道)的新模式;
Selector(选择器)、可选择的Channel(通道)和SelectionKey(选择键)配合起来使用,可以实现并发的非阻塞型I/O能力。
Selector(选择区)用于监听多个通道的事件(比如:连接打开,数据到达)。因此,单个线程可以监听多个数据通道。
3个核心概念:
Buffer
是数据的容器对象,它有7个子类分别对应七种基本的数据类型:ByteBuffer、CharBuffer、DoubleBuffer、FloatBuffer、IntBuffer、LongBuffer和ShortBuffer。每一个Buffer对象相当于一个数据容器,可以把它看作内存中的一个大的数组,用来存储和提取所有基本类型(boolean型除外)的数据。-
Channel
实现在Buffer与I/O服务间传输数据,Channel和IO中的Stream(流)是差不多一个等级的。只不过Stream是单向的,譬如:InputStream, OutputStream.而Channel是双向的,既可以用来进行读操作,又可以用来进行写操作。NIO中的Channel的主要实现有:- FileChannel(文件IO)
- DatagramChannel(UDP)
- SocketChannel(TCP Client)
- ServerSocketChannel(TCP Server)
Selector
实现并发型非阻塞I/O的核心,可将通道上感兴趣的事件注册到Selector对象上,Selector不断轮询监视着注册在其上的Socket通道。SelectionKey类封装了SelectableChannel对象在Selector中的注册信息。当Selector监测到在某个注册的SelectableChannel上发生了感兴趣的事件时,会自动激活产生一个SelectionKey对象,在该对象中记录了哪个SelectableChannel上发生了哪种事件,通过对被激活的SelectionKey的分析,外界可以知道每个SelectableChannel发生的具体事件类型,进行相应的处理。
IO的各种流是阻塞的。这意味着,当一个线程调用read() 或 write()时,该线程被阻塞,直到有一些数据被读取,或数据完全写入。该线程在此期间不能再干任何事情了。 NIO的非阻塞模式,使一个线程从某通道发送请求读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取。而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以继续做其他的事情。 非阻塞写也是如此。一个线程请求写入一些数据到某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。 线程通常将非阻塞IO的空闲时间用于在其它通道上执行IO操作,所以一个单独的线程现在可以管理多个输入和输出通道(channel)
基本工作原理
- 底层是基于操作系统的网络事件驱动模型实现
- 应用Select/poll/epoll多路复用机制,不用为每一个客户端连接新启线程处理,而是将其注册到特定的Selector对象上,这就可以在单线程中利用Selector对象管理大量并发的网络连接
- 当有accept/read/write等事件发生时,可以从Selector中获得相应的SelectionKey,从SelectionKey中可得到发生的事件和该事件所对应的SelectableChannel,以获得客户端发送过来的数据。
- 使用非阻塞型I/O进行并发型服务器程序设计分三个部分:
- 向Selector对象注册感兴趣的事件;
- 从Selector中获取所感兴趣的事件;
- 根据不同的事件进行相应的处理。
BIO、NIO和AIO的区别
BIO:一个连接一个线程,客户端有连接请求时服务器端就需要启动一个线程进行处理。线程开销大。
伪异步IO:将请求连接放入线程池,一对多,但线程还是很宝贵的资源。
NIO:一个请求一个线程,但客户端发送的连接请求都会注册到多路复用器上,多路复用器轮询到连接有I/O请求时才启动一个线程进行处理。
AIO:一个有效请求一个线程,客户端的I/O请求都是由OS先完成了再通知服务器应用去启动线程进行处理,
BIO是面向流的,NIO是面向缓冲区的;
BIO的各种流是阻塞的。而NIO是非阻塞的;
BIO的Stream是单向的,而NIO的channel是双向的。NIO的特点:事件驱动模型、单线程处理多任务、非阻塞I/O,I/O读写不再阻塞,而是返回0、基于block的传输比基于流的传输更高效、更高级的IO函数zero-copy、IO多路复用大大提高了Java网络应用的可伸缩性和实用性。基于Reactor线程模型。
在Reactor模式中,事件分发器等待某个事件或者可应用或个操作的状态发生,事件分发器就把这个事件传给事先注册的事件处理函数或者回调函数,由后者来做实际的读写操作。如在Reactor中实现读:注册读就绪事件和相应的事件处理器、事件分发器等待事件、事件到来,激活分发器,分发器调用事件对应的处理器、事件处理器完成实际的读操作,处理读到的数据,注册新的事件,然后返还控制权。
NIO的组成
- Buffer:与Channel进行交互,数据是从Channel读入缓冲区,从缓冲区写入Channel中的
- flip方法 : 反转此缓冲区,将position给limit,然后将position置为0,其实就是切换读写模式
- clear方法 :清除此缓冲区,将position置为0,把capacity的值给limit。
- rewind方法 : 重绕此缓冲区,将position置为0
- DirectByteBuffer可减少一次系统空间到用户空间的拷贝。但Buffer创建和销毁的成本更高,不可控,通常会用内存池来提高性能。直接缓冲区主要分配给那些易受基础系统的本机I/O 操作影响的大型、持久的缓冲区。如果数据量比较小的中小应用情况下,可以考虑使用heapBuffer,由JVM进行管理。
- Channel:表示 IO 源与目标打开的连接,是双向的,但不能直接访问数据,只能与Buffer 进行交互。通过源码可知,FileChannel的read方法和write方法都导致数据复制了两次!
- Selector可使一个单独的线程管理多个Channel,open方法可创建Selector,register方法向多路复用器器注册通道,可以监听的事件类型:读、写、连接、accept。
- SelectionKey注册事件后会产生一个SelectionKey:它表示SelectableChannel 和Selector 之间的注册关系,
- wakeup方法:使尚未返回的第一个选择操作立即返回,唤醒的原因是:注册了新的channel或者事件;channel关闭,取消注册;优先级更高的事件触发(如定时器事件),希望及时处理。
- Selector在Linux的实现类是EPollSelectorImpl,委托给EPollArrayWrapper实现,其中三个native方法是对epoll的封装,而EPollSelectorImpl. implRegister方法,通过调用epoll_ctl向epoll实例中注册事件,还将注册的文件描述符(fd)与SelectionKey的对应关系添加到fdToKey中,这个map维护了文件描述符与SelectionKey的映射。
- fdToKey有时会变得非常大,因为注册到Selector上的Channel非常多(百万连接);过期或失效的Channel没有及时关闭。fdToKey总是串行读取的,而读取是在select方法中进行的,该方法是非线程安全的。
- Pipe:两个线程之间的单向数据连接,数据会被写到sink通道,从source通道读取
- NIO的服务端建立过程:
Selector.open():打开一个Selector;
ServerSocketChannel.open():创建服务端的Channel;
bind():绑定到某个端口上。
配置非阻塞模式;
register():注册Channel和关注的事件到Selector上;
select()轮询拿到已经就绪的事件
Ref:
http://blog.csdn.net/baiye_xing/article/details/76735113