1. 基本概念
I/O (Input/Output,输入/输出)即数据的读取(接收)或写入(发送)操作,通常用户进程中的一个完整IO分为两阶段:用户进程空间<-->内核空间、内核空间<-->设备空间(磁盘、网络等)。IO有内存IO、网络IO和磁盘IO三种.
这里主要理解网络I/O
- 5种IO模型:分别是阻塞IO模型、非阻塞IO模型、IO复用模型、信号驱动的IO模型、异步IO模型;前4种为同步IO操作,只有异步IO模型是异步IO操作。
- Java 当中的网络编程模型:BIO(同步并阻塞)、NIO(同步非阻塞)、AIO(异步非阻塞)
阻塞与非阻塞
阻塞与非阻塞是相对调用进程或者线程本身状态而言的,关键在于是否等待,阻塞状态下会浪费系统资源。
阻塞IO调用 :
在用户进程(或线程)中调用执行的时候,进程会等待该IO操作,而使得其他操作无法执行。
应用: 阻塞式socket、Java BIO
特点:
- 进程阻塞挂起不消耗CPU资源,及时响应每个操作;
- 实现难度低、开发应用较容易;
- 适用并发量小的网络应用开发;
非阻塞IO调用:
在用户进程(或线程)中调用执行的时候,无论成功与否,该IO操作会立即返回,之后进程可以进行其他操作(当然如果是读取到数据,一般就接着进行数据处理)。
应用:非阻塞式socket
特点:
- 进程轮询(重复)调用,消耗CPU的资源;
- 实现难度低、开发应用相对阻塞IO模式较难;
- 适用并发量较小、且不需要及时响应的网络应用开发;
同步与异步
同步和异步关注的是双方的消息通信机制,或者说数据的请求及处理方式。这是一种机制
对于同步操作:请求进来会导致进程(或线程)阻塞,直到I/O操作完成,也就是说同步的操作会一直占用该进程(或线程),直到处理完毕才会释放
对于异步操作:请求则不会导致进程(或线程)阻塞
同步IO:
用户进程发出IO调用,去获取IO设备数据,双方的数据要经过内核缓冲区同步,完全准备好后,再复制返回到用户进程。而复制返回到用户进程会导致请求进程(或线程)阻塞,直到I/O操作完成。
异步IO:
用户进程发出IO调用,去获取IO设备数据,并不需要同步,内核直接复制到进程(或线程),整个过程不导致请求进程(或线程)阻塞。
应用:JAVA中AIO
特点:
- 不阻塞,并发性能好;
- 需要操作系统的底层支持;
- 实现、开发应用难度大;
- 非常适合高性能高并发应用;
2. Java中提供支持的网络编程操作
- BIO 同步并阻塞
同步阻塞,服务器实现模式为一个连接一个线程,即客户端有连接请求时服务器端就需要启动一个线程进行处理,如果这个连接不做任何事情会造成不必要的线程开销,可以通过线程池机制改善(实现多个客户连接服务器)。
缺点:
- 每个请求都需要创建独立的线程,与对应的客户端进行数据 Read,业务处理,数据 Write
- 并发数较大时,需要创建大量线程来处理连接,系统资源占用较大
- 连接建立后,如果当前线程暂时没有数据可读,则线程就阻塞在 Read 操作上,造成线程资源浪费
- NIO 同步非阻塞
同步非阻塞,服务器实现模式为一个线程处理多个请求(连接),即客户端发送的连接请求都会注册到多路复用器上,多路复用器轮询到连接有 I/O 请求就进行处理
- AIO 异步非阻塞
AIO 引入异步通道的概念,采用了 Proactor 模式,简化了程序编写,有效的请求才启动线程,它的特点是先由操作系统完成后才通知服务端程序启动线程去处理,一般适用于连接数较多且连接时间较长的应用
- 适用场景
- BIO(同步并阻塞) 方式适用于连接数目比较小且固定的架构,这种方式对服务器资源要求比较高,
并发局限于应用中,JDK1.4以前的唯一选择,但程序简单易理解 - NIO(同步非阻塞) 方式适用于连接数目多且连接比较短(轻操作)的架构,比如聊天服务器,弹幕
系统,服务器间通讯等。编程比较复杂,JDK1.4 开始支持 - AIO(异步非阻塞) 方式使用于连接数目多且连接比较长(重操作)的架构,比如相册服务器,充分
调用 OS 参与并发操作, 编程比较复杂,JDK7 开始支持。
3. java-NIO编程
Java NIO 全称java non-blocking IO ,是指 JDK 提供的新 API。从 JDK1.4 开始,Java 提供了一系列改进的输入/输出的新特性,被统称为 NIO(即 New IO),是同步非阻塞的.
1. NIO 有三大核心部分:Channel(通道),Buffer(缓冲区), Selector(选择器)
2. NIO是 面向缓冲区编程的。 数据读取到一个缓冲区中,需要时可在缓冲区中前后移动,这就增加了处理过程中的灵活性,使用它可以提供非阻塞式的高伸缩性网络
3. Java NIO 的非阻塞模式,使一个线程从某通道发送请求或者读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取,而不是保持线程阻塞,所以直至数据变的可以读取之前,该线程可以继续做其他的事情。 非阻塞写也是如此,一个线程请求写入一些数据到某通道,但不需要等待它完全写入, 这个线程同时可以去做别的事情。通俗理解:NIO 是可以做到用一个线程来处理多个操作的。假设有 10000 个请求过来,根据实际情况,可以分配50 或者 100 个线程来处理。不像之前的阻塞 IO 那样,非得分配 10000 个
NIO和 BIO的比较
- BIO 以流的方式处理数据,而 NIO 以缓冲区的方式处理数据,缓冲区 I/O 的效率比流 I/O 高很多
- BIO 是阻塞的,NIO则是非阻塞的
- BIO 基于字节流和字符流进行操作,而 NIO 基于 Channel(通道)和 Buffer(缓冲区)进行操作,数据总是从通道读取到缓冲区中,或者从缓冲区写入到通道中。Selector(选择器)用于监听多个通道的事件(比如:连接请求, 数据到达等),因此使用单个线程就可以监听多个客户端通道
NIO 三大核心原理
- 每个 channel 都会对应一个 Buffer
- Selector 对应一个线程, 一个线程对应多个 channel(连接)
- 每个 channel 都注册到 Selector选择器上
- Selector不断轮询查看Channel上的事件, 事件是通道Channel非常重要的概念
- Selector 会根据不同的事件,完成不同的处理操作
- Buffer 就是一个内存块 , 底层是有一个数组
- 数据的读取写入是通过 Buffer, 这个和 BIO , BIO 中要么是输入流,或者是输出流, 不能双向,但是
NIO 的 Buffer 是可以读也可以写 , channel 是双向的
缓冲区(Buffer)
缓冲区(Buffer):缓冲区本质上是一个可以读写数据的内存块,可以理解成是一个数组,该对象
提供了一组方法,可以更轻松地使用内存块,,缓冲区对象内置了一些机制,能够跟踪和记录缓冲区的
状态变化情况。Channel 提供从网络读取数据的渠道,但是读取或写入的数据都必须经由 Buffer.
在 NIO 中,Buffer是一个顶层父类,它是一个抽象类, 类的层级关系图,常用的缓冲区分别对应byte,short, int, long,float,double,char 7种.
-
常用API
// 创建byte类型的指定长度的缓冲区 static ByteBuffer allocate(长度) // 创建一个有内容的byte类型缓冲区 static ByteBuffer wrap(byte[] array) /** 缓冲区对象数据操作 */ int position()/position(int、newPosition) 获得当前要操作的索引/修改当前要操作的索引位置 int limit()/limit(int newLimit) 最多能操作到哪个索引/修改最多能操作的索引位置 int capacity() 返回缓冲区的总长度 int remaining()/boolean hasRemaining() 还有多少能操作索引个数/是否还有能操作 put(byte b)/put(byte[] src) 添加一个字节/添加字节数组 /** 缓冲区对象数据 读取*/ flip() 写切换读模式 limit设置position位置, position设置0 get() 读一个字节 get(byte[] dst) 读多个字节 get(int index) 读指定索引的字节 rewind() 将position设置为0,可以重复读 clear() 切换写模式 position设置为0 , limit 设置为 capacity array() 将缓冲区转换成字节数组返回