Linux 五种I/O技术以及在Java中应用

Linux 五种I/O技术以及在Java中应用

I/O概念说明

在学习linux内核I/O方面的知识,首先要了解一下概念。

用户空间和内核空间

  • 内核空间:操作系统的核心是内核,可以访问受保护的内存空间、硬件设备、执行高权限指令。内核由系统中所有进程共享,当进程运行在内核空间时属于内核态。当程序执行了系统调用(例如:磁盘io)或者触发异常中断,此时进程就会进入内核态。
  • 用户空间:存放用户程序的代码和数据,执行linux第三级别的指令。运行在用户空间的进程处于用户态。
  • 上下文切换:用户应用空间的进程通过系统调用进入内核态时,需要传递用户空间的很多变量、参数等信息给内核。内核态运行时也会保存进程的寄存器值和变量信息,在用户进程恢复时传递该数据给用户态。

进程切换

操作系统为运行的每个进程开辟一个进程表项,该项包含了进程状态、程序计数器、堆栈指针、内存分配、打开文件描述等上下文信息。进程的切换是内核挂起正在执行的进程,并恢复以前运行的进程的过程。

进程阻塞

正在执行的进程,由于需要请求系统资源或者等待某种操作完成,而主动执行阻塞令名 使 进程进入阻塞状态。进入阻塞状态后,进程是不占有cpu资源的。

文件描述符

它是一个用于表述指向文件的引用的抽象化概念。指向内核维护的进程打开文件的记录表。

I/O缓存

在linux操作系统会将 IO 的数据缓存在文件系统的页缓存,磁盘数据会先被写入到内核系统缓冲区,然后操作系统内核将缓冲区数据复制到应用程序地址空间。数据会在内核空间和用户空间之间进行多次拷贝。为解决socket用户空间和内核空间之间的数据拷贝问题,一般采用zero-copy技术解决。例如java中FileChannel.transferTo(long position, long count, WritableByteChannel target)将数据从文件通道传输到了给定的可写字节通道。

Linux IO模型

在Linux 系统中常用的IO模型有阻塞BIO、非阻塞NIO、IO多路复用epoll、异步模式AIO。其中阻塞、非阻塞、多路复用都是同步模型。

IO涉及两个阶段:
第一阶段:等待数据准备 (Waiting for the data to be ready)。
第二阶段:将数据从内核拷贝到进程中 (Copying the data from the kernel to the process)。

同步阻塞模型BIO

在同步阻塞模型中,通过调用操作系统命令recvform 阻塞应用程序,同步阻塞等待数据从内核态复制到用户态。在等待数据处理的两个阶段,整个进程都是阻塞的。


image.png

流程描述:
进程调用了recv()/recvfrom()这个系统调用,内核kernel 执行第一阶段数据准备,kernel阻塞等待数据到来。等内核态数据缓存区准备好数据后,会进行第二个阶段。将数据从内核kernel缓存区拷贝到用户空间(拷贝阶段同步阻塞)。

同步非阻塞模型NIO

同步非阻塞模型的原理是通过轮询的方式,判断kernel内核是否数据准备完成。非阻塞将大的整片时间的阻塞分成N多的小的阻塞。操作系统调用recvform命令后,进程并不阻塞而是立即返回进程,然后循环往复的进行recvform系统调用。轮询检测内核数据状态,直到内核缓存数据准备完成,再进行数据拷贝。

image.png

该模型会导致系统吞吐量下降,因为每个一段时间轮询一次,而内核数据准备完成时间是任意的。

多路复用I/O模型

多路复用模型是通过操作系统底层调用select、poll、epoll函数命令。在select()函数处阻塞 监听 多个IO端口,当任何一个socket内核数据准备好时返回,然后调用recvform命令将数据从内核态拷贝到用户态。多路复用模型select()也会阻塞进程,而与阻塞模型不同的是 该 函数可以阻塞多个socket。

image.png

IO多路复用是阻塞在select,epoll这样的系统调用之上,而没有阻塞在真正的I/O系统调用如recvfrom之上。从而使在单线程情况下可以操作多个客户端请求。

IO多路复用模型最大优势是不需要创建的额外的线程 系统开销小,节省系统资源。其底层实现方式是操作系统命令支持,select、poll、epoll函数命令。

异步非阻塞模型AIO

Linux提供了AIO库函数实现异步,当用户发起aio_read操作后 内核 会立即返回不会block。内核会负责数据准备和数据从内核态拷贝到用户态,完成之后会向用户进程发送signal或通过线程回调函数完成IO 处理过程。

image.png

在non-blocking IO中,虽然进程大部分时间都不会被block,但是它仍然要求进程去主动的check,并且当数据准备完成以后,也需要进程主动的再次调用recvfrom来将数据拷贝到用户内存。而asynchronous IO则完全不同。它就像是用户进程将整个IO操作交给了他人(kernel)完成,然后他人做完后发信号通知。在此期间,用户进程不需要去检查IO操作的状态,也不需要主动的去拷贝数据。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容