参考:
https://www.cnblogs.com/sunhao96/p/7873842.html
https://segmentfault.com/a/1190000016359495
https://www.cnblogs.com/51try-again/p/11078674.html
一.概念
1.用户空间和内核空间
32位的操作系统,其寻址空间是4G(2^32次方)。4G空间分为:
1)最高的1G字节:称为内核空间,供内核使用;
2)较低的3G字节:称为用户空间,供进程使用。
内核:可以访问内核空间和用户空间。进程:只能访问用户空间,不能访问内核空间。
2.文件描述符FD
FD:File descriptor
文件描述符:形式上是一个非负整数。表示一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当进程打开现有文件或者创建新文件时,内核向进程返回一个文件描述符。
3.缓存IO
缓存IO:即标准IO。
LinuxIO机制中,操作系统会将IO的数据缓存再文件系统的页缓存中。也就是说:数据会先被拷贝到操作系统的内核缓冲区中,然后才会从操作系统的内核缓冲区,拷贝到应用程序的地址空间。
- 缺点:数据再传输过程中,需要再用用程序地址空间和内核进行多次数据拷贝操作,CPU和内存开销较大。
二.IO模式
对于一次IO访问,比如read,会经历如下两个阶段:
- 等待数据准备:即数据时候已经拷贝到内核缓存区中;
- 将数据从内核拷贝到进程中:
根据上述两个阶段,Linux产生了下面5种网络模式:
1.阻塞I/O:Blocking IO
2.非阻塞I/O:Nonblocking IO
3.I/O多路服用:IO Multiplexing
4.信号驱动I/O:Signal driven IO
5.异步I/O:Asynchronous IO
1.阻塞I/O
Linux中,默认情况下所有的socket都是blocking的。
当用户进程调用了recvfrom这个系统调用,kernel就开始了IO的第一个阶段:
- 等待数据:这个过程有可能处于等待,比如网络数据还没有到达等场景。当数据到达,将其拷贝到操作系统内核缓冲区中。
- 将数据从内核缓冲区拷贝到用户空间:当kernel数据准备好了,其就会数据从kernel拷贝到用户内存。直到拷贝完成,然后kernel返回结果,用户进程才解除block状态,重新运行起来。
所以:Blocking Io的特点是:IO执行的两个阶段,都被block。
2.非阻塞式I/O
linux下,可以通过设置socket使其变为non-blocking。
当用户进程调用了recvfrom系统调用之后,如果此时数据未到达,则不阻塞用户进程,直接返回EWOULDBLCK错误码。用户进程收到错误码之后,知道数据还没有准备好,于是会进行轮循(polling),再次发送read操作。一旦kernel中的数据准备好了,并且又再次接收到了用户的system call,那么它马上就将数据拷贝到用户内存,然后返回。
所以NonBlocking IO的特点是:
- 第一阶段:用户进程需要不断的主动询问kernel的数据是否ready;
- 第二阶段:依然是阻塞操作
3.I/O多路复用
IO多路复用有三种类型:
- select
- poll
- epoll
其基本原理就是:select、poll、epoll function会不断轮循所负责的所有socket,当某个socket有数据到达了,就通知用户进程。
过程:当用户进程调用select,用户进程处于block状态,同时,kernel会监视所有select负责的socket,当任何一个socket数据准备好,select就返回。然后用户进程调用reavfrom系统调用,将数据从kernel拷贝到用户进程。
相比于BlockingIO
- 缺点:多一次系统调用,这里使用了两次系统调用(select和recvfrom)
- 优点:select可以监听多个connection
所以:IO multiplexing的特点是:
- 第一阶段:通过一种机制,一个进程能够同时等待多个文件描述符,这些描述符其中任意一个进入就绪状态,select函数就会返回。
- 第二阶段:依然需要调用recvfrom,处于阻塞状态;
4.信号驱动I/O
在信号驱动IO模式中,与阻塞和非阻塞的模式有一个本质的区别:用户进程不需要再等待内核态的数据准备好,直接可以去做其他事情了。
所以,信号驱动I/O模式的特点:
- 第一阶段:不需要阻塞或者主动轮训,kernel数据准备好了之后,kernel会主动通知用户进程。
- 第二阶段:依然需要调用recvfrom,处于阻塞状态。
5.异步I/O
异步I/O模型相比与信号驱动I/O模型,异步化更加彻底。
其特点是:
- 第一阶段:用户发起异步调用之后,立马返回结果。进程不阻塞,就可以直接去做其他事情。
- 第二阶段:当kernel数据准备好了之后,也不需要用户进程感知,kernel会直接将kernel数据拷贝到用户进程空间。当一切完成之后,kernel会给用户进程发送一个signal,通知其read操作完成。
所以:异步和同步的区分:是在第二阶段,真实的IO操作。故:只有异步IO第二阶段是异步的,其他IO模式第二阶段都是阻塞的,所以只能算是同步的。
三.I/O多路复用之select、poll、epoll详解
select,poll,epoll都是IO多路复用的机制。I/O多路复用就是通过一种机制,一个进程可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作。
-
select
int select (int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
select 函数监视的文件描述符分3类,分别是writefds、readfds、和exceptfds。调用后select函数会阻塞,直到有描述副就绪(有数据 可读、可写、或者有except),或者超时(timeout指定等待时间,如果立即返回设为null即可),函数返回。当select函数返回后,可以通过遍历fdset,来找到就绪的描述符。
1)使用copy_from_user从用户空间拷贝fd_set到内核空间;
2)注册回调函数__pollwait;
3)遍历所有fd,调用其对应的poll方法(对于socket,这个poll方法是sock_poll,sock_poll根据情况会调用到tcp_poll,udp_poll或者datagram_poll);
4)以tcp_poll为例,其核心实现就是__pollwait,也就是上面注册的回调函数;
5)__pollwait的主要工作就是把current(当前进程)挂到设备的等待队列中,不同的设备有不同的等待队列,对于tcp_poll来说,其等待队列是sk->sk_sleep(注意把进程挂到等待队列中并不代表进程已经睡眠了)。在设备收到一条消息(网络设备)或填写完文件数据(磁盘设备)后,会唤醒设备等待队列上睡眠的进程,这时current便被唤醒了。
6)poll方法返回时会返回一个描述读写操作是否就绪的mask掩码,根据这个mask掩码给fd_set赋值。
7)如果遍历完所有的fd,还没有返回一个可读写的mask掩码,则会调用schedule_timeout是调用select的进程(也就是current)进入睡眠。当设备驱动发生自身资源可读写后,会唤醒其等待队列上睡眠的进程。如果超过一定的超时时间(schedule_timeout指定),还是没人唤醒,则调用select的进程会重新被唤醒获得CPU,进而重新遍历fd,判断有没有就绪的fd;
8)把fd_set从内核空间拷贝到用户空间;
缺点:
- 每次调用select,都需要把fd集合从用户态拷贝到内核态,这个开销在fd很多时会很大;
- 同时每次调用select都需要在内核遍历传递进来的所有fd,这个开销在fd很多时也很大;
- select支持的文件描述符数量太小了,默认是1024;
- poll
int poll (struct pollfd fds, unsigned int nfds, int timeout);
不同与select使用三个位图来表示三个fdset的方式,poll使用一个 pollfd的指针实现。
struct pollfd {
int fd; / file descriptor /
short events; / requested events to watch /
short revents; / returned events witnessed */
};
poll的实现和select非常相似,只是描述fd集合的方式不同,poll使用pollfd结构而不是select的fd_set结构,其他的都差不多,管理多个描述符也是进行轮询,根据描述符的状态进行处理,但是poll没有最大文件描述符数量的限制。但是数量过大后性能也是会下降。 和select函数一样,poll返回后,需要轮询pollfd来获取就绪的描述符。 -
epoll
epoll提供了三个函数,epoll_create,epoll_ctl和epoll_wait,epoll_create是创建一个epoll句柄;epoll_ctl是注册要监听的事件类型;epoll_wait则是等待事件的产生。
对于第一个缺点,epoll的解决方案在epoll_ctl函数中。每次注册新的事件到epoll句柄中时(在epoll_ctl中指定EPOLL_CTL_ADD),会把所有的fd拷贝进内核,而不是在epoll_wait的时候重复拷贝。epoll保证了每个fd在整个过程中只会拷贝一次。
对于第二个缺点,epoll的解决方案不像select或poll一样每次都把current轮流加入fd对应的设备等待队列中,而只在epoll_ctl时把current挂一遍(这一遍必不可少)并为每个fd指定一个回调函数,当设备就绪,唤醒等待队列上的等待者时,就会调用这个回调函数,而这个回调函数会把就绪的fd加入一个就绪链表)。epoll_wait的工作实际上就是在这个就绪链表中查看有没有就绪的fd(利用schedule_timeout()实现睡一会,判断一会的效果,和select实现中的第7步是类似的)。
对于第三个缺点,epoll没有这个限制,它所支持的FD上限是最大可以打开文件的数目,这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右,具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。