浅谈I/O

Linux网络I/O模型

Linux的内核将所有的外部设备都看做一个文件来操作,对文件的读写会调用内核提供的系统命令,返回一个file descriptor(fd,文件操作符)。而对于socket的读写也会返回一个相应的描述符,称为socketfd(socket描述符),描述符就是一个数字,它指向内核中的一个结构体(文件路径,数据区等一些属性)。
操作系统在处理I/O的时候,主要分为两步:

  • 操作一:等待数据传到操作系统内核。
  • 操作二:将数据从操作系统内核复制到应用内存中(进程的缓冲区)。

而根据着来年各个阶段的不同,就有了下面的不同的I/O模型。

根据Unix网络编程对IO模型的分类,Unix提供了5种模型,分别如下:

  • 堵塞IO模型:最常用的IO模型。缺省情况下,所有的文件操作都是堵塞的。我们以套接字接口为例来讲解此模型:在进程空间中调用recvfrom,其系统调用直到数据包到达并且被复制到应用进程的缓冲区中或者发生错误时返回。在此期间一直会等待,进程从调用recvfrom到它返回这段时间一直都是堵塞状态。在这个模型中,一旦执行了系统调用,如果操作一即数据还没有传输到系统内核中,进程会堵塞,等待数据传输完到了,再进行数据复制,此时也是堵塞的。需要注意的是,这里说的堵塞是并不会造成CPU的浪费,CPU只是不执行I/O操作,还是会去执行其他操作

  • 非堵塞IO模型:recvfrom从应用层到内核的时候,如果该缓冲区没有数据的话,就直接返回一个EWOULDBLOCK错误,一般都对非堵塞IO模型进行轮训检查这个状态,看内核是不是有数据到来。相比于堵塞的/O模型,
    非堵塞的I/O模型通过缓冲区来达到非堵塞,具体的表现是操作一是非堵塞的,应用从缓冲区读取数据,通过轮询的方式来查看是否有数据可以读取。

  • IO复用模型:前面说的都是处理一个fd操作,但需要处理多个fd时,因为后面的fd必须等到前面的fd操作而完成了才可以执行,即使后面的fd比前面的先准备好也只能等待,这样是效率很低的。为此,我们可以用多线程来解决,但是启动太多的线程也未必是一件好事,会造成资源的浪费。I/O多路复用技术通过将多个I/O的堵塞复用在一个select的堵塞上,从而使得系统在单线程的情况下可以同时处理多个客户端的请求。IO复用技术最大的优点就是系统开销少,因为不需要额外的进程或者线程来处理,只需要一个线程即可以处理多个fd操作。Linux内核提供了select/poll,进程通过将一个或者多个fd传递给select或者poll系统调用,堵塞在select操作上,这样select/poll可以帮我们侦测多个fd是否处于就绪状态。select/poll是顺序扫描fd是否就绪,而且支持的fd的数量有限,因此他的使用受到了一些限制。Linux还提供了一个epoll提供调用,epoll使用基于事件驱动方式代替了顺序扫描,因此效率更高。当有fd就绪时,立即回调函数rollback。

  • 信号驱动IO模型:首先开启套接口驱动IO功能,并通过系统调用sigaction执行一个信号处理函数(此系统调用立即返回,进程继续工作,它是非堵塞的)。当数据准备就绪的时候,就为进程生成一个sigio信号,通过信号回调通知引用程序调用recvfrom来读取数据,并通知主循环函数处理。

  • 异步IO模型:告知内核启动摸个操作,并让内核在整个操作完成后(包括将数据从内核中复制到用户缓存中)通知我们。这种模型与信号模型的主要区别是:信号驱动IO由内核通知我们何时开始一个IO操作,异步IO模型由内核告诉我们何时已经完成一个IO操作。

IO多路复用技术

在IO编程过程中,当需要同时处理多个客户端请求时,可以利用多线程或者IO多路复用技术进行处理。IO多路复用技术通过把多个IO的堵塞复用到一个select的堵塞上,从而使系统在单线程的情况下可以同时处理多个用户请求。与传统的多线程/多进程模型相比,IO多路复用的最大优势是系统开销小,系统不需要创建新的额外的进程或者线程,也不需要维护这些线程或者进程的运行,降低了系统的维护工作量,节省了系统资源,IO多路复用的主要用用场景如下:

  • 服务器需要同时处理多个出于监听状态或者链接状态的套接字。
  • 服务器需要同时处理多种网络协议的套接字。

在之前的Linux网络编程中,很长一段时间都是使用select,然而因为select的一些缺陷不得不寻找一个更好的解决方法,这就找到了epoll。epoll其实和select的原理比较类似,为了克服select的缺点,epoll进行了很大的改进。

  • 支持一个进程打开的socket描述符没有限制(仅受限于操作系统的最大文件句柄数)。

  • select的FD_SETSIZE的默认设置是1024,虽然可以通过修改这个宏重新编译内核,不过会带来网络效率的下降。epoll没有这限制。

  • IO效率不会随着FD数目的增加而现行下降。

  • 传统的select/poll有一个致命的弱点,当你拥有很大的socket集合的时候,由于网络延时或者链路空闲,只有一部分的socket处于活跃的状态。select/poll每次调用都会通过线性扫描所有的集合。所以socket集合越多,扫描的时间就越久。而epoll就没有这个问题,它只处理活跃的socket,因为只有活跃的socket才会主动的调用callback函数。

  • 使用mmmap加速内核与用户控件的消息传递。

  • 无论是select还是epoll都需要内核把FD消息通知给用户空间,如何避免不必要的内存复制显得非常重要。epoll是通过内核和用户空间mmap同一块内存来实现。

  • epool的API更加简单。

  • 包括创建一个epoll描述符,添加监听事件,阻塞等待所有监听大的事件发生,关闭epoll。
    相关连接:
    详细解读
    BIO
    NIO
    AIO

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容

  • 一:概念的理解: 首先在网络编程的时候,我们常常见到同步/异步,阻塞/非阻塞四中调用方式: 1同步和异步主要针对C...
    千纸鹤V阅读 389评论 0 1
  • 必备的理论基础 1.操作系统作用: 隐藏丑陋复杂的硬件接口,提供良好的抽象接口。 管理调度进程,并将多个进程对硬件...
    drfung阅读 3,505评论 0 5
  • python之路——IO模型 IO模型介绍 为了更好地了解IO模型,我们需要事先回顾下:同步、异步、阻塞、非阻塞 ...
    go以恒阅读 539评论 0 2
  • IO模型介绍 为了更好地了解IO模型,我们需要事先回顾下:同步、异步、阻塞、非阻塞 同步(synchronous)...
    可笑的黑耀斑阅读 1,158评论 0 2
  • 同步IO和异步IO,阻塞IO和非阻塞IO分别是什么,到底有什么区别?不同的人在不同的上下文下给出的答案是不同的。所...
    Daniel521阅读 1,368评论 0 6