IO 多路复用 select vs pool vs epool

IO 多路复用 select vs pool vs epool

前言

  • 在类 unix linux 系统中每一个进程都存在一个文件描述符表,表指向具体的文件,比如 socket, 设备(devices), 和其他操作系统对象。

IO多路复用(IO Multiplexing )出现的背景

  • 多个io资源协同工作的系统,具有典型的两个阶段,初始化阶段,然后进入等待模式,等待客户端发起请求并对其进行相应。
  • 简单的实现是对每一个客户端socket 请求创建一个thread 线程,在read 的时候block 阻塞,直至一个请求被发送并且接受到一个写入(write)的响应。
  • 这种工作模式在客户端client 比较少的时候是ok 的, 但是如果在大规模的客户端请求调度中,为每个client 都创建一个线程是非常不好的。

io 多路复用应运而生。

IO Multiplexing 模式的支持

实现思想是: 采用内核机制来轮询一组文件描述符,在linux 中有以下三种支持。

它们的实现思路一样,都是创建一组标志读(read) 写(write)的文件描述符,并告知内核,并用一个线程阻塞一个函数调用,直到一个文件描述符的操作(read/write)可用。

  • select()
  • pool()
  • epool()

select() 系统调用

select () 指令

int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

对一个select 指令的调用会被阻塞,直到给定的文件描述符执行IO 操作,或则在指定的过期时间内失效,被监视的文件描述符分为三组。

  • readfds: 监视 readfds集中列出的文件描述符,以查看是否有数据可读取。
  • writefds: 监视 writefds 集中列出的文件描述符,已查看是否写入操作完成且没有发生阻塞。
  • exceptfds : 监视是否出现异常,或则带外数据(OOB)可用。

select 没有监察到上述事件就会返回null。成功返回则修改每个集合。使其仅包含已经准备就绪的文件描述符。

因为需要告知 select() 最大的文件描述符编号,这是fd_sets 的内部实现。

【在fd_set 中 一个fd(file description) 文件描述占用 1bit, fd_set 是length 为32 的整数数组,(32 x 4byte x 8bit = 1024bit) ,假设存在 8个文件描述符,最大的文件描述符值为1000, 那么将会在0 ~ 1000 中找到监视的文件描述符】

这也是一个弊端,因为需要在每次轮询迭代时重新构建文件描述符集。

select () 总结

  • 在每次调用前需要重新构建每个fd_set 集合。
  • 函数调用监视文件描述符最大值N 范围内的任何位,时间复杂度为 O(N)。
  • 需要轮询遍历文件描述符集,检查是否存在于从 select() 返回的集合中。
  • select 最大的优势是轻便,可移植,任何unix 系统都支持。

pool() 系统调用

int poll (struct pollfd *fds, unsigned int nfds, int timeout);

与select () 采用3个 基于标记位的文件描述符集不同,pool 采用一个pollfd 结构,原型更简单。

struct pollfd {
      int fd;
      short events; 
      short revents;
};

为每一个文件描述符构建一个 pollfd 类型的兑对象,并填充请求(request)事件,然后轮询返回响应,检查返回事件(revents)字段。

与selelct() 类似,需要检测每一个pollfd 对象去看它的文件描述符是否已准备好,,但是不需要在每次轮询时重新构建文件描述符集。

epool() 系统调用

pool() ,select() 工作时,我们需要在用户空间管理任何事情,在每次调用发送 文件描述符集时陷入阻塞等待。添加另外的socket , 我们需要把它加入到 集合中并再一次调用 pool() select()。

epool() 帮助我们在内核中创建和管理上下文,可以分为以下三步:

  • 调用 epool_create 在内核中创建上下文。
  • 调用epool_ctl 在上线文中添加或删除文件描述符。
  • 采用epool_wait 等待上下文中的事件。

pool() vs select()

  • pool() 不需要用户去计算文件描述符最大数+1。
  • pool() 对于很大数值的文件描述符更有效率。
  • select() 的文件描述符集是固定的大小。
  • 采用select() 系统调用,文件描述符集在返回后被重新构造,因此接下来的调用必须重新实例化,pool() 将输入 (event 字段)和 输出 (output )分开,从而允许文件描述符集可以重用而无需改动。
  • select() 更轻便, 一些unix 系统不支持 pool()。

epool vs pool vs select

  • 在等待io 响应的时候可以添加或删除文件描述符。
  • epool_wait 仅返回具有已经准备的文件描述符的对象。
  • epool 拥有更高的性能,时间复杂度为 O(1)。
  • epool 可以表现为水平触发,和边缘触发。
  • epool 是linux 特有的,不具有很好的可移植性。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,826评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,968评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,234评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,562评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,611评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,482评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,271评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,166评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,608评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,814评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,926评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,644评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,249评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,866评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,991评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,063评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,871评论 2 354