网络编程IO多路复用

场景:设计一个高性能的网络服务器,能够供多个客户端同时进行连接,并且能够处理这些客户端传上来的请求

应对并发,可以设计一个多线程的程序,每个传上来的请求都开一个线程。存在一个弊端,需要CPU上下文的切换,代价高

如何使用单线程解决问题?
每一个网络连接在内核中以文件描述符的形式存在
如果服务器正在处理A的请求,此时B发送一个请求,B的请求会被丢弃吗?不会,因为处理IO的设备不是CPU,而是专门的DMA
最简单粗暴的方法,缺点是仍然由CPU判断是否有数据

while(1){
    for(fdx in (fda ~ fde)){
        if(fdx有数据){
            读fdx并处理;
        }
    }
}

select

sockfd = socket(AF_INET, SOCK_STREAM, 0);
memset(&addr, 0, sizeof(addr));
addr.sin_family = AF_INET;
addr.sin_port = htons(2000);
addr.sin_addr.s_addr = INADDR_ANY;
bind(socket, (struct sockaddr*)&addr, sizeof(addr));
listen(sockfd, 5);
for(i = 0; i < 5; i++){
    memset(&client, 0, sizeof(client));
    addrlen = sizeof(client);
    fds[i] = accept(socket, (struct sockaddr*)&client, &addrlen);
    if(fds[i] > max)
        max = fds[i];
}
/*----------------------*/
while(1){
    FD_ZERO(&rset);
    for(i = 0; i < 5; i++)
        FD_SET(fds[i], &rset);

    puts("round again");
    select(max + 1, &rset, NULL, NULL, NULL);
 
    for(i = 0; i < 5; i++){
        if(FD_ISSET(fds[i], &rset)){
            memset(buffer, 0, MAXBUF);
            read(fds[i], buffer, MAXBUF);
            puts(buffer);
        }
    }
}

上一个部分主要是为了准备文件描述符的数组fds。首先创建了一个socket的服务端,然后创建了五个文件描述符
文件描述符是一些随机的不重复的数,将其中的最大值存到max中

select方法的参数:读文件描述符集合、rset、写文件描述符集合、异常描述符集合、超时时间
这里关心的是读文件描述符,因为要读取网络连接中的数据,将写文件描述符集合、异常描述符集合设置为NULL,超时时间NULL表示使用默认时间
rset是一个bitmap,用来表示哪一个文件描述符是被启用/监听的,bitmap有1024位,哪一位为1表示哪一个文件描述符被监听

select将rset从用户态拷贝到内核态,由内核态直接判断文件描述符是否有数据的操作;暴力方法判断时需要反复从用户态切换到内核态,效率更低

select函数的执行流程

  1. select是一个阻塞函数,当没有数据时,会一直阻塞在select函数那一行
  2. 当有数据时会将rset中对应的那一位置位
  3. select函数返回,不再阻塞
  4. 遍历文件描述符数组,判断哪个fd被置位了
  5. 读取数据,处理

select函数的缺点

  1. bitmap默认大小为1024,虽然可以调整但是有限度
  2. rset每次循环都需要重置,不可重复使用
  3. 尽管将rset从用户态拷贝到内核态由内核判断是否有数据,但还是有拷贝的开销
  4. 当有数据时select就会返回,但是select函数并不知道哪个文件描述符有数据了,后面还需要再次对文件描述符遍历

poll

struct pollfd{
    int fd;
    short events;
    short revents;
}
/*----------*/
for(i = 0; i < 5; i++){
    memset(&client, 0, sizeof(client));
    addrlen = sizeof(client);
    pollfds[i].fd = accept(socket, (struct sockaddr*)&client, &addrlen);
    pollfds[I].events = POLLIN;
}
sleep(1);
/*----------*/
while(1){
    puts("round again");
    poll(pollfds, 5, 50000);
    
    for(i = 0; i < 5; i++){
        if(pollfds[i].revents & POLLIN){
            pollfds[i].revents = 0;
            memset(buffer, 0, MAXBUF);
            read(pollfds[i].fd, buffer, MAXBUF);
            puts(buffer);
        }
    }
}

poll函数的参数

  1. 自定义的结构体数组
  2. 数组的长度
  3. 超时时间

自定义结构体

  1. fd,文件描述符
  2. events,在意的事件是什么,读是POLLIN,写是POLLOUT,读和写都在意用或
  3. revents,对events的回馈,开始时为0,当有数据可读时就置为POLLIN,类似于上面的rset

poll函数的执行流程

  1. 将五个fd从用户态拷贝到内核态
  2. poll为阻塞方法,执行poll方法,如果有数据会将fd对应的revents置为POLLIN
  3. poll方法返回
  4. 循环遍历,查找哪个fd被置位为POLLIN了
  5. 将revents重置为0,便于复用
  6. 对置位的fd进行读取和处理

解决了select的哪些缺陷

  1. 使用数组,大小不止1024,解决了bitmap的大小限制
  2. 每次置位revents字段,revents可以恢复,解决了rset不可重用的情况
  3. 3和4的缺陷未被解决,因为两者原理相同

epoll

struct epoll_events[5];
int epfd = epoll_create(10);
...
...
for(i = 0; i < 5; i++){
    static struct epoll_event ev;
    memset(&client, 0, sizeof(client));
    addrlen = sizeof(client);
    ev.data.fd = accept(socket, (struct sockaddr*)&client, &addrlen);
    ev.events = POLLIN;
    epoll_ctl(epfd, EPOLL_CTL_ADD, ev.data.fd, &ev);
}
/*---------*/
while(1){
    puts("round again");
    nfds = epoll_wait(epfd, events, 5, 10000);

    for(i = 0; i < nfds; i++){
        memset(buffer, 0, MAXBUF);
        read(events[I].data.fd, buffer, MAXBUF);
        puts(buffer);
    }
}

epoll准备过程

  1. 利用epoll_create创建epfd,epfd相当于一个白板,用来作为epoll_wait的第一个参数,epoll_create的参数没有多大的实际意义,可以随意取值,用户态和内核态共享epfd
  2. 利用epoll_ctl对epfd进行配置,添加了五个fd-events的数据,没有revents

epoll的执行流程

  1. 当有数据的时候,会把相应的文件描述符置位,但是epoll没有revent标志位,并非真正的置位,而是将有数据的文件描述符放到队首
  2. epoll返回有数据的文件描述符的个数
  3. 根据返回的个数,读取前n个文件描述符即可
  4. 读取并处理
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,163评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,301评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,089评论 0 352
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,093评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,110评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,079评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,005评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,840评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,278评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,497评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,667评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,394评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,980评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,628评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,649评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,548评论 2 352