python IO 多路复用(select)

了解了IO多路复用,我们就来看看python中是如何使用的。Python中有一个select模块,其中提供了:select、poll、epoll三个方法,分别调用系统的 select,poll,epoll 从而实现IO多路复用。(下面以select方法为例)

Windows Python:

提供: select

Mac Python:

提供: select

Linux Python:

提供: select、poll、epoll

注意:网络操作、文件操作、终端操作等均属于IO操作,对于windows只支持Socket操作,其他系统支持其他IO操作,但是无法检测 普通文件操作 自动上次读取是否已经变化。

对于select方法:

句柄列表11, 句柄列表22, 句柄列表33=select.select(句柄序列1, 句柄序列2, 句柄序列3, 超时时间)

参数: 可接受四个参数(前三个必须)

返回值:三个列表

select方法用来监视文件句柄,如果句柄发生变化,则获取该句柄。

1、当 参数1序列中的句柄发生可读时(accetp和read),则获取发生变化的句柄并添加到 返回值1序列中

2、当 参数2序列中含有句柄时,则将该序列中所有的句柄添加到 返回值2序列中

3、当 参数3序列中的句柄发生错误时,则将该发生错误的句柄添加到 返回值3序列中

4、当 超时时间 未设置,则select会一直阻塞,直到监听的句柄发生变化(时间设置)

当 超时时间 =1时,那么如果监听的句柄均无任何变化,则select会阻塞1秒,之后返回三个空列表,如果监听的句柄有变化,则直接执行。

利用select实现伪同时处理多个Socket客户端请求:服务端

!/usr/bin/python

-- coding: utf-8 --

"""
@version: ??
@author: Guanjie Zhou
@license: Apache Licence
@file: server.py
@time: 17-5-25 下午9:50
"""

'''
服务器的实现 采用select的方式
'''

import select
import socket
import sys
import Queue

创建套接字并设置该套接字为非阻塞模式

server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server.setblocking(0)

绑定套接字

server_address = ('localhost', 10000)

server.bind(server_address)

将该socket变成服务模式

backlog等于5,表示内核已经接到了连接请求,但服务器还没有调用accept进行处理的连接个数最大为5

这个值不能无限大,因为要在内核中维护连接队列

server.listen(5)

初始化读取数据的监听列表,最开始时希望从server这个套接字上读取数据

inputs = [server]

初始化写入数据的监听列表,最开始并没有客户端连接进来,所以列表为空

outputs = []

要发往客户端的数据

message_queues = {}
while inputs:
print('waiting for the next event')
# 调用select监听所有监听列表中的套接字,并将准备好的套接字加入到对应的列表中
readable, writable, exceptional = select.select(inputs, outputs, inputs) # 列表中的socket 套接字 如果是文件呢?
# 监控文件句柄有某一处发生了变化 可写 可读 异常属于Linux中的网络编程
# 属于同步I/O操作,属于I/O复用模型的一种
# rlist--等待到准备好读
# wlist--等待到准备好写
# xlist--等待到一种异常
# 处理可读取的套接字

'''
    如果server这个套接字可读,则说明有新链接到来
    此时在server套接字上调用accept,生成一个与客户端通讯的套接字
    并将与客户端通讯的套接字加入inputs列表,下一次可以通过select检查连接是否可读
    然后在发往客户端的缓冲中加入一项,键名为:与客户端通讯的套接字,键值为空队列
    select系统调用是用来让我们的程序监视多个文件句柄(file descrīptor)的状态变化的。程序会停在select这里等待,
    直到被监视的文件句柄有某一个或多个发生了状态改变
    '''

'''
    若可读的套接字不是server套接字,有两种情况:一种是有数据到来,另一种是链接断开
    如果有数据到来,先接收数据,然后将收到的数据填入往客户端的缓存区中的对应位置,最后
    将于客户端通讯的套接字加入到写数据的监听列表:
    如果套接字可读.但没有接收到数据,则说明客户端已经断开。这时需要关闭与客户端连接的套接字
    进行资源清理
    '''
print ('111')

for s in readable:
    if s is server:
        connection, client_address = s.accept()
        print('connection from', client_address)
        connection.setblocking(0)  # 设置非阻塞
        inputs.append(connection)
        # 将新连接的套接字链接通话建立到一个队列中去
        message_queues[connection] = Queue.Queue()
    else:
        data = s.recv(1024).decode()
        if data:
            print('received "%s" from %s' % \
                  (data, s.getpeername()))
            message_queues[s].put(data)
            if s not in outputs:
                # 不存在outputs列表中的,加入到outputs中
                outputs.append(s)
        else:
            print('closing', client_address)
            if s in outputs:
                outputs.remove(s)
            inputs.remove(s)
            s.close()
            del message_queues[s]

# 处理可写的套接字
'''
    在发送缓冲区中取出响应的数据,发往客户端。
    如果没有数据需要写,则将套接字从发送队列中移除,select中不再监视
    '''

for s in writable:
    try:
        next_msg = message_queues[s].get_nowait()

    except Queue.Empty:
        print('  ', s.getpeername(), 'queue empty')
        outputs.remove(s)
    else:
        print('sending "%s" to %s' % \
              (next_msg, s.getpeername()))
        s.send(next_msg)

# 处理异常情况

for s in exceptional:
    for s in exceptional:
        print('exception condition on', s.getpeername())
        inputs.remove(s)
        if s in outputs:
            outputs.remove(s)
        s.close()
        del message_queues[s]

利用select监听终端操作实例

!/usr/bin/python

-- coding: utf-8 --

"""
@version: ??
@author: Guanjie Zhou
@license: Apache Licence
@file: client.py
@time: 17-5-26 下午1:11
"""

import socket

ip_port= ('127.0.0.1',10000)
sk = socket.socket()
sk.connect(ip_port)

while True:
inp = raw_input("please input:").encode()
sk.sendall(inp)
data = sk.recv(1024).decode()
print data+'hello'
sk.close()

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容