使用Python队列和多线程实现生产者消费者


这个模型使用python来实现相比POSIX来做简单太多太多了,轮子python都可以写好了直接调用即可,队列就已经封装好了对共享数据的安全访问。在POSIX多线程中考虑Mutex和条件变量是一个重点。这是我以前用POSIX pthread函数实现的一个生产者和消费者模型:

一、实现方式

下面是Python实现的方法,实际上就是使用队列作为共享数据的中间价这是模块封装好的,不需要在使用Mutex保护线程之间共享数据访问的
安全性。附带队列的测试代码,代码简单如下:

import threading
import time
import queue
from global_par import global_par
#queue is especially useful in threaded programming when information must be exchanged safely between multiple threads.

def Prod(global_data):
    """生产者线程"""
    i = 1
    qfifo = global_data.get_global_pars("CusQue")
    while 1:
        qfifo.put(i)
        print("生产产品: {} ".format(i))
        i +=1;
    return 0

def Cust(global_data,detail):
    """消费者线程"""
    qfifo = global_data.get_global_pars("CusQue")
    while 1:
        print("{}:消费产品:{}".format(detail,qfifo.get()))
        time.sleep(1)
    return 0

def main():
    pthread_list = []
    global_data = global_par()
    qfifo = queue.Queue(maxsize=10)
    global_data.set_global_pars("CusQue",qfifo)

    ##建立1个生产者线程
    thread_pro = threading.Thread(target=Prod,args=(global_data,))
    pthread_list.append(thread_pro)

    ##建立10个消费者线程
    for i in range(10):
        thread_cus = threading.Thread(target=Cust, args=(global_data, "消费线程{}".format(i+1),))
        pthread_list.append(thread_cus)

    for i in pthread_list:
        i.start()

    for i in pthread_list:
        i.join

    return 0

if __name__ == '__main__':
    main()

二、队列测试代码

import threading
import queue
#http://www.cnblogs.com/alex3714/articles/5230609.html

def my_format(x, y):
    """par one: what des your print
       par two: value
    """
    x = "-->" + x + " {}"
    print(x.format(y))
    return

qfifo = queue.Queue(maxsize=2) ##先进先出队列 如果达到最大值默认Queue.put()会堵塞 如果为空默认Queue.get()会堵塞
qlifo = queue.LifoQueue(maxsize=2) ##后入先出队列 如果达到最大值默认Queue.put()会堵塞 如果为空默认Queue.get()会堵塞
qpri  = queue.PriorityQueue(maxsize=2) ##根据优先级判断顺序小的为优先级高  如果达到最大值默认Queue.put()会堵塞 如果为空默认Queue.get()会堵塞

##part0:在队列增加元素Queue.put(item, block=True, timeout=None) 可以设置是否堵塞
my_format("##part0:在队列增加元素Queue.put(item, block=True, timeout=None):","")
qfifo.put(1)
qfifo.put(2)
##part1:队列满了会报queue.Full异常
try:
    qfifo.put(2,timeout=1)
except queue.Full as e:
    my_format("##part1:队列满了如果不堵塞会报queue.Full异常", "")

##part2:出队列Queue.get(block=True, timeout=None) 可以设置是否堵塞

my_format("##part2:出队列Queue.get(block=True, timeout=None) 可以设置是否堵塞:","")
qfifo.get()
qfifo.get()

##part3:队列空如果不堵塞会报异常queue.Empty
try:
    qfifo.get(timeout=1)
except queue.Empty as e:
    my_format("##part3:队列空如果不堵塞会报异常queue.Empty", "")


##part4:返回队列的大小Queue.qsize()
my_format("##part0:返回队列的大小Queue.qsize():",qfifo.qsize())

##part5:返回是否为空的bool值Queue.empty()
my_format("##part1:返回是否为空的bool值Queue.empty():",qfifo.empty())

##part6:返回是否满的bool值Queue.full()

my_format("##part1:返回是否为空的bool值Queue.full():",qfifo.full())
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,734评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,931评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,133评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,532评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,585评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,462评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,262评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,153评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,587评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,792评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,919评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,635评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,237评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,855评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,983评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,048评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,864评论 2 354

推荐阅读更多精彩内容