Python中的多进程—进程通信(pipe和queue)

进程之间有很多通信的方式,除了socket,还有pipe和queue。

pipe
#encoding:utf-8
import multiprocessing

def proc1(pipe):
    pipe.send("hello")
    print ("proc 1 : ",pipe.recv())

def proc2(pipe):
    print ("proc 2 : ",pipe.recv())
    pipe.send("hello ,too")

#创建一个管道 这个管道是双向的
pipe=multiprocessing.Pipe()

#pipe[0] 表示管道的一端,pipe[1] 表示管道的另外一端
#对pipe的某一端调用send方法来传送对象,在另外一端使用recv来接收
p1=multiprocessing.Process(target=proc1,args=(pipe[0],))
p2=multiprocessing.Process(target=proc2,args=(pipe[1],))


p1.start()
p2.start()

p1.join()
p1.join()
queue
#encoding:utf-8
import multiprocessing
import time
import os

def inputq(queue):
    info=str(+os.getpid())+ ' put : '+str(time.ctime())
    queue.put(info)
    time.sleep(2)
    info=queue.get()
    print (info)

def outputq(queue):
    info=queue.get()
    print (info)
    queue.put(str(time.ctime()))
   


queue=multiprocessing.Queue(10)

p1=multiprocessing.Process(target=inputq,args=(queue,))
p2=multiprocessing.Process(target=outputq,args=(queue,))

p1.start()
p2.start()

p1.join()
p2.join()
顺便提一下,两个进程的去访问一个全局变量的情况

在python里面创建两个进程,两个进程同时去访问,修改一个全局变量i。看看这两个进程其中一个进程修改全局变量i,另外一个进程去访问变量,看看这个变量是否被修改。

执行如下代码:

from time import sleep,ctime
from multiprocessing import Process

i=100
def proc1():
    global i
    count=1
    while True:
        print ('proc1 >>',i)
        i=i+2
        sleep(1)
        if count==5:
            break
        count=count+1

def proc2():
    global i
    count=1
    while True:
        print ('proc2 >>>>>>>>',i)
        i=i-3
        sleep(1)
        if count==5:
            break
        count=count+1

print ("start")
p1=Process(target=proc1)
p2=Process(target=proc2)
p1.start()
p2.start()

p1.join()
p2.join()

print ("end")

看一下运行结果:


image.png

可以看到,一个进程修改全变变量,另外一个进程根本不会影响。
对这个问题的回答,就要涉及到进程的内存模型了,每个进程的内存空间都是独立的,都是4G,每个内存空间都是独立的,有自己的代码段,数据段,堆,栈等。所以,一个进程更改变量,另外一个进程根本不会受到影响。


demo4,5

下面的要讲的是,进程的通信的方式,比如队列queue和pipe来实现进程通信。

关于queue,有一个是线程安全的,有一个是线程不安全的。

1.from Queue import Queue
这个是普通的队列模式,类似于普通列表,先进先出模式,get方法会阻塞请求,直到有数据get出来为止
2.from multiprocessing.Queue import Queue
这个是多进程并发的Queue队列,用于解决多进程间的通信问题。普通Queue实现不了。
例如来跑多进程对一批IP列表进行运算,运算后的结果都存到Queue队列里面,这个就必须使用multiprocessing提供的Queue来实现

举个例子:

#import Queue
from time import sleep,ctime
from multiprocessing import Process,Queue

def pro1(q):
    while True:
        val=q.get(True)
        print '>>>>in por1:',val

def pro2(q):
    while True:
        val=q.get(True)
        print 'in por2:',val

q=Queue()
for i in range(101):
    q.put(i)
print 'start : ',ctime()
p1=Process(target=pro1,args=(q,))
p2=Process(target=pro2,args=(q,))
p1.start()
p2.start()

sleep(20)
print 'end : ',ctime()
pr.terminate()

运行结果:


image.png

分析运行结果,这是一个进程安全的队列,如果队列里面存放这个0-29,如果这个数字被进程pro1 被get,那么这个数字就不在了。所以,0-29只会被print一次。

下面再举一个普通queue的例子,代码如下:

#coding:utf-8
import Queue
from time import sleep,ctime
#from multiprocessing import Queue
from multiprocessing import Process


def pro1(q):
    while True:
        val=q.get(True)
        print '>>>>in por1:',val

def pro2(q):
    while True:
        val=q.get(True)
        print 'in por2:',val

#如果頭文件是import Queue
q=Queue.Queue()

#如果頭文件是from multiprocessing import Queue ,那執行
#q=Queue()

for i in range(20):
    q.put(i)
print 'start : ',ctime()
p1=Process(target=pro1,args=(q,))
p2=Process(target=pro2,args=(q,))
p1.start()
p2.start()

sleep(20)
print 'end : ',ctime()
pr.terminate()

运行结果:


image.png

普通队列,两个进程都会把队列里面的数字各打印一次,线程安全的队列只是打印一次。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,163评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,301评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,089评论 0 352
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,093评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,110评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,079评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,005评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,840评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,278评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,497评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,667评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,394评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,980评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,628评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,649评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,548评论 2 352

推荐阅读更多精彩内容

  • 史上最全的iOS面试题及答案 iOS面试小贴士———————————————回答好下面的足够了----------...
    Style_伟阅读 2,352评论 0 35
  • Android跨进程通信IPC整体内容如下 1、Android跨进程通信IPC之1——Linux基础2、Andro...
    隔壁老李头阅读 15,564评论 19 113
  • @(python)[笔记] 目录 一、什么是进程 1.1 进程的概念 进程的概念起源于操作系统,是操作系统最核心的...
    CaiGuangyin阅读 1,256评论 0 9
  • 又来到了一个老生常谈的问题,应用层软件开发的程序员要不要了解和深入学习操作系统呢? 今天就这个问题开始,来谈谈操...
    tangsl阅读 4,121评论 0 23
  • 最近这一段时间,身边发生了太多不愉快的事,说真的,一些狗血剧里的故事我根本不敢想有一天它会发生在 我身边。。 什么...
    穩袭藥阅读 212评论 0 0