Python多进程入门(3Pool)

这篇文章简单介绍一下multiprocessing包中的进程池程管理工具Pool。如果你是第一次接触python的多进程,请先看一下我的前两篇文章https://www.jianshu.com/p/31bca20caec0https://www.jianshu.com/p/e7a5f3b2afcf。如果只想了解Pool,那就接着看吧。在上一篇文章中我们介绍了Process的主要应用,使用Process可以建立一个进程,如果建立多个进程可以使用多个Process建立不同的的进程对象,也可以使用for循环建立多个进程,具体内容请看我在简书的上一篇文章。

我们引入进程池工具Pool,直接把进程扔到池里,根据池自身的特点对进程进行管理,后面我会详细介绍,这里只需要知道他是一个容器能够够使制定数量的进程在池中统一运行即可,下面来看一段简单的代码:

#  多个进程同时运行没有返回值
def f(name):
    """定义一个简单的打印名字的函数"""
    print('hello:', name)


if __name__ == '__main__':
    name_list = ["小飞", "小倩", "是不是淘气", "二妞"]
    pool = Pool(processes=4)  # 创建4个进程
    for name in name_list:
        pool.apply_async(f, (name,))
    pool.close()  # 关闭进程池,表示不能在往进程池中添加进程
    pool.join()  # 等待进程池中的所有进程执行完毕,必须在close()之后调用


返回的结果为:
hello: 小飞
hello: 小倩
hello: 是不是淘气
hello: 二妞

在上面的例子中我们使用Pool建立了一个可以存放四个进程的池,使用for循环,将进程依次加入到进程池中,对于每一个进程使用apply_async()方法建立进程。对于进程池Pool这个类,主要有两种建立进程的方式一种是apply_async(),另一种是map(),这两种类方法的解释如下:

apply_async函数原型:

apply_async(func[, args=()[, kwds={}[, callback=None]]])
与apply用法一样,但它是非阻塞且支持结果返回进行回调。

map 函数原型:

map(func, iterable[, chunksize=None])
Pool类中的map方法,与内置的map函数用法行为基本一致,它会使进程阻塞直到返回结果。
注意,虽然第二个参数是一个迭代器,但在实际使用中,必须在整个队列都就绪后,程序才会运行子进程。

之前对close、terminate、join方法已经有了介绍,这里在介绍一次:

close()

关闭进程池(pool),使其不在接受新的任务。

terminate()

结束工作进程,不在处理未处理的任务。

join()

主进程阻塞等待子进程的退出,join方法必须在close或terminate之后使用。
上面的案例中,每个进程都没有返回值,下面介绍一个有返回值的,先看一下代码,我再来解释:

#  多个进程同时运行,每个进程都有返回值
def add_part(part):
    """计算一个列表的开始到末尾的累加
    :param part:长度为二的列表
    :return: 返回累加的和
    """
    result = 0
    for value in range(part[0], part[1] + 1):
        result += value
    return result


if __name__ == '__main__':
    #  第一种方式使用pool.apply_async(),使用pool.get()来获取结果
    startTime = datetime.datetime.now()
    part_result = []
    pool = Pool(processes=2)
    for i in [[0, 500000000], [500000001, 1000000000]]:
        part_result.append(pool.apply_async(add_part, (i,)))
    pool.close()
    pool.join()
    add_result = 0
    for index, value in enumerate(part_result, 0):
        print("第%s个进程的结果为%s" % (index, value.get()))
        add_result += value.get()
    print("结果为", add_result)
    print(datetime.datetime.now() - startTime)

这里我们继续使用我们的老例子,将一个累加的过程分成两个进程,这里我就不对案例的过程详细介绍了,如果没看懂的先出门看一下我前面的两篇文章:https://www.jianshu.com/p/31bca20caec0https://www.jianshu.com/p/e7a5f3b2afcf。这里我主要介绍一下和之前不同的地方,这里是有返回值的,我们在上面的程序中使用 part_result = []来存储我们建立的进程,后面我们在使用for循环遍历这个存储进程的列表,使用get()方法得到进程的结果并将其累加。我们来看一些结果:

第0个进程的结果为125000000250000000
第1个进程的结果为375000000250000000
结果为 500000000500000000
0:00:34.825516

上面的例子中我们使用了Pool来对有返回的进程距离一个例子,但是这里使用了get()来收集进程的返回值,下面我们来使用map()方法来直接收集进程返回的结果,上代码:

def add_part(part):
    """计算一个列表的开始到末尾的累加
    :param part:长度为二的列表
    :return: 返回累加的和
    """
    result = 0
    for value in range(part[0], part[1] + 1):
        result += value
    return result


if __name__ == '__main__':
#  第二种方式使用pool.map(),直接获取所有进程的结果获取结果
    startTime = datetime.datetime.now()
    pool = Pool(processes=2)
    part_result = (pool.map(add_part, [[0, 500000000], [500000001, 1000000000]]))
    pool.close()
    pool.join()
    print(part_result)
    add_result = 0
    for i in part_result:
        print(i)
        add_result += i
    print("结果为:", add_result)
    print(datetime.datetime.now() - startTime)


运行结果为:
[125000000250000000, 375000000250000000]
125000000250000000
375000000250000000
结果为: 500000000500000000
0:00:32.576957

我们来看一下上面的代码,我们使用了map()方法直接将进程的结果输出到part_result 列表中。下一篇文章中我们继续介绍多个线程之间的数据交互。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,718评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,683评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,207评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,755评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,862评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,050评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,136评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,882评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,330评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,651评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,789评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,477评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,135评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,864评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,099评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,598评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,697评论 2 351

推荐阅读更多精彩内容