Python多进程

进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础。在早期面向进程设计的计算机结构中,进程是程序的基本执行实体;在当代面向线程设计的计算机结构中,进程是线程的容器。程序是指令、数据及其组织形式的描述,进程是程序的实体。里面包含对各种资源的调用,内存的管理,网络接口的调用等。对各种资源管理的集合 就可以称为 进程 。每个进程至少有一个线程,称为主线程。

在linux系统下可以用fork()很方便的创建进程,window下没有fork函数,但可以用multiprocessing包很好的使用进程。

创建进程的语法和线程差不多

'''
    使用multiprocessing的Process创建子进程
'''
from multiprocessing import Process
import os

#子进程执行函数
def run_proc(name):
    print 'Run child process %s (%s)' % (name,os.getpid())
    print 'It parent pid is {}'.format(os.getppid())


if __name__ == '__main__':
    print 'Parent process {}'.format(os.getpid())
    p1 = Process(target=run_proc, args=('p1',))  #创建一个子进程
    print 'Child1 process will start.'
    #p1.daemon = True  #守护进程
    p1.start()  #启动子进程
    p1.join()   #等待p1结束,再继续运行主进程
    print 'Child1 process end.'
    
    p2 = Process(target=run_proc, args=('p2',))   #创建另一个子进程
    print 'Child2 process will start...'
    p2.start()
    p2.join()
    print 'Child2 process end.'

*注意:
os.getppid()获取父进程pid
os.getpid()获取当前进程pid

image.png

进程Queue:进程间的通信(数据传递)

'''
   进程间的通信
'''
from multiprocessing import Queue, Process
import os,time,random

def write(q):
    print 'Process to write {}'.format(os.getpid())
    for x in ['A','B','C']:
        print 'Put {} to queue...'.format(x)
        q.put(x)
        time.sleep(random.random())
    print

def read(q):
    print 'Process to read {}'.format(os.getpid())
    while True:
        value = q.get()
        print 'Get {} from queue'.format(value)

if __name__ == '__main__':
    q = Queue()
    pw = Process(target=write, args=(q,))
    pr = Process(target=read, args=(q,))

    pw.start()
    pr.start()

    pw.join()
    pr.terminate()    #立刻终止pr进程
image.png

进程Manager:真正实现进程间的数据共享(不只是数据传递)

一个multiprocessing.Manager对象会控制一个服务器进程,其他进程可以通过代理的方式来访问这个服务器进程。( 好比一个全局变量,所有函数都可以访问,存取,修改..)

# 实现了进程之间的数据共享

from multiprocessing import Process, Manager
import os

def f(d,l):
    d["name"] = "Time"
    d["sex"] = "Man"
    d["age"] = 20

    l.append(os.getpid())
    print(l)

if __name__ == "__main__":
    with Manager() as manager:
        d = manager.dict()           # 生成一个字典,可以在多个进程直接共享和传递
        l = manager.list(range(5))   # 生成一个列表,可以在多个进程直接共享和传递

        res = []
        for i in range(10):
            p = Process(target=f,args=(d,l))
            p.start()
            res.append(p)

        for j in res:                # 等待结果
            j.join()

        print(d)
        print(l)
image.png

进程池Pool

进程池内部维护一个进程序列。当使用时,则去进程池中获取一个进程,如果进程池序列中没有可供使用的进进程,那么程序就会等待,直到进程池中有可用进程为止。

进程池中有两个方法:

  • apply(串行)
  • apply_async(并行)
#! /usr/bin/env python3
# -*- coding:utf-8 -*-
from multiprocessing import Pool
import os,time

def Foo(i):
    time.sleep(2)
    print("in process",os.getpid())
    return i + 100

def Bar(arg):
    print("-->exec done:",arg,os.getpid())

if __name__ == "__main__":
    pool = Pool(4)  # 我的电脑是4核,默认是cpu核数,即同时最多运行进程的数目
    print("主进程:",os.getpid())
    for i in range(10):
        pool.apply_async(func=Foo,args=(1,),callback=Bar)  # callback = 回调
        # 这里回调的函数是主进程去回调的(生产中若所有进程完毕后将结果写入数据库,只需要写个回调就行了,不必每个进程中写入数据库)
        # pool.apply(func=Foo,args=(1,))         # 串行,主进程会被阻塞直到函数执行结束(不建议使用)
        # pool.apply_async(func=Foo,args=(1,))   # 并行

    print("end")
    pool.close()  #关闭进程池(pool),不再接受新的任务。
    pool.join()   #wait进程池中的全部进程。必须对Pool先调用close()方法才能join

多进程模式最大的优点就是稳定性高,因为一个子进程崩溃了,不会影响主进程和其他子进程。(当然主进程挂了所有进程就全挂了,但是Master进程只负责分配任务,挂掉的概率低)著名的Apache最早就是采用多进程模式。

多进程模式的缺点是创建进程的代价大,在Unix/Linux系统下,用fork调用还行,在Windows下创建进程开销巨大。另外,操作系统能同时运行的进程数也是有限的,在内存和CPU的限制下,如果有几千个进程同时运行,操作系统连调度都会成问题。

多线程模式通常比多进程快一点,但是也快不到哪去,而且,多线程模式致命的缺点就是任何一个线程挂掉都可能直接造成整个进程崩溃,因为所有线程共享进程的内存。在Windows上,如果一个线程执行的代码出了问题,你经常可以看到这样的提示:“该程序执行了非法操作,即将关闭”,其实往往是某个线程出了问题,但是操作系统会强制结束整个进程。

参考文章:
理解Python并发编程一篇就够了 | 进程篇
python【第九篇】多线程、多进程

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,524评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,869评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,813评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,210评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,085评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,117评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,533评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,219评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,487评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,582评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,362评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,218评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,589评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,899评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,176评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,503评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,707评论 2 335

推荐阅读更多精彩内容

  • 多进程 什么是多任务 什么叫做多任务呢?简单的说,就是操作系统(OS)可以同时运行多个任务。如你可以一边浏览网页,...
    妄想成为正太的包蜀黍阅读 848评论 0 0
  • 加班是不是一件很郁闷的事情? 我以前最恨加班,有时候确实是事情做不完,有时候是我们的领导最爱快到下班的时候跑到单位...
    花妖呀阅读 595评论 3 7
  • 4月20日 今天放学回家以后我发现我种的向日葵种子偷偷的露出了它们的头,从播种到发芽共经历了6天的时间,期间我...
    程诺儿阅读 299评论 0 3
  • 有一天,我突然发现一只脚迈进了泥潭, 我使劲的挣扎想把脚解放出来, 然而越陷越深, 我很害怕,很惊恐, 也怕另一只...
    大漠的足迹阅读 184评论 0 0