python里的多进程

fork(Unix/Linux/Mac)

Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊。普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前进程(称为父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回。

子进程永远返回0,而父进程返回子进程的ID。这样做的理由是,一个父进程可以fork出很多子进程,所以,父进程要记下每个子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的ID。

import os

print('Process (%s) start...'% os.getpid())

pid = os.fork()

if pid ==0: 

    print('I am child process (%s) and my parent is %s.'% (os.getpid(), os.getppid()))

else:   

    print('I (%s) just created a child process (%s).'% (os.getpid(), pid))


1

multiprocessing

由于Python是跨平台的,自然也应该提供一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。

multiprocessing模块提供了一个Process类来代表一个进程对象,下面的例子演示了启动一个子进程并等待其结束:

from multiprocessing importProcess

importos

defrun_proc(name):

    print('Run child process %s (%s)...'% (name, os.getpid()))

if__name__=='__main__':

    print('Parent process %s.'% os.getpid())

    p = Process(target=run_proc, args=('test',))

    print('Child process will start.')

    p.start()

    p.join()

    print('Child process end.')

2

创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,用start()方法启动,这样创建进程比fork()还要简单。

join()方法可以等待子进程结束后再继续往下运行,通常用于进程间的同步。

Pool

如果要启动大量的子进程,可以用进程池的方式批量创建子进程:

from multiprocessing import Pool

import os, time, random

def long_time_task(name):

    print('Run task %s (%s)...'% (name, os.getpid()))   

    start = time.time()  

     time.sleep(random.random() *3)   

    end = time.time()   

    print('Task %s runs %0.2f seconds.'% (name, (end - start)))

if__name__=='__main__':

    print('Parent process %s.'% os.getpid())

    p = Pool(4)

    for i in range(5):

    p.apply_async(long_time_task,args=(i,))

    print('Waiting for all subprocesses done...')

    p.close()

    print('11111...')

    p.join()

    # 开始等待子进程执行完成

    print('22222...')

    print('All subprocesses done.')

3

Pool对象调用join()方法会等待所有子进程执行完毕,调用join()之前必须先调用close(),调用close()之后就不能继续添加新的Process了。

Pool的默认大小在我的电脑上是4,因此,最多同时执行4个进程。输出的结果,task0,1,2,3是立刻执行的,而task4要等待前面某个task完成后才执行

子进程

subprocess模块可以让我们非常方便地启动一个子进程,然后控制其输入和输出。

subprocess.call

subprocess.Popen

进程间通信

Process之间肯定是需要通信的,操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制,提供了Queue、Pipes等多种方式来交换数据。

import os, time, random

from multiprocessing

import Process, Queue

# 写数据进程执行的代码:

def write(q):

    print('Process to write: %s'% os.getpid())

     for value in ['A','B','C']:

    print('Put %s to queue...'% value)

    q.put(value)

    time.sleep(random.random())

# 读数据进程执行的代码:

def read(q):

     print('Process to read: %s'% os.getpid())

    while True:

    value = q.get(True)

    print('Get %s from queue.'% value)

if__name__=='__main__':

# 父进程创建Queue,并传给各个子进程:

q = Queue()

pw = Process(target=write,args=(q,))

pr = Process(target=read,args=(q,))

# 启动子进程pw,写入:

pw.start()

# 启动子进程pr,读取:

pr.start()

# 等待pw结束:

pw.join()

# pr进程里是死循环,无法等待其结束,只能强行终止:

pr.terminate()

4

要实现跨平台的多进程,可以使用multiprocessing模块。

进程间通信是通过Queue、Pipes等实现的。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容