fork(Unix/Linux/Mac)
Unix/Linux操作系统提供了一个fork()系统调用,它非常特殊。普通的函数调用,调用一次,返回一次,但是fork()调用一次,返回两次,因为操作系统自动把当前进程(称为父进程)复制了一份(称为子进程),然后,分别在父进程和子进程内返回。
子进程永远返回0,而父进程返回子进程的ID。这样做的理由是,一个父进程可以fork出很多子进程,所以,父进程要记下每个子进程的ID,而子进程只需要调用getppid()就可以拿到父进程的ID。
import os
print('Process (%s) start...'% os.getpid())
pid = os.fork()
if pid ==0:
print('I am child process (%s) and my parent is %s.'% (os.getpid(), os.getppid()))
else:
print('I (%s) just created a child process (%s).'% (os.getpid(), pid))
由于Python是跨平台的,自然也应该提供一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。
multiprocessing模块提供了一个Process类来代表一个进程对象,下面的例子演示了启动一个子进程并等待其结束:
from multiprocessing importProcess
print('Run child process %s (%s)...'% (name, os.getpid()))
if__name__=='__main__':
print('Parent process %s.'% os.getpid())
p = Process(target=run_proc, args=('test',))
print('Child process will start.')
p.start()
p.join()
print('Child process end.')
创建子进程时,只需要传入一个执行函数和函数的参数,创建一个Process实例,用start()方法启动,这样创建进程比fork()还要简单。
join()方法可以等待子进程结束后再继续往下运行,通常用于进程间的同步。
Pool
如果要启动大量的子进程,可以用进程池的方式批量创建子进程:
from multiprocessing import Pool
import os, time, random
def long_time_task(name):
print('Run task %s (%s)...'% (name, os.getpid()))
start = time.time()
time.sleep(random.random() *3)
end = time.time()
print('Task %s runs %0.2f seconds.'% (name, (end - start)))
if__name__=='__main__':
print('Parent process %s.'% os.getpid())
p = Pool(4)
for i in range(5):
p.apply_async(long_time_task,args=(i,))
print('Waiting for all subprocesses done...')
p.close()
print('11111...')
p.join()
# 开始等待子进程执行完成
print('22222...')
print('All subprocesses done.')
Pool对象调用join()方法会等待所有子进程执行完毕,调用join()之前必须先调用close(),调用close()之后就不能继续添加新的Process了。
Pool的默认大小在我的电脑上是4,因此,最多同时执行4个进程。输出的结果,task0,1,2,3是立刻执行的,而task4要等待前面某个task完成后才执行
子进程
subprocess模块可以让我们非常方便地启动一个子进程,然后控制其输入和输出。
subprocess.call
subprocess.Popen
进程间通信
Process之间肯定是需要通信的,操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制,提供了Queue、Pipes等多种方式来交换数据。
import os, time, random
from multiprocessing
import Process, Queue
# 写数据进程执行的代码:
def write(q):
print('Process to write: %s'% os.getpid())
for value in ['A','B','C']:
print('Put %s to queue...'% value)
q.put(value)
time.sleep(random.random())
# 读数据进程执行的代码:
def read(q):
print('Process to read: %s'% os.getpid())
while True:
value = q.get(True)
print('Get %s from queue.'% value)
if__name__=='__main__':
# 父进程创建Queue,并传给各个子进程:
q = Queue()
pw = Process(target=write,args=(q,))
pr = Process(target=read,args=(q,))
# 启动子进程pw,写入:
pw.start()
# 启动子进程pr,读取:
pr.start()
# 等待pw结束:
pw.join()
# pr进程里是死循环,无法等待其结束,只能强行终止:
pr.terminate()
要实现跨平台的多进程,可以使用multiprocessing模块。
进程间通信是通过Queue、Pipes等实现的。