进程池
产生原因
如果有大量任务需要多进程完成，则可能需要频繁的创建删除进程，给进算计带来较多的资源消耗。
进程池的原理
创建适当的进程放入进程池，用来处理待处理事件，处理完毕后进程不销毁，仍然在进程池中等待处理其他事件，直到事件全部处理完毕，进程退出。 进程的复用降低了资源的消耗。
进程池的创建
- 创建进程池,在池内放入合适数量的进程
- 将事件加入进程池的等待队列
- 使用进程池内的进程不断的执行等待事件，直到所有事件执行完毕
- 所有事件处理完毕后，关闭进程池，回收进程池
进程池的具体操作
-
Pool(processes)- 功能：创建进程池对象
- 参数：进程池中进程的数量
-
apply_async()- 功能：以异步的方式将要执行的事件放入进程池
- 参数：
-
func要执行的函数 -
args给函数按位置传参 -
kwds给函数按照键值传参
-
- 返回值：
返回一个代表进程池事件的对象,可以通过调用get()函数获取事件函数return的内容
-
apply()
按照顺序添加要执行的事件，执行一个再添加一个 -
close()
关闭进程池，使其不能再加入新的事件 -
join()
阻塞等待进程池将事件都执行结束后回收进程池 -
map()
类似于内建函数map,将第二个参数的迭代对象中的数据逐个带入第一个函数作为参数。只不过兼顾了apply_async功能,将函数放入进程池
# pool.py
from multiprocessing import Pool
import time
def worker(msg):
time.sleep(1)
print(msg)
return time.ctime()
pool = Pool(processes = 4)
result = []
for i in range(10):
msg = 'Hello %d world' % i
r = pool.apply_async(func = worker,args = (msg,))
result.append(r)
pool.close()
pool.join()
for i in result:
print(i.get())
# pool_map.py
from multiprocessing import Pool
import time
def fun(n):
time.sleep(1)
print('pool map')
return n * n
pool = Pool(4)
r = pool.map(fun,range(10))
pool.close()
pool.join()
print(r)
