进程锁
上篇说了不需要加进程锁，但是这里还是要了解一下进程锁，因为在python2中，进程加锁还是很有必要的
from multiprocessing import Process
from multiprocessing import Lock
def foo(l, i):
l.acquire()
print('hello james', i)
l.release()
# 主进程
if __name__ == '__main__':
# 生成进程锁实例
lock = Lock()
# 10个进程
for num in range(10):
Process(target=foo, args=(lock, num)).start()
注意的是要将生成的锁传入子进程中
进程池
进程池有点类似线程中的信号量，但是比信号量要重要许多，因为进程过多可能会超过机器的负担，所以说进程池的使用是非常有必要的
进程池用到的库：from multiprocessing import Pool
提供了两个方法
apply # 进程变为串行
apply_async # 异步执行
from multiprocessing import Process
from multiprocessing import Pool
import time
def foo(i):
time.sleep(2)
print('in process', i)
return i + 100
def bar(arg):
print('-->exec done:', arg)
# 等价pool = Pool(5)控制进程池最大进程数
pool = Pool(processes=5)
for i in range(10):
# pool.apply_async(func=Foo, args=(i,), callback=Bar)
pool.apply(func=foo, args=(I,))
print('end')
pool.close()
# 进程池中进程执行完毕后再关闭，如果不使用，主进程结束则程序直接关闭
pool.join()
进程串行
这里要注意的地方比较多
1.如果在win系统下使用Pool开启多个进程那么需要加上
if __name__ == '__main__':在这段代码内开启进程
2.apply实现的是进程串行，apply_async才可以实现规定量进程并发，但是这几个进程在生成的时候就已经全部启动了，只是暂时挂起，每次允许一定量的进程运行
3..join()是必须的，不然主进程结束后程序不会等子进程就结束，然后顺序是先.close()关闭进程池再使用.join()
看看如何实现进程并发：
from multiprocessing import Process
from multiprocessing import Pool
import time
def foo(i):
time.sleep(2)
print('in process', i)
return i + 100
def bar(arg):
print('-->exec done:', arg)
# 等价pool = Pool(5)控制进程池最大进程数
pool = Pool(processes=5)
for i in range(10):
# pool.apply_async(func=Foo, args=(i,), callback=Bar)
pool.apply_async(func=foo, args=(I,))
print('end')
pool.close()
# 进程池中进程执行完毕后再关闭，如果不使用，主进程结束则程序直接关闭
pool.join()
修改了一下apply方法就能实现串行
这个每次运行的进程量可以自己控制
下面看下apply_async方法中的callback参数
def foo(i):
time.sleep(2)
print('in process', i)
return i + 100
def bar(arg):
print('-->exec done:', arg)
# 等价pool = Pool(5)
pool = Pool(processes=5)
for i in range(10):
# callback=回调,即在foo函数执行完之后会执行bar函数，这里要注意的是bar函数是主进程执行的，并不是子进程调用的
pool.apply_async(func=foo, args=(i,), callback=bar)
# pool.apply_async(func=foo, args=(i,))
print('end')
pool.close()
# 进程池中进程执行完毕后再关闭，如果不使用，主进程结束则程序直接关闭
pool.join()
这样，callback参数就是回调的意思，在执行上一个函数之后会调用回调的函数，这里注意的是回调的函数并不是子进程启动的，而是主进程执行的，有人可能问不都一样么，都执行了，但是这种情景可以在很多地方得到应用，比如这个函数需要登陆或者类似的其他的前期处理，主程序登陆一次就可以了，否则需要在每个进程都要登陆，类似的场景都可以使用
再者就是函数执行的返回值回自动传参给回调的函数
转载请注明出处
python自学技术互助扣扣群：670402334
