高级python编程 ---5 进程、程序

1进程和程序

一个程序运行起来后，代码和用到的资源称为进程，是操作系统分配资源的基本单元。
程序一般只有一份，但是程序可以被运行多次成为多个进程；
程序不占用资源（内存、摄像头等），进程则会占用相应资源（内存、摄像头等）；

1.1 进程的实现

# -*-coding:utf-8 -*-
import multiprocessing
import time
def test1():
    for i in range(5):
        print("----test1----")
        time.sleep(0.1)

def test2():
    for i in range(5):
        print("----test2----")
        time.sleep(0.1)

def main():
    t1 = multiprocessing.Process(target= test1)
    t2 = multiprocessing.Process(target= test2)
    t1.start()
    t2.start()

if __name__ == '__main__':
    main()

2、进程与线程的对比

进程，能完成多任务（复制多份资源，每个资源由一个主线程来执行），是一种资源的集合，例如相同程序的多开（进程是资源分配的单位/总称，线程是执行的单元）；进程间不共享全局变量；
线程，能完成多任务（在同一份资源中由多线程来执行，（由主线程按一定顺序来回执行实现多线程的执行）），例如同一程序的多任务执行；线程间共享全局变量；线程依赖于进程；

3、进程间共享变量（Queue队列）

进程间的变量共享（socket实现、文件读写（效率低，硬盘读写）、Queue队列（内存读写））

q = multiprocessing.Queue(3)
q.put() - 放置数据
q.get() - 释放数据
q.empty() - 检验队列是否为空
q.full() - 检验队列是否为满

3.1 队列实现进程间共享

# -*-coding:utf-8 -*-
import multiprocessing

def download_from_web(q):
    """"模拟下载数据"""
    #模拟从网上下载数据
    data = [11,2,3,4,5]

    #向队列中写入数据
    for temp in data:
        q.put(temp)

def analysis_data(q):
    waiting_analysis_data = list()
    #从队列中获取数据
    while True:
        data = q.get()
        waiting_analysis_data.append(data)

        if q.empty():
            break
    #模拟数据处理
    print(waiting_analysis_data)

if __name__ == '__main__':
    #创建队列
    q = multiprocessing.Queue()

    p1 = multiprocessing.Process(target= download_from_web,args=(q,))
    p2 = multiprocessing.Process(target= analysis_data,args=(q,))

    p1.start()
    p2.start()

4、进程池

进程池数量需要由测试人员来测试获得，指的是进程的数量。目的是为了减少进程的创建和销毁的次数，提升执行的效率。当进程数量不定时，进程池优势会更大。
注意：进程池创建的进程不会被主进程等待，需要使用join（）函数来实现等待效果。

# -*-coding:utf-8 -*-
from multiprocessing import Pool
import time,os,random

def test1(msg):
    start = time.time()
    print("%s 开始进行，进程号为%d" %(msg,os.getpgid()))
    time.sleep(random.random()*2)
    stop = time.time()
    print(msg,'执行完毕，耗时%0.2f'%(stop-start))

if __name__ == '__main__':
    po = Pool(3)
    for i in range(0,10):
        po.apply_async(test1,(i,))
    print("----start-----")
    po.close() #关闭进程池，关闭后po不再接收新的请求
    po.join() #等待po的进程都结束再继续运行
    print("----end----")