Python——多进程操作

进程是正在执行中的应用程序,一个进程包含了该应用程序的所有信息。
计算机中多线程的操作已经可以实现多人物的处理机制了,但是如果涉及到多核CPU或者多个CPU的硬件主机,多进程并发编程的实现能比多线程并发机制更加有效的利用和发挥硬件资源优势。

进程类型中的属性和方法
os

getpid(): 获取进程编号
getppid():获取父进程编号

Process

name:进程名称
ident:进程编号
daemon:是否守护进程,默认False
start():启动进程
run():进程执行方法
terminate():结束进程
is_alive():判断进程是否存活
join():独占模式,当前的进程执行结束后才会执行下一个进程

基本语法:

面向函数的操作:多进程
面向类型的操作:多进程
如果对于进程的状态管理并不是特别精确,只是需要多个进程工作。则可以使用进程池
进程池:{Process Pool}

进程池:存放多个进程
Python进程池,可以直接申请多个进程,提交你的任务即可
创建一个进程池:pool = multiprocessing.Pool(2) #表示一个存放2个进程的进程池存在了
pool.apply_async(my_func)
池塘.处理任务(函数,参数)->通过池塘中的进程执行

#多进程的两种实现
import multiprocessing,time,os

def my_func():
    print(multiprocessing.current_process().name,"一个进程正在工作",os.getpid(),os.getppid())
    time.sleep(1)

if __name__ == "__main__":
    #进程池里面存放了两个进程
    pool = multiprocessing.Pool(2)

    for i in range(20):
        pool.apply_async(my_func)
#停止提交任务
    pool.close()
    #独占执行
    pool.join()

apply(function,args)同步执行一个函数~当进程中的函数执行完成才能退出
apply_async(function,args)异步非阻塞执行一个函数
close()停止向进程池提交任务

注意:如果主进程退出之前,进程池没有停止提交任务,该进程就无法申请内存去运行;所以时一个无效的进程池,直接退出。
join()让进程池工作完成,才能允许其他进程继续工作

进程中的数据处理问题
  1. 多个进程,都能读取到全局变量的值。
  2. 多个进程使用的全局变量的值不是共享的,只是在各自的进程中复制了一份。
    进程中的数据共享:
    1. 通过第三方的东西进行交互
    a) A进程将数据存储到文件|数据库中
    b) B进程从文件|数据库中读取数据
    c) 文件/数据库是独立于A和B进程之外的第三方,能被A|B同时访问

2. 通过第三方,独立于进程之外的数据类型完成进程之间的数据共享

Python提供了几种方案:

a) 事件对象multiprocessing.Event进程之间的状态标记
b) multiprocessing模块中提供了条件类型Condition,可以完成多个进程之间的通信
c) multiprocessing模块中提供了一个数据操作类型Queue,可以完成进程之间的数据通信
multiprocessing.Queue进程队列

get()从队列中获取数据
get_nowait()从对列中获取数据,非阻塞
put()向队列中添加数据
put_nowait()向队列中添加数据,非阻塞
empty()判断队列是否为空
full()判断队列是否已满
qsize()获取队列中元素的个数

d ) multiprocessing提供了一个专门用来进行多个进程之间数据共享的类型:Manager

m = multiprocessing.Manager()
备注:可以在本地多个进程之间完成数据共享和通信,可以在网络上远程的两个主机之间实现数据共享和通信
用于数据共享:存储数据

Array:数组
list:创建一个存储数据的列表
a = multiprocessing.Manager.list()
dict:创建一个存储数据的字典
b = multiprocessing.Manager.dict()
Value:创建一个存储数据的变量
c = multiprocessing.Manager.Value(‘count’,100)
type a:
manager = Manager()
my_list = manager.list()
my_dict = manager.dict()
my_value = manager.Value(‘count’,100)
type b:
with Manager() as manager:
my_list = manager.list()
my_dict = manager.dict()
my_value = manager.Value(‘count’,100)

3. 数据通信进程管理

Lock/RLock:进程锁
Barrir:进程同步对象
Semaphore|bOUNDEsEMAPHORE

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,033评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,725评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,473评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,846评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,848评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,691评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,053评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,700评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,856评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,676评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,787评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,430评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,034评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,990评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,218评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,174评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,526评论 2 343

推荐阅读更多精彩内容

  • 写在前面的话 代码中的# > 表示的是输出结果 输入 使用input()函数 用法 注意input函数输出的均是字...
    FlyingLittlePG阅读 2,730评论 0 8
  • 必备的理论基础 1.操作系统作用: 隐藏丑陋复杂的硬件接口,提供良好的抽象接口。 管理调度进程,并将多个进程对硬件...
    drfung阅读 3,525评论 0 5
  • 一. 操作系统概念 操作系统位于底层硬件与应用软件之间的一层.工作方式: 向下管理硬件,向上提供接口.操作系统进行...
    月亮是我踢弯得阅读 5,950评论 3 28
  • Python 3的多进程 多进程库名叫multiprocessing。有几点记录一下: multiprocessi...
    小温侯阅读 3,300评论 0 2
  • 哈哈哈又是一阵轰隆隆的大笑。不用猜就知道肯定是欢乐豆在捣鬼。那个欢乐豆可真是无人不知无人不晓啊那颗欢乐豆,还有一个...
    书的开始阅读 267评论 1 0