python多任务之多进程

一个任务是一个进程,进程内的子任务称为线程。
多任务的实现有3种方式:

  • 多进程模式;
  • 多线程模式;
  • 多进程+多线程模式。

线程是最小的执行单元,而进程由至少一个线程组成。如何调度进程和线程,完全由操作系统决定,程序自己不能决定什么时候执行,执行多长时间。

这次主要学习的是多进程的实现。
有下面三种方法。

os.getpid()父进程的PID
os.getppid() 子进程的PID

一、os.fork()

import os
os.fork()
print('1111111111')

fork函数一旦运行就会生出一条新的进程,2个进程一起执行导致输出了2行。

import os
import time

res = os.fork()
print('res == %d'%res)
if res == 0:
    print('我是子进程,我的pid是:%d,我的父进程id是:%d'%(os.getpid(),os.getppid()))
else:
    print('我是父进程,我的pid是:%d'%os.getpid())```

执行结果:

res == 105297
我是父进程,我的pid是:105296
res == 0
我是子进程,我的pid是:105297,我的父进程id是:105296```
fork()运行时,会有2个返回值,返回值为大于0时,此进程为父进程,且返回的数字为子进程的PID;当返回值为0时,此进程为子进程。
注意:父进程结束时,子进程并不会随父进程立刻结束。同样,父进程不会等待子进程执行完。

???我也不知道为什么,似乎fork只能在py文件中实现。
在命令行中执行函数后直接进入了子进程,打字都是隔一个出现的。并且也无法退出,除非ctrl+Z强制退出。

二、multiprocessing.Process

from multiprocessing import Process
import time

def A():
    while True:
        print('正在调用函数')
        time.sleep(1)#推迟执行的秒数

p = Process(target = A) #创建进程对象,并指定进程将来要执行的函数.
p.start()  #启动进程.

执行结果:

正在调用函数
正在调用函数
正在调用函数
......```

再敲段代码,实现多进程同步执行:

import time
from multiprocessing import Process

def A(num):
while True:
print('正在调用函数%d'%num)
time.sleep(1)

for i in range(2):
p = Process(target = A, args = (i,)) #创建进程对象,并指定进程将来要执行的函数.
p.start() #启动进程.

exit()```

执行结果:

正在调用函数0
正在调用函数1
正在调用函数0
正在调用函数1
......

注意Process创建的进程必须执行完,主程序才会结束,用exit()也不能强退。
Process 创建进程的类:
Process([group [, target [, name [, args [, kwargs]]]]])
target表示调用对象,args表示调用对象的位置参数元组,如果只有一个参数要用(a,)来表示他是一个元组。kwargs表示调用对象的字典。Name为别名。Group实质上不使用。

方法有:is_alive()、.join([timeout])、run()、start()、terminate()
属性有:authkey、daemon(要通过start()设置)、exitcode(进程在运行时为None、如果为–N,表示被信号N结束)、name、pid

Process类中,注意daemon是父进程终止后自动终止,且自己不能产生新进程,必须在start()之前设置。

三、multiprocessing.Process的run()方法

import os
import time
from multiprocessing import Process

class NewProcess(Process): #继承Process类创建一个新类
    def __init__(self,num):
        self.num = num
        super().__init__()

def run(self):  #重写Process类中的run方法.
        while True:
            print('我是进程%d,我的pid是:%d'%(self.num,os.getpid()))
            time.sleep(1)

for i in range(2):
    p = NewProcess(i)
    p.start()```

执行结果:

我是进程0,我的pid是:105653
我是进程1,我的pid是:105654
我是进程0,我的pid是:105653
我是进程1,我的pid是:105654
我是进程0,我的pid是:105653
我是进程1,我的pid是:105654
...```

当不给Process指定target时,会默认调用Process类里的run()方法。这和指定target效果是一样的,只是将函数封装进类之后便于理解和调用。

四、multiprocessing.Pool 进程池

import time
from multiprocessing import Pool

def A():
        for i in range(5):
            print(i)
            time.sleep(1)
#进程里有多少个数字
pool = Pool(2) #定义进程池大小 即一次性可以同时运行的进程
for i in range(5):#生成多少个进程
    pool.apply_async(A) #使用非阻塞方式调用func,阻塞是apply()
#阻塞:主程序不运行,运行完一个子程序再运行下一个子程序。
#非阻塞:同时运行几个子程序,取决于pool大小

pool.close() #关闭Pool,使其不再接受新的任务
pool.join() #主进程阻塞,等待子进程的退出

对Pool对象调用join()方法会等待所有子进程执行完毕。调用join()之前必须先调用close(),调用close()之后就不能继续添加新的Process了。
Pool.terminate():一旦运行到此步,不管任务是否完成,立即终止。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容

  • 对多进程的补充 对比下面两段代码 if name=='main':... print('Parent pr...
    JEZAU阅读 497评论 0 0
  • 1.进程 1.1多线程的引入 现实生活中 有很多的场景中的事情是同时进行的,比如开车的时候手和脚共同来驾驶汽车,再...
    TENG书阅读 493评论 0 0
  • 又来到了一个老生常谈的问题,应用层软件开发的程序员要不要了解和深入学习操作系统呢? 今天就这个问题开始,来谈谈操...
    tangsl阅读 4,077评论 0 23
  • 1.1.1多任务的引入 什么叫“多任务”呢?简单地说,就是操作系统可以同时运行多个任务。打个比方,你一边在用浏览器...
    PythonMaO阅读 463评论 0 1
  • @(python)[笔记] 目录 一、什么是进程 1.1 进程的概念 进程的概念起源于操作系统,是操作系统最核心的...
    CaiGuangyin阅读 1,244评论 0 9