python多线程、多进程、协程的使用

python多线程、多进程、协程的使用

本文主要介绍多线程、多进程、协程的最常见使用,每个的详细说明与介绍有时间会在以后的随笔中体现。

一、多线程

1.python通过两个标准库thread和threading提供对线程的支持。thread提供了低级别的、原始的线程以及一个简单的锁。threading通过对thread模块进行二次封装,提供了更方便的API来操作线程。接下来只介绍threading的常见用法。

2.使用

import threadingimport time def Traversal_5(interval):

    foriinxrange(5):

        print'Traversal_5:',i

        time.sleep(interval)def Traversal_10(interval):

    foriinxrange(10):

        print'Traversal_10:',i

        time.sleep(interval)if__name__=='__main__':

    print'start time:'    t1 = int(time.time())

    tasks=[Traversal_5,Traversal_10]

    threads = []

    fortaskin tasks:

        t = threading.Thread(target=task,args=(1,))

        threads.append(t)

    fortin threads:

        t.setDaemon(True)

        t.start()

    fortin threads:

        t.join()

    print'end main total time:',int(time.time())-t1

3.结果

4.结果分析

单线程运行这完两个函数至少应该需要15秒,多线程情况下,两个函数同时运行,总共用时是取最长的Traversal_10这个函数的时间

二、多进程

1.由于GIL的存在,python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包multiprocessing,与threading.Thread类似,它可以利用multiprocessing.Process对象来创建一个进程。接下来只介绍multiprocessing的常见用法。

2.使用

import multiprocessing import time class Traversal(object):

    def__init__(self,interval, name):

        self.interval = interval

        self.name = name

        self._rungevent(self.interval, self.name)

    def _rungevent(self, interval, name):

        foriinxrange(5):

            print'process name:',name,'\tindex:',i

            time.sleep(interval)if__name__=='__main__':

    print'start time:'    t1 = int(time.time())

    jobs = []

    forxinxrange(2):

        p = multiprocessing.Process(target = Traversal, args=(1,'Traversal_'+str(x)))

        p.start()

        jobs.append(p)

    forjobin jobs:

        job.join()

    print'end main total time:',int(time.time())-t1

3.结果

4.结果分析

此程序相当于遍历两次0-5的函数,按理说,时间应该是10秒,因为开了2个进程,所以总花时和一次遍历时间相等

三、协程

1.协程,又称微线程,纤程。协程的特点在于是一个线程执行,那和多线程比,协程有何优势?最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越明显。第三方的gevent为Python提供了比较完善的协程支持。接下来只介绍gevent用法

2.使用

fromgeventimport monkey; monkey.patch_all(); fromgevent.poolimport Pool import time def Traversal(job):

    print'job:',job

    time.sleep(1)if__name__=='__main__':

    print'start time:'    t1 = int(time.time())

    jobs = [iforiinxrange(10)]

    pool = Pool(5)

    pool.map(Traversal, jobs)

    print'end main total time:',int(time.time())-t1

3.结果

3.结果分析

此程序本质是遍历0-10之间的数,应该用时10秒,由于使用了协程,开启了5个池,所以时间减少到2秒,大大减少运行时间。

四、多进程+协程

1.因为协程是一个线程执行,那怎么利用多核CPU呢?最简单的方法是多进程+协程,既充分利用多核,又充分发挥协程的高效率,可获得极高的性能。

2.使用

import multiprocessing fromgeventimport monkey; monkey.patch_all(); fromgevent.poolimport Poolimport time def Traver(job):

    print'job:',job

    time.sleep(1)class Traversal(object):

    def__init__(self,interval, name):

        self.interval = interval

        self.name = name

        self._rungevent(self.interval, self.name)

    def _rungevent(self, interval, name):

        jobs = [iforiinxrange(5)]

        pool = Pool(5)

        pool.map(Traver, jobs) if__name__=='__main__':

    print'start time:'    t1 = int(time.time())

    jobs = []

    forxinxrange(2):

        p = multiprocessing.Process(target = Traversal, args=(1,'Traversal_'+str(x)))

        p.start()

        jobs.append(p)

    forjobin jobs:

        job.join()

    print'end main total time:',int(time.time())-t1

3.结果

4.结果分析

此程序本质上是遍历2次0-5之间数据,应该使用10秒才能运行完,由于开启了两个线程和5个池的协程,结果1秒就运行完了。

五、总结

从以上小例子看,多进程、多线程和协程没有啥差别,本文也只是主要介绍其用法。但是,要是在IO密集和CPU密集的任务下,各个之间的区别就会显现,这里就不做介绍。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容

  • 写在前面的话 代码中的# > 表示的是输出结果 输入 使用input()函数 用法 注意input函数输出的均是字...
    FlyingLittlePG阅读 2,725评论 0 8
  • 一. 操作系统概念 操作系统位于底层硬件与应用软件之间的一层.工作方式: 向下管理硬件,向上提供接口.操作系统进行...
    月亮是我踢弯得阅读 5,950评论 3 28
  • 线程 操作系统线程理论 线程概念的引入背景 进程 之前我们已经了解了操作系统中进程的概念,程序并不能单独运行,只有...
    go以恒阅读 1,630评论 0 6
  • 一文读懂Python多线程 1、线程和进程 计算机的核心是CPU,它承担了所有的计算任务。它就像一座工厂,时刻在运...
    星丶雲阅读 1,442评论 0 4
  • 目录 why 环境搭建 gulp gulpfile.js文件解析 开发部署流程 1.why 自动清除缓存,自动刷新...
    嗨超儿阅读 187评论 0 1