gevent学习之路

前言:最近转技术栈,需要学习Python的gevent框架,为了能看懂怎么用DAG图来优化复杂并有依赖关系的初始化。我寻思这不就是Java的CompletableFuture功能吗,只不过Python对于多线程的支持不太好,所以才需要引入gevent框架。

一、Python协程

学习gevent之前,就得先了解一下Python原生协程的支持,以及它的局限性以及不完善,要不也不需要引入框架嘛。

协程与线程

线程是操作系统级别的调用,线程切换时需要操作系统,保存线程的上下文。
协程程序级别的调用,协程何时需要切换,是由程序员决定的。协程上下文切换的开销更小,而且不需要解决线程安全问题。
我们可以分别用协程和线程写消费者与生产者对比下:
协程实现:

def consumer():
    r = ''
    while True:
        n = yield r
        if not n:
            return
        print('[CONSUMER] Consuming %s...' % n)
        r = '200 OK'

def produce(c):
    c.send(None)
    n = 0
    while n < 5:
        n = n + 1
        print('[PRODUCER] Producing %s...' % n)
        r = c.send(n)
        print('[PRODUCER] Consumer return: %s' % r)
    c.close()

c = consumer()
produce(c)

线程实现,参考这篇博客:
https://blog.csdn.net/ldx19980108/article/details/81707751
对比两种实现方式,可以看出来如果用线程来实现,那么就需要用锁来保护共享资源,但是协程就是函数执行过程中,通过yield来暂停等待其他函数的输入,通过send函数跑到yield处执行。开销要小很多。当然Python也有线程,但是受到GIL(全局解释器锁)的局限,也就是说在线程执行的时候,需要获取GIL锁,因此退化为单线程了,也就是说可以在多个线程中切换,但是不能多个线程同时执行,这样的话只能并发不能并行,对于多核CPU来说无疑是一种浪费。

Python 协程的实现

mark 晚点再补 https://zhuanlan.zhihu.com/p/45168167
1、yield/send

2、select

3、yield from
yield from iterable本质上等于for item in iterable: yield item的缩写版

4、asyncio

5、async/await

二、gevent的使用方式

gevent是用的比较多的Python框架,以协程为核心,结合epoll的多路复用,解决了GIL锁的问题??比起原生的Python来说是封装的更好?还是存在的优化比较多?可以让python代码很方便的使用线程?这块不是很理解。
spawn方法注册方法到gevent实例上,joinall函数循环事件,当遇到IO的时候,会自动切换其他事件。


from gevent import monkey; monkey.patch_all()
import gevent
import requests
from datetime import datetime


def f(url):
    print 'time: %s, GET: %s' % (datetime.now(), url)
    resp = requests.get(url)
    print 'time: %s, %d bytes received from %s.' % (
        datetime.now(), len(resp.text), url)


gevent.joinall([
        gevent.spawn(f, 'https://www.python.org/'),
        gevent.spawn(f, 'https://www.yahoo.com/'),
        gevent.spawn(f, 'https://github.com/'),
])
image.png

此外,加锁也是十分方便的。

# -*- coding: utf-8 -*-

import gevent
from gevent.lock import Semaphore

sem = Semaphore(1)


def f1():
    for i in range(5):
        sem.acquire()
        print 'run f1, this is ', i
        sem.release()
        gevent.sleep(1)


def f2():
    for i in range(5):
        sem.acquire()
        print 'run f2, that is ', i
        sem.release()
        gevent.sleep(0.3)


t1 = gevent.spawn(f1)
t2 = gevent.spawn(f2)
gevent.joinall([t1, t2])

三、greenlet的内部原理

greenlet是gevent的基础,用来实现从协程到协程之间的切换。切换使用的方法是switch。

from greenlet import greenlet
def test1():
    print 12
    gr2.switch()
    print 34

def test2():
    print 56
    gr1.switch()
    print 78

gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch()

用ppt画了个很丑陋的图,为了是将代码的执行过程描述清楚,greenlet初始化的时候初始化一个空栈,当执行gr1.switch时候,会执行test1的代码,打印12,然后当前协程挂起,保存当前栈和寄存器。之后执行gr2.switch切换到另一个栈,执行print56,然后gr1.switch的时候又切回gr1栈,恢复栈和寄存器,执行print34。


image.png

输出结果如下所示:


image.png

从这个例子来看栈的执行似乎,switch跟函数调用很相似。但是switch not call。每个greenlet都有一个parent,greenlet的创生环境就是它的Parent,所有的greenlet形成一棵树。从下面的例子可以看出来。从test2返回后回到的是main,而不是test1,从这也能看出来他们的区别。
import greenlet
def test1(x, y):
    print id(greenlet.getcurrent()), id(greenlet.getcurrent().parent) # 40240272 40239952
    z = gr2.switch(x+y)
    print 'back z', z

def test2(u):
    print id(greenlet.getcurrent()), id(greenlet.getcurrent().parent) # 40240352 40239952
    return 'hehe'

gr1 = greenlet.greenlet(test1)
gr2 = greenlet.greenlet(test2)
print id(greenlet.getcurrent()), id(gr1), id(gr2)     # 40239952, 40240272, 40240352
print gr1.switch("hello", " world"), 'back to main'    # hehe back to main

四、gevent源码分析

源码这块功底不够,确实有些看不懂了,先mark一下
https://www.jianshu.com/p/f55148c41f54

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,843评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,538评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,187评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,264评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,289评论 6 390
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,231评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,116评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,945评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,367评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,581评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,754评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,458评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,068评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,692评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,842评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,797评论 2 369
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,654评论 2 354

推荐阅读更多精彩内容