Gevent

距离1.0第一个alpha版发布已有两年多时间。根据官方网站的信息,1.0版引入了:

新的核心。事件循环使用libev代替了libevent,原因可以参考这里。而且事件循环现在是可插拔的了。

新的DNS解析器。有两个解析器:默认的基于线程池的,适用于Windows和Mac;另一个基于c-ares库的,适用于Linux。socket模块中还增加了gethostbyname_ex等多个函数。

新的API。包括gevent.wait()和gevent.iwait()、子进程支持、UDP服务器以及尚处试验阶段的线程池等。

完整的更新可以参考变更日志

现在gevent已经不是一人项目了,1.0版的贡献者达到26人,值得注意的是,其中有阿里的陈小玉

gevent是基于协程的高性能Python网络库,相比Twisted、Stackless等,gevent使用libev事件循环,因此速度很快、性能很好,使用greenlet提供高层的同步API,因此非常轻量。

它由俄罗斯出生的程序员Denis Bilenko开 发,Bilenko目前住在荷兰阿姆斯特丹,是Surfly公司的创始人。他曾经是另一个Python网络库Eventlet的开发者之一,2009年因 为Eventlet无法满足项目需要,他决定另外开发一个更轻量的库,这就是gevent。某种意义上,gevent是从Eventlet项目派生出来 的。[1]

近来,gevent的发展势头不错,在GitHub上的关注度已经超过Eventlet,有青出于蓝而胜于蓝的意思。(当然Eventlet还剩一个优势,OpenStack的网络通信是基于它的。)距离挑战Twisted,可能还有一段距离。不过高性能总是利器,ZeroMQ和Nginx的先例在那里。

有名的案例里,Omegle因为性能问题从Twisted迁移到了gevent,MeeboSpotify的情况类似,Twilio是两者并用。

相关技术资料

官方网站

StackOverflow,其中关于Twisted和gevent等Python网络库的选型讨论可以参考这里这里

Bilenko在2013 EuroPython会议上的演讲稿

Mixpanel使用gevent的经验总结(2011年),中文翻译

CSDN网友Ewing333翻译的gevent文档(2012年5月)

OSChina的gevent页面

话说pycon没有白去阿,了解了很多以前不知道的东西,比如说协程,gevent,greenlet,eventlet。说说协程,进程和线程大家平时 了解的都比较多,而协程算是一种轻量级进程,但又不能叫进程,因为操作系统并不知道它的存在。什么意思呢,就是说,协程像是一种在程序级别来模拟系统级别 的进程,由于是单进程,并且少了上下文切换,于是相对来说系统消耗很少,而且网上的各种测试也表明,协程确实拥有惊人的速度。并且在实现过程中,协程可以 用以前同步思路的写法,而运行起来确是异步的,也确实很有意思。话说有一种说法就是说进化历程是多进程->多线程->异步->协程,暂 且不论说的对不对,单从诸多赞誉来看,协程还是有必要理解一下的。

比较惭愧,greenlet没怎么看就直接看gevent,官方文档还是可以看看的,尤其是源码里的examples都相当不错,有助于理解gevent的使用。

gevent封装了很多很方便的接口,其中一个就是monkey

from gevent import monkey

monkey.patch_all()

这样两行,就可以使用python以前的socket之类的,因为gevent已经给你自动转化了,真是超级方便阿。

而且安装gevent也是很方便,首先安装依赖libevent和greenlet,再利用pypi安装即可

sudo apt-get install libevent-dev

sudo apt-get install python-dev

sudo easy-install gevent

然后,gevent中的event,有wait,set等api,方便你可以让某些协程在某些地方等待条件,然后用另一个去唤醒他们。

再就是gevent实现了wsgi可以很方便的当作python的web server服务器使。

Links:

https://ivan-site.com/2012/10/gevent-gunicorn-vs-uwsgi/

http://www.gevent.org/

http://www.it165.net/admin/html/201308/1682.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 前述 进程 线程 协程 异步 并发编程(不是并行)目前有四种方式:多进程、多线程、协程和异步。 多进程编程在pyt...
    softlns阅读 6,348评论 2 24
  • 背景 最近接触到用 Twisted 来写个 RPC 服务器,对高并发、性能和大量长连接时的稳定性方面有要求,所以应...
    小虚大魔王阅读 6,326评论 5 21
  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    aimaile阅读 26,616评论 6 427
  • 一个实时爬取的接口,也是针对这个一直在被我博客的网站,跟他家的抗争让我收益良多 先讲一讲这一次的问题所在,因为时时...
    Utopi_a阅读 4,287评论 2 10
  • gevent基于协程的网络库,基于libev的快速的事件循环,基于greenlet的轻量级执行单元,重用了Pyth...
    xncode阅读 1,495评论 0 1