第2篇:Cython编译细节详解

我们本篇通过创建质数列表的算法并编译它来加深读者对Cython编译原理的理解,但在你阅读此文之前,希望你的C/C++的基本功要扎实。

Cython源文件

Cython源文件名包含模块名称,后跟.pyx扩展名,例如,名为primer的模块将具有一个名为primer.pyx的源文件。

与Python不同,Cython代码必须编译。这分为两个阶段:

  • pyx文件由Cython编译为.c文件。
  • .c文件由C/C++编译器编译为.so文件(或Windows上的.pyd文件)

编写完.pyx文件后,有几种方法可以将其转换为扩展模块。
以下小节描述了构建扩展模块的几种方法,以及如何将指令传递给Cython编译器。

1. 从命令行编译

cython编译工具存在两个命令行工具cython和cythonize,我们下面会这个示例代码和例子

#cython:language_level=3
cdef list sieveOfEratosthenes( long n):
    cdef list pr = [True for i in range(n + 1)]
    cdef long p = 2
    while (p * p <= n):
        if (pr[p] == True):
            
            for i in range(p * p, n + 1, p):
                pr[i] = False
        p += 1
    # end-while
    
    cdef list res = list()
    for p in range(2, n):
        if pr[p]:
            res.append(p)
    # end-if
    # end-for
    return res
# end-def

cython解析器选项

  • --include-dir:指定编译时包含的C/C++头文件或其他*.py或*.pyx文件
  • --output-file:指定解析后的C/C++源代码文件的所在路径
  • --working:指定cython解析器的工作目录
  • -2或-3:-2告知cython解析器以python2的方式理解python源代码,-3告知cython解析器以python3的方式去理解python源代码
    ss8.png

我们使用以下指令将primer.pyx的源代码转换为C代码,如下图所示

cython primer.pyx -o ./src/primer.c -3

这将产生一个名为primer.c的文件,然后需要使用平台上适合生成扩展模块的任何选项,使用C编译器对其进行编译。 对于这些选项,请查看官方的Python文档。


较简单的命令行工具cython仅调用源代码转换器。

在手动编译的情况下,如何编译.c文件取决于操作系统和编译器。 用于编写扩展模块的Python文档应包含有关系统的一些详细信息。 例如,在Linux系统上,它可能类似于:

gcc -shared -pthread -fPIC -fwrapv -O2 -Wall -fno-strict-aliasing \
      -I/usr/include/python3.6 -o ./primer.so  ./primer.c

另一种可能更好的方法是使用Cython提供的setuptools扩展。 这种方法的好处是它将为平台提供特定的编译选项,就像简化的自动工具一样。

使用cythonize命令进行编译

cythonize -a -i primer.pyx

这将创建一个primer.c文件(或在C ++模式下为primer.cpp),对其进行编译,

  • 并将生成的扩展模块(.so或.pyd,具体取决于您的平台)从下图可知在当前目录生成了C/C++源文件和扩展模块。
  • -a开关还会生成带注释的源代码html文件。


编译后,会将primer.cpython-36m-x86_64-linux-gnu(对于Windows可能为primer.cpython-36m-win64.pyd)文件写入目标目录,并且可以将您的模块primer.cpython-36m-x86_64-linux-gnu与其他任何Python模块一样导入。

注意:如果您不依赖cythonize或setuptools,您将不会自动受益于CPython为消除歧义而生成的特定于平台的文件扩展名

我们使用cythonize编译时,指定了-a命令行选项,因此编译完成后会生成一个编译后的html格式的分析报告,该文件中黄色的区域表示cython编译器已经命中该行并将该行对应的cython源代码转换为对应的C/C++代码,


本例中primer.pyx由于变量和函数都使用cdef关键字显式指定了数据类型,因此几乎全覆盖地转换成C代码。该分析报告中的带有“+”号的行,我们展开会发现对应该行被Cython关键字cdef修饰的语句会被Cython编译器转换为对应的C/C++代码,如下图,通常只要在编译过程中没有出错,不需要理会生成的C代码。


使用setup.py编译

Cython提供的setuptools扩展允许您将.pyx文件直接传递到setup.py文件中的Extension构造函数。如果您要将单个Cython文件转换为已编译的扩展文件,这里文件名primer.pyx进行说明,则关联的setup.py将为:


如果您的构建以setup.py方式直接依赖于Cython,那么您编译的扩展需要打算分享到pip库可能还想告知pip,你扩展库的和其他扩展的依赖关系,请执行PEP 518 https://www.python.org/dev/peps/pep-0518,Cython是setup.py执行所必需,创建一个pyproject.toml文件,其中至少包含:

[build-system]
requires = ["setuptools", "wheel", "Cython"]

备注:要更全面地了解setup.py,请参阅官方的setuptools文档。 要编译扩展名以在当前目录中使用,请使用:

python setup.py build_ext --inplace

以pyximport编译

这个这个笔者验证过,Jupyter交互环境下这个工具就是个坑货,并不是网上宣传那样:动态检查Cython源程序变更并自动编译,并不建议在Jupyter-Notebook环境下使用

小结

目前Cython的编译细节介绍到这里,对于日常简单的Python性能优化足以应付,因此本文不再往深入介绍,涉及到大规模部署Cython程序,需要用到复杂配置,我会在日后再补上。

如果Cython无法编译Python模块,则pyximport将转而加载源模块。注意,不建议让pyximport在最终用户侧构建代码,因为它会挂接到其导入系统中。 迎合最终用户的最佳方法是以wheel包装形式提供预制的二进制包装。

扩展阅读

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,185评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,652评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,524评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,339评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,387评论 6 391
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,287评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,130评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,985评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,420评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,617评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,779评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,477评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,088评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,716评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,857评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,876评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,700评论 2 354

推荐阅读更多精彩内容