Numba和Cython如何加速Python代码

近些年来, Numba和Cython在数学科学界得到了广泛的关注。它们都提供了一种加速CPU密集型任务的方法,但以不同的方式。本文描述了它们之间体系结构的差异。

Numba

Numba是一个即时(JIT)编译器,它将Python代码转换为用于CPU和GPU的本地机器指令。代码可以在导入时、运行时或提前编译。

通过使用jit装饰器,使用Numba非常容易:

正如你所知道的,在Python中,所有代码块都被编译成字节码:

代码优化

为了优化Python代码,Numba从提供的函数中提取一个字节码,并在其上运行一组分析器。Python字节码包含一系列小而简单的指令,因此不必从Python实现中使用源代码就可以从字节码中重构函数的逻辑。转换的过程涉及多个阶段,但Numba将Python字节码转换为LLVM中间表示 (IR)。

请注意,LLVM IR是一种低级编程语言,它类似于汇编语法,与Python无关。

Numba 模式

Numba中有两种模式:nopython和object。前者不使用Python运行时并且在没有Python依赖项的情况下生成本机代码。 本机代码是静态类型的,运行非常快。而对象模式使用Python对象和Python C API,这通常不会带来显著的速度改进。在这两种情况下,Python代码都是使用LLVM编译的。

什么是LLVM?

LLVM是一种编译器,它采用代码的特殊中间表示(IR),并将其编译成本机代码。编译过程涉及许多额外的传递,其中编译器优化IR。LLVM工具链很好地优化了IR,不仅为Numba编译代码,而且优化Numba。整个系统大致如下:

Python numba 体系结构

Numba的优势:

易用性

自动并行化

支持numpy操作和对象

GPU支持

Numba的劣势:

多层的抽象使得调试和优化变得非常困难

在nopython模式下无法与Python及其模块进行交互

有限的类支持

Cython

取代分析字节码和生成IR,Cython使用Python语法的超集,它后来转换成C代码。在使用Cython时,基本上是用高级Python语法编写C代码。

在Cython中,通常不必担心Python包装器和低级API调用,因为所有交互都会自动扩展到合适的C代码。

与Numba不同,所有的Cython代码应该在专门文件中与常规Python代码分开。Cython将这些文件解析并转换成C代码,然后使用提供的C编译器 (例如,gcc)编译它。

Python代码已经是有效的Cython代码。

但是,类型版本工作得更快。

编写快速Cython代码需要理解C和Python内部结构。如果你熟悉C,你的Cython代码可以运行得和C代码一样快。

Cython的优势:

通过Python API的使用控制

与C/C++库和C/C++代码的简单接口

并行执行支持

支持Python类,在C中提供面向对象的特性

Cython的劣势:

学习曲线

需要C和Python内部专业技术

模块的组织不方便

Numba 对 Cython

就个人而言,我更喜欢小项目和ETL实验用Numba。你可以将其插入现有项目中。如果我需要启动一个大项目或为C库编写包装器,我将使用Cython,因为它提供更多的控制和更容易调试。

此外,Cython是许多库的标准,如pandas、scikit-learn、scipy、Spacy、gensim和lxml。

英文原文:https://rushter.com/blog/numba-cython-python-optimization/

译者:张新英

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180814A09R6Q00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券