Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >利用numba給Python代码加速 [0]

利用numba給Python代码加速 [0]

作者头像
用户6021899
发布于 2021-12-30 08:03:10
发布于 2021-12-30 08:03:10
35800
代码可运行
举报
运行总次数:0
代码可运行

Numba 利用LLVM将python函数编译成优化后的机器码。Numba编译的由python写的数学算法能够接近C或Fortran的运行速度。LLVM 不仅能编译numba代码,还擅长优化它。

流程如下:

python bytecode ->Numba analyzers ->Numba LLVM IR generator ->

LLVM IR optimizers ->LLVM backend compiler ->Native x86/x64 code

LLVM 命名最早源自于底层虚拟机(Low Level Virtual Machine)的缩写。LLVM是构架编译器(compiler)的框架系统,以C++编写而成,用于优化以任意程序语言编写的程序的编译时间(compile-time)、链接时间(link-time)、运行时间(run-time)以及空闲时间(idle-time),对开发者保持开放,并兼容已有脚本。

你不需要安装C/C++ 编译器,也不需要独立的编译步骤,只需要将numba装饰器应用于你的python函数,numba会完成编译与优化。

下面以一个概率法计算圆周率的例子开始:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from numba import jit,float32, int64
import random
import time


#@jit()
#@jit(nopython=True)
@jit(float32(int64), nopython=True, cache=True, nogil=True)
#@jit(float32(int64), nopython=True, parallel=True)
#@cuda.jit()
def monte_carlo_pi(nsamples):
    acc = 0
    for i in range(nsamples):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            acc += 1
    return 4.0 * acc / nsamples


if __name__ == '__main__':
    since = time.time()
    x = monte_carlo_pi(10000000)
    print("time elapsed: ", time.time() - since)
    print("pi calculated is ", x)

这段代码如果不利用numba加速,在我的电脑上运行大约需要5.5s。

应用numba装饰器后,运行只需0.13s,只需原来40分之一不到的时间,甚至比自己写的对应的C++代码的运行时间还短。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-12-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python可视化编程机器学习OpenCV 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Python可以比C++更快,你不信?
Python 是一个用途非常广泛的编程语言,拥有成千上万的第三方库,在人工智能、机器学习、自动化等方面有着广泛的应用,众所周知,Python 是动态语言,有全局解释器锁,比其他静态语言要慢,也正是这个原因,你也许会转向其他语言如 Java、C++,不过先等等,今天分享一个可以让 Python 比 C++ 还要快的技术,看完再决定要不要转吧。
somenzz
2021/04/16
9860
利用numba給Python代码加速 [1]
Numba @jit 装饰器有两种编译模式, Nopython 模式和Object 模式。nopython编译模式的行为本质上是编译修饰后的函数,使其完全运行而不需要Python解释器的参与。这是使用Numba jit装饰器的推荐和最佳实践方法,因为它可以获得最佳性能。@jit(nopython=True) 等效于@njit()。
用户6021899
2022/01/10
1.6K0
利用numba給Python代码加速 [1]
嫌Python太慢但又不想学C/C++?来了解下JIT技术
Python 是门多才多艺的语言,既可以写后端,也可以做数据分析,既可以智能化运维,也可以搞渗透,既可以写爬虫,又可以做机器学习深度学习。然而,Python 的缺点也很明显,它的速度有点慢。
实验盒
2021/09/22
1.1K0
嫌Python太慢但又不想学C/C++?来了解下JIT技术
利用numba給Python代码加速 [2]
Numba 的 @vectorize 装饰器可以将以标量为输入的的python函数编译为类似Numpy的 ufuncs。创建一个传统的NumPy ufunc并不是最简单的过程,它可能需要编写一些C代码。Numba让这很容易。使用@vectorize装饰器 ,Numba可以将纯Python函数编译成ufunc,该ufunc在NumPy数组上运行的速度与用C编写的传统ufunc一样快。
用户6021899
2022/01/10
9170
利用numba給Python代码加速 [2]
Python 提速大杀器之 numba 篇
你是不是曾经有这样的苦恼,python 真的太好用了,但是它真的好慢啊(哭死) ; C++ 很快,但是真的好难写啊,此生能不碰它就不碰它。老天啊,有没有什么两全其美的办法呢?俗话说的好:办法总是比困难多,大家都有这个问题,自然也就有大佬来试着解决这个问题,这就请出我们今天的主角: numba
OpenMMLab 官方账号
2022/01/18
3K0
推荐 8 个炫酷的 Python 装饰器!
Python 编程语言的一大优点是它把所有功能都打包到一个小包中,这些功能非常有用。
Python编程与实战
2021/10/12
1.3K0
用 Numba 加速 Python 代码,变得像 C++ 一样快
注意: 这篇文章的 Jupyter Notebook 代码在我的 Github 上:SpeedUpYourAlgorithms-Numba
昱良
2019/07/04
2.8K0
用 Numba 加速 Python 代码,变得像 C++ 一样快
Python | 加一行注释,让你的程序提速10+倍!numba十分钟上手指南
之前的文章《源代码如何被计算机执行》已经提到计算机只能执行二进制的机器码,C、C++等编译型语言依靠编译器将源代码转化为可执行文件后才能运行,Python、Java等解释型语言使用解释器将源代码翻译后在虚拟机上执行。对于Python,由于解释器的存在,其执行效率比C语言慢几倍甚至几十倍。
PP鲁
2019/12/26
7.6K0
让python快到飞起-numba加速
python是一门高效动态编程语言,由于其采用简洁明了的语法以及灵活性深受大家欢迎。但是,这既是它最大的优势,也是最大的劣势。它的灵活性和无类型的高级语法可能会导致数据和计算密集型程序的性能不佳,因为运行本地编译代码要比运行动态解释代码快很多倍。
自学气象人
2022/11/02
9190
让python快到飞起-numba加速
使用numba加速python科学计算
python作为一门编程语言,有非常大的生态优势,但是其执行效率一直被人诟病。纯粹的python代码跑起来速度会非常的缓慢,因此很多对性能要求比较高的python库,需要用C++或者Fortran来构造底层算法模块,再用python进行上层封装的方案。在前面写过的这篇博客中,介绍了使用f2py将fortran代码编译成动态链接库的方案,这可以认为是一种“事前编译”的手段。但是本文将要介绍一种即时编译(Just In Time,简称JIT)的手段,也就是在临近执行函数前,才对其进行编译。以下截图来自于参考链接4,讲述了关于常见的一些编译场景的区别:
DechinPhy
2021/05/21
2K0
这一行代码,能让你的 Python 运行速度提高 100 倍!
python一直被病垢运行速度太慢,但是实际上python的执行效率并不慢,慢的是python用的解释器Cpython运行效率太差。
杰哥的IT之旅
2020/09/30
6710
用Numba加速Python代码
说这句话的人也没有错。与许多其他编程语言相比,Python很慢。Benchmark game有一些比较不同编程语言在不同任务上的速度的可靠的基准。
AiTechYun
2019/07/04
2.2K0
Run python on a supercomputer
有任务需要处理一堆收集来得开源数据集,在服务器单机跑了一天才给结果,多方咨询有HPC可以用,或者叫supercomputer,或者叫计算机集群,大部分的简称grid。看了wiki、confluence,给出一堆链接在脑海中织出密密麻麻的蜘蛛网——无从下手。居然没有use case出发端到端的参考demo,真是无力吐槽。自力更生求助google,youtube,stack overflow,梳理下来,简而言之,可以理解分而治之多线程的多处理核(cpu/gpu)的版本,涉及算力资源调度引入slurm,涉及通讯引入mpi。
flavorfan
2021/01/31
2.2K0
Run python on a supercomputer
超过Numpy的速度有多难?试试Numba的GPU加速
Numpy是在Python中非常常用的一个库,不仅具有良好的接口文档和生态,还具备了最顶级的性能,这个库很大程度上的弥补了Python本身性能上的缺陷。虽然我们也可以自己使用Cython或者是在Python中调用C++的动态链接库,但是我们自己实现的方法不一定有Numpy实现的快,这得益于Numpy对于SIMD等技术的深入实现,把CPU的性能发挥到了极致。因此我们只能考虑弯道超车,尝试下能否用自己实现的GPU的算法来打败Numpy的实现。
DechinPhy
2021/08/31
2.4K0
超过Numpy的速度有多难?试试Numba的GPU加速
一行代码让你的python运行速度提高100倍
python一直被病垢运行速度太慢,但是实际上python的执行效率并不慢,慢的是python用的解释器Cpython运行效率太差。
小小詹同学
2019/11/12
9310
numba,让你的Python飞起来!
python由于它动态解释性语言的特性,跑起代码来相比java、c++要慢很多,尤其在做科学计算的时候,十亿百亿级别的运算,让python的这种劣势更加凸显。
派大星的数据屋
2022/04/02
1.2K0
numba,让你的Python飞起来!
numba,让你的Python飞起来!
python由于它动态解释性语言的特性,跑起代码来相比java、c++要慢很多,尤其在做科学计算的时候,十亿百亿级别的运算,让python的这种劣势更加凸显。
Python进阶者
2019/09/17
1.3K0
numba,让你的Python飞起来!
强化学习技巧五:numba提速python程序
numba是一款可以将python函数编译为机器代码的JIT编译器,经过numba编译的python代码(仅限数组运算),其运行速度可以接近C或FORTRAN语言。
汀丶人工智能
2022/12/21
1K0
强化学习技巧五:numba提速python程序
Python Numpy性能提升的利器Numa优化技巧
在数据分析和科学计算中,Python和Numpy是非常流行的工具组合。然而,随着数据量的增加,Python解释器在处理大规模数组时的性能可能无法满足需求。为了提升Python代码的执行效率,Numba成为了一个强大的工具。Numba是一个基于LLVM的即时编译器,它可以将Python代码编译为高效的机器代码,从而极大地提升Numpy数组操作的性能。
sergiojune
2024/10/21
2090
Python Numpy性能提升的利器Numa优化技巧
[Python技巧]如何加快循环操作和Numpy数组运算速度
在 24式加速你的Python中介绍对循环的加速方法中,一个办法就是采用 Numba 加速,刚好最近看到一篇文章介绍了利用 Numba 加速 Python ,文章主要介绍了两个例子,也是 Numba 的两大作用,分别是加速循环,以及对 Numpy 的计算加速。
kbsc13
2019/08/16
10K0
相关推荐
Python可以比C++更快,你不信?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验