Python脚本分析CPU使用情况

在这篇文章中,我将讨论一个工具,用以分析Python中CPU使用情况。CPU分析是通过分析CPU执行代码的方式来测量代码的性能,以此找到代码中的不妥之处,然后处理它们。 接下来我们将看看如何跟踪Python脚本使用时CPU使用情况,重点关注以下几个方面: 1、cProfile 2、line_profiler 3、pprofile 4、vprof

测量CPU使用率 对于这篇文章,我将主要使用与内存分析中使用脚本相同的脚本,具体如下:

另外,请记住,在PyPy2中,您需要使用与之配合的pip版本:

并且其他依赖项也将被安装:

cProfile 在讨论CPU分析时,最常用的工具之一是cProfile,主要是因为它内置在CPython2和PyPy2中。这是一个确定性的分析器,意味着在运行程序时会收集一组统计数据,例如我们代码的各个部分的执行次数或执行时间。此外,cProfile在系统上的开销比其他内置的分析器(配置文件)要低。 CPython2的用法很简单:

如果您使用PyPy2:

其输出如下:

即使使用这个文本输出,很容易看到我们的脚本多次调用了list.append方法。 如果我们使用gprof2dot,我们可以以图形的方式看到cProfile输出。要使用它,我们必须首先安装graphviz,之后是一些依赖包,最后在Ubuntu上使用如下命令:

再次运行脚本:

我们得到以下output.png文件:

这样更容易看到一切。我们来仔细看看它的输出。您可以看到脚本中的函数调用如下: 1、第一行:Python文件名,行号和方法名称 2、第二行:代码块占用全部时间的百分比 3、第三行:括号中,方法本身占全部时间的百分比 4、第四行:调用函数的次数 例如,在顶部的第三个红色方块中,方法primes占用了98.28%的时间,其中65.44%的内容在其中进行,调用了40次。其余的时间花在Python中的list.append(22.33%)和range(11.51%)中。 作为一个简单的脚本,我们只需要重写我们的脚本,具体的如下所示:

如果我们使用CPython2测量我们脚本的时间,

还有PyPy2:

我们通过使用PyPy2的CPython2和3.1X获得了不错的效果,下面是cProfile的调用流程图:

您还可以以编程方式使用cProfile,例如:

这在某些情况下很有用,例如多进程性能测量

line_profiler 此分析器在行级提供关于工作负载的信息。它使用Cython在C中实现,并将其与cProfile进行比较时发现其具有较小的开销。 源代码可以在这里找到,也可以在这里找到PyPI页面。与cProfile相比,它具有一样的开销,不过却要花费12倍的时间来获取配置文件。 要使用它,您需要先通过pip添加它:pip install pip install Cython ipython == 5.4.1 line_profiler(CPython2)。这个分析器的一个主要缺点是它不支持PyPy。 就像使用memory_profiler一样,您需要在要分析的函数中添加一个装饰器。在我们的例子中,您需要在03.primes-v1.py中定义我们的primes函数之前添加@profile。然后调用它:

你将得到如下输出:

我们看到,重复调用list.append的两个循环花了最多的时间。

pprofile 根据作者说明,pprofile是一个“线程测量和统计的纯python分析器”。 它受到line_profiler的启发,修复了很多缺点,但是由于它完全用Python编写,所以它也可以与PyPy成功使用。与cProfile相比,使用CPython时的分析时间要多28倍,而使用PyPy时,分析时间要多10倍,而且细节水平更加细化。 我们也支持PyPy!除此之外,它支持剖析线程,这在各种情况下可能会很方便。 要使用它,您需要先通过pip添加它:pip install pprofile(CPython2)/ pypy -m pip install pprofile(PyPy),然后调用它:

输出与我们以前看到的不同,我们得到如下结果:

我们现在可以更详细地看到一切。让我们来看看输出。您可以获得脚本的整个输出,并且在每行之前,您可以看到对其进行的调用次数,运行时间(秒),每次调用的时间和全局时间的百分比,pprofile为我们的输出添加了额外的行(如第44和50行,以(call)开头)与累积指标。 再次,我们看到,重复调用list.append的两个循环花了我们脚本中最多的时间。

vprof vprof是一个Python分析器,为各种Python程序特性(如运行时间和内存使用)提供丰富的交互式可视化。它是一个基于Node.JS的图形化的显示在网页中的结果。 使用它,您可以看到与Python脚本相关的以下一个或全部: 1、CPU使用图 2、代码分析 3、内存图 4、代码热图 要使用它,您需要先通过pip添加它:pip install vprof(CPython2)/ pypy -m pip install vprof(PyPy),然后调用它: 在CPython2上,显示代码散热图(第一个调用如下)和代码分析(下面的第二个调用):

在PyPy上,显示代码散热图(第一个调用如下)和代码分析(下面的第二个调用):

在每种情况下,您将看到代码散点图的以下内容

以及代码分析的以下内容。

结果以图形方式看到,我们可以悬停鼠标或单击每行以获取更多信息。再次,我们看到,重复调用list.append的两个循环花了我们脚本中最多的时间。

英文原文:https://pythonfiles.wordpress.com/2017/06/01/hunting-performance-in-python-code-part-3/ 译者:buhaoxuesheng


本文分享自微信公众号 - 马哥Linux运维(magedu-Linux)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-11-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

python多线程编程(2): 线程的创建、启动、挂起和退出

如上一节,python 的threading.Thread类有一个run方法,用于定义线程的功能函数,可以在自己的线程类中覆盖该方法。而创建自己的线程实例后,通...

29060
来自专栏PPV课数据科学社区

一文读懂如何用 Python 实现6种排序算法

原文链接:https://my.oschina.net/liuyuantao/blog/749329 总结了一下常见集中排序的算法 ? 归并排序 归并排序也称合...

39770
来自专栏PPV课数据科学社区

【学习】数据分析师的Python日记-第1天:谁来给我讲讲Python?

今天带来的是PYTHON,这是一篇非常有意思的文章。希望对大家有帮助。 ---- ---- 导语:或许是网上嘈嘈杂杂的关于大数据、互联网的新形势争论,或许是招聘...

22990
来自专栏PPV课数据科学社区

Python、 R 语言、SAS、SPSS 优缺点比较?给你常用的投一票!

从事数据分析要学那些语言呢?其实小编跟跟学员还有已经从事数据分析行业的人接触下来,给我的感觉是对于这个初级的数据分析师来,一般前二年做差不多都是老大让你做的是处...

42080
来自专栏PPV课数据科学社区

数据结构常见的八大排序算法

前言 八大排序,三大查找是《数据结构》当中非常基础的知识点,在这里为了复习顺带总结了一下常见的八种排序算法。 常见的八大排序算法,他们之间关系如下: 他们的性能...

542110
来自专栏Python小白进阶之旅

还在找远控?来看我用十几行python代码写个简易远程控制

刚开始学习编程的同学可能经常会问:“我学了这个干什么用?买菜的时候掏出电脑来编个程序算算多少钱?”

683130
来自专栏PPV课数据科学社区

python多线程编程(4): 死锁和可重入锁

死锁 在线程间共享多个资源的时候,如果两个线程分别占有一部分资源并且同时等待对方的资源,就会造成死锁。尽管死锁很少发生,但一旦发生就会造成应用的停止响应。下面看...

425130
来自专栏PPV课数据科学社区

将Python和R整合进一个数据分析流程

在Python中调用R或在R中调用Python,为什么是“和”而不是“或”? 在互联网中,关于“R Python”的文章,排名前十的搜索结果中只有2篇讨论了一起...

57080
来自专栏PPV课数据科学社区

python多线程编程(3): 使用互斥锁同步线程

问题的提出 上一节的例子中,每个线程互相独立,相互之间没有任何关系。现在假设这样一个例子:有一个全局的计数num,每个线程获取这个全局的计数,根据num进行一些...

35970
来自专栏PPV课数据科学社区

python多线程编程(1): python对多线程的支持

前面介绍过多线程的基本概念,理解了这些基本概念,掌握python多线程编程就比较容易了。 在开始之前,首先要了解一下python对多线程的支持。 虚拟机层面 P...

400150

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励