专栏首页Python七号效率神器-快速定位最慢的代码

效率神器-快速定位最慢的代码

天下武功,唯快不破。

编程也不例外,你的代码跑的快,你能快速找出代码慢的原因,你的码功就高。

今天分享一个超级实用的 Python 性能分析工具 pyinstrument ,可以快速找到代码运行最慢的部分,帮助提高代码的性能。支持 Python 3.7+ 且能够分析异步代码,仅需一条命令即可显示具体代码的耗时。经常写 Python 的小伙伴一定要用一下。

安装

pip install pyinstrument

简单的使用

在程序的开始,启动 pyinstrument 的 Profiler,结束时关闭 Profiler 并打印分析结果如下:

from pyinstrument import Profiler

profiler = Profiler()
profiler.start()

# 这里是你要分析的代码

profiler.stop()

profiler.print()

比如这段代码 123.py,我们可以清楚的看到是列表推导式比较慢:

from pyinstrument import Profiler

profiler = Profiler()
profiler.start()

# 这里是你要分析的代码
a = [i for i in range(100000)]
b = (i for i in range(100000))

profiler.stop()
profiler.print()

上述分析需要修改源代码,如果你使用命令行工具,就不需要修改源代码,只需要执行 pyinstrument xxxx.py 即可:

比如有这样一段排序的程序 c_sort.py:

import sys
import time

import numpy as np

arr = np.random.randint(0, 10, 10)

def slow_key(el):
    time.sleep(0.01)
    return el 

arr = list(arr)

for i in range(10):
    arr.sort(key=slow_key)

print(arr)

这段代码里面故意放了一句 time.sleep(0.01) 来延迟性能,看看 pyinstrument 能否识别,命令行执行 pyinstrument c_sort.py:

从结果来看,程序运行了 1.313 秒,而 sleep 就运行了 1.219 秒,很明显是瓶颈,现在我们把它删除,再看看结果:

删除之后,性能最慢的就是 numpy 模块的初始化代码 __init__.py了,不过这些代码不是自己写的,而且并不是特别慢,就不需要去关心了。

分析 Flask 代码

Web 应用也可以使用这个来找出性能瓶颈,比如 flask,只需要在请求之前记录时间,在请求之后统计时间,只需要在 flask 的请求拦截器里面这样写:

from flask import Flask, g, make_response, request
app = Flask(__name__)

@app.before_request
def before_request():
    if "profile" in request.args:
        g.profiler = Profiler()
        g.profiler.start()


@app.after_request
def after_request(response):
    if not hasattr(g, "profiler"):
        return response
    g.profiler.stop()
    output_html = g.profiler.output_html()
    return make_response(output_html)

假如有这样一个 API:

@app.route("/dosomething")
def do_something():
    import requests
    requests.get("http://google.com")
    return "Google says hello!"

为了测试这个 API 的瓶颈,我们可以在 url 上加一个参数 profile 就可以:http://127.0.0.1:5000/dosomething?profile,哪一行代码执行比较慢,结果清晰可见:

分析 Django 代码

分析 Django 代码也非常简单,只需要在 Django 的配置文件的 MIDDLEWARE 中添加

    "pyinstrument.middleware.ProfilerMiddleware",

然后就可以在 url 上加一个参数 profile 就可以:

如果你不希望所有人都能看到,只希望管理员可以看到,settings.py 可以添加这样的代码:

def custom_show_pyinstrument(request):
    return request.user.is_superuser

PYINSTRUMENT_SHOW_CALLBACK = "%s.custom_show_pyinstrument" % __name__

如果不想通过 url 后面加参数的方式查看性能分析,可以在 settings.py 文件中添加:

PYINSTRUMENT_PROFILE_DIR = 'profiles'

这样,每次访问一次 Django 接口,就会将分析结果以 html 文件形式保存在 项目目录下的 profiles 文件夹中。

分析异步代码

简单的异步代码分析:

async_example_simple.py:

import asyncio

from pyinstrument import Profiler


async def main():
    p = Profiler()
    with p:
        print("Hello ...")
        await asyncio.sleep(1)
        print("... World!")
    p.print()


asyncio.run(main())

复杂一些的异步代码分析:

import asyncio
import time

import pyinstrument


def do_nothing():
    pass


def busy_wait(duration):
    end_time = time.time() + duration

    while time.time() < end_time:
        do_nothing()


async def say(what, when, profile=False):
    if profile:
        p = pyinstrument.Profiler()
        p.start()

    busy_wait(0.1)
    sleep_start = time.time()
    await asyncio.sleep(when)
    print(f"slept for {time.time() - sleep_start:.3f} seconds")
    busy_wait(0.1)

    print(what)
    if profile:
        p.stop()
        p.print(show_all=True)


loop = asyncio.get_event_loop()

loop.create_task(say("first hello", 2, profile=True))
loop.create_task(say("second hello", 1, profile=True))
loop.create_task(say("third hello", 3, profile=True))

loop.run_forever()
loop.close()

工作原理

Pyinstrument 每 1ms 中断一次程序,并在该点记录整个堆栈。它使用 C 扩展名和 PyEval_SetProfile 来做到这一点,但只每 1 毫秒读取一次读数。你可能觉得报告的样本数量有点少,但别担心,它不会降低准确性。默认间隔 1ms 是记录堆栈帧的下限,但如果在单个函数调用中花费了很长时间,则会在该调用结束时进行记录。如此有效地将这些样本“打包”并在最后记录。

Pyinstrument 是一个统计分析器,并不跟踪,它不会跟踪您的程序进行的每个函数调用。相反,它每 1 毫秒记录一次调用堆栈。与其他分析器相比,统计分析器的开销比跟踪分析器低得多。

比如说,我想弄清楚为什么 Django 中的 Web 请求很慢。如果我使用 cProfile,我可能会得到这个:

151940 function calls (147672 primitive calls) in 1.696 seconds

   Ordered by: cumulative time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    1.696    1.696 profile:0(<code object <module> at 0x1053d6a30, file "./manage.py", line 2>)
        1    0.001    0.001    1.693    1.693 manage.py:2(<module>)
        1    0.000    0.000    1.586    1.586 __init__.py:394(execute_from_command_line)
        1    0.000    0.000    1.586    1.586 __init__.py:350(execute)
        1    0.000    0.000    1.142    1.142 __init__.py:254(fetch_command)
       43    0.013    0.000    1.124    0.026 __init__.py:1(<module>)
      388    0.008    0.000    1.062    0.003 re.py:226(_compile)
      158    0.005    0.000    1.048    0.007 sre_compile.py:496(compile)
        1    0.001    0.001    1.042    1.042 __init__.py:78(get_commands)
      153    0.001    0.000    1.036    0.007 re.py:188(compile)
  106/102    0.001    0.000    1.030    0.010 __init__.py:52(__getattr__)
        1    0.000    0.000    1.029    1.029 __init__.py:31(_setup)
        1    0.000    0.000    1.021    1.021 __init__.py:57(_configure_logging)
        2    0.002    0.001    1.011    0.505 log.py:1(<module>)

看完是不是还是一脸懵逼,通常很难理解您自己的代码如何与这些跟踪相关联。Pyinstrument 记录整个堆栈,因此跟踪昂贵的调用要容易得多。它还默认隐藏库框架,让您专注于影响性能的应用程序/模块:

  _     ._   __/__   _ _  _  _ _/_   Recorded: 14:53:35  Samples:  131
 /_//_/// /_\ / //_// / //_'/ //    Duration: 3.131     CPU time: 0.195
/   _/                    v3.0.0b3

Program: examples/django_example/manage.py runserver --nothreading --noreload

3.131 <module>  manage.py:2
└─ 3.118 execute_from_command_line  django/core/management/__init__.py:378
      [473 frames hidden]  django, socketserver, selectors, wsgi...
         2.836 select  selectors.py:365
         0.126 _get_response  django/core/handlers/base.py:96
         └─ 0.126 hello_world  django_example/views.py:4

最后的话

本文分享了 pyinstrument 的用法,有了这个性能分析神器,以后优化代码可以节省很多时间了,这样的效率神器很值得分享,毕竟人生苦短,能多点时间干点有意思的不香么?如果觉得对你有用,还请关注、点赞、在看支持。

关注我,每天学习一个 Python 小技术。

本文分享自微信公众号 - Python七号(PythonSeven),作者:somenzz

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-09-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • ACL论文 | 深度学习大神新作,神经网络的自然语言翻译应用

    在 8月7日在德国柏林召开的2016 计算语言学(ACL)大会上,学者Thang Luong、Kyunghyun Cho 和 Christopher D. Ma...

    AI科技评论
  • Science子刊:人脑存在加速学习机制,算力赛过最新AI算法

    机器学习和深度学习算法的起源,是连接大脑中神经元的突触强度的学习机制,它越来越多地影响着当代生活的几乎所有方面。

    新智元
  • C/C++代码调试:快速定位内存的申请和释放的位置

    如果大型项目中出现类似于*** glibc detected *** logcacheinit: double free or corruption (fast...

    Dabelv
  • 值得收藏!脑机接口概述专题二 | 从运动脑机接口到情绪脑机接口:运动脑机接口

    闭环控制的理念推动了脑机接口解码器的发展。包括调整解码器的构造和训练方式以及引导感觉运动脑机接口形成新的控制通路(图2)。类似于我们学习新的自然技能,用户可以通...

    脑机接口社区
  • DeepMind 综述深度强化学习:智能体和人类相似度竟然如此高!

    AI科技评论按:近年来,深度强化学习(Deep reinforcement learning)方法在人工智能方面取得了瞩目的成就,从 Atari 游戏、到围棋、...

    AI科技评论
  • 搜代码费时又费力?开源神器 Kooder 帮你快速搞定!

    多数企业出于安全、稳定、隐私等方面的考虑,都会选择在内网搭建代码托管平台。随着企业的发展,项目会越来越多。

    HelloGitHub
  • 快过C语言?!还有这种操作?!

    Python向来都是开发速度最快,运行速度最慢的编程语言,提升速度的办法我之前讲过几种,比如和C语言交互,使用多进程。仅仅靠这两个方法来提高Python性能可是...

    不可言诉的深渊
  • RAdam、LookAhead 双剑合璧,打造最强优化器

    今年 7 月,「深度学习教父」Geoffrey Hinton 和他的团队发表了一篇关于深度神经网络优化器的论文,介绍了一种新的优化器「LookAhead」 (《...

    AI科技评论
  • RAdam、LookAhead 双剑合璧,打造最强优化器

    今年 7 月,「深度学习教父」Geoffrey Hinton 和他的团队发表了一篇关于深度神经网络优化器的论文,介绍了一种新的优化器「LookAhead」 (《...

    小草AI
  • 13行代码实现最快速最高效的积分图像算法。

      研究图像到一定程度的人,应该都对积分图像有所了解,大家在百度或者google中都可以搜索到大量的相关博客,我这里不做多介绍。用积分图也确实能解决很多实际的问...

    用户1138785
  • 石墨烯成为芯片突破的新希望

    镁客网
  • 资源 | 从ReLU到Sinc,26种神经网络激活函数可视化

    机器之心
  • 教程 | 神经网络的奥秘之优化器的妙用

    之前的文章介绍了,我可以只使用 Numpy 来创建神经网络。这项挑战性工作极大地加深了我对神经网络内部运行流程的理解,还使我意识到影响神经网表现的因素有很多。精...

    机器之心
  • 喵咪制造机:生成式对抗网络的花式画喵大法

    2012年,吴恩达和Jeff Dean用Google Brain的1.6万个CPU所打造的大型神经网络,在被1000万YouTube视频中的猫图像训练三天后,自...

    AI科技大本营
  • 从认知学到进化论,详述强化学习两大最新突破

    深层强化学习(deep RL)近年来在人工智能方面取得了令人瞩目的进步,在Atari游戏、围棋及无限制扑克等领域战胜了人类。

    大数据文摘
  • Super SloMo:用神经网络脑补超级慢动作

    内容提要:为了解决视频画面卡顿、不够顺畅等问题,视频插帧大法应运而生。英伟达提出的 Super SloMo 方法在众多方法中一骑绝尘,对于一段普通设备录制的视频...

    HyperAI超神经
  • TensorFlow实现XOR

    tf.train.GradientDescentOptimizer是实现梯度下降算法的优化器。

    Fonxian666
  • Adam作者大革新, 联合Hinton等人推出全新优化方法Lookahead

    最优化方法一直主导着模型的学习过程,没有最优化器模型也就没了灵魂。好的最优化方法一直是 ML 社区在积极探索的,它几乎对任何机器学习任务都会有极大的帮助。

    机器之心
  • Adam作者大革新, 联合Hinton等人推出全新优化方法Lookahead

    快来试试 Lookahead 最优化方法啊,调参少、收敛好、速度还快,大牛用了都说好。

    代码医生工作室

扫码关注云+社区

领取腾讯云代金券