Python数据分析---性能分析

从上亿条的工业物联网数据中快速检索所需要的数据进行算法分析以及可视化，需要大量的科学运算，为了保证整个过程在用户可以忍受的等待时间内(10s)，需要在代码中找到影响性能瓶颈的代码或函数，然后对其优化。

下面介绍自己日常经常使用的性能分析手段：

一般上我写代码没有使用Pycharm等高级IDE，而是在Python自带的IDE中编写。一边使用其Shell即时的编写和验证结果，一边将Shell中的代码整理成子模块或.py文件。

利用jupyter的%time，%timeit

在自己的项目目录里，cmd命令行打开jupyter

在jupyter中新建一个文件

%load命令加载需要性能测试的模块

%time，%timeit 来查看函数执行的时间

利用%run -p和%run -t来分析性能和执行时间

需要文件本身是从上到下执行的语句，如果是模块，为其编写main函数

首先将需要测试的函数写在main函数中

%run -p查看函数调用情况

%run -t 查看执行时间

使用python -m cProfile youcode.py来对代码进行性能分析,也可以用python -m cProfile youcode.py -o youcode.prof将分析结果保存在文件中

python -m cProfile来对代码进行性能分析