Python 探针实现原理

本文将简单讲述一下 Python 探针的实现原理。 同时为了验证这个原理，我们也会一起来实现一个简单的统计指定函数执行时间的探针程序。

探针的实现主要涉及以下几个知识点：

sys.meta_path

sitecustomize.py

sys.meta_path

sys.meta_path 这个简单的来说就是可以实现 import hook 的功能，

当执行 import 相关的操作时，会触发 sys.meta_path 列表中定义的对象。

关于 sys.meta_path 更详细的资料请查阅 python 文档中 sys.meta_path 相关内容以及

PEP 0302 。

sys.meta_path 中的对象需要实现一个 find_module 方法，

这个 find_module 方法返回 None 或一个实现了 load_module 方法的对象

(代码可以从 github 上下载 part1) ：

load_module 方法返回一个 module 对象，这个对象就是 import 的 module 对象了。

比如我上面那样就把 http 替换为 sys 这个 module 了。

通过 sys.meta_path 我们就可以实现 import hook 的功能：

当 import 预定的 module 时，对这个 module 里的对象来个狸猫换太子，

从而实现获取函数或方法的执行时间等探测信息。

上面说到了狸猫换太子，那么怎么对一个对象进行狸猫换太子的操作呢？

对于函数对象，我们可以使用装饰器的方式来替换函数对象(代码可以从 github 上下载 part2) ：

执行结果：

下面我们来实现一个计算指定模块的指定函数的执行时间的功能(代码可以从 github 上下载 part3) 。

假设我们的模块文件是 hello.py：

我们的 import hook 是 hook.py：

测试代码：

其实上面的代码已经实现了探针的基本功能。不过有一个问题就是上面的代码需要显示的

执行 import hook 操作才会注册上我们定义的 hook。

那么有没有办法在启动 python 解释器的时候自动执行 import hook 的操作呢？

答案就是可以通过定义 sitecustomize.py 的方式来实现这个功能。

sitecustomize.py

简单的说就是，python 解释器初始化的时候会自动 import PYTHONPATH 下存在的 sitecustomize 和 usercustomize 模块：

实验项目的目录结构如下(代码可以从 github 上下载 part4)

sitecustomize.py：

sercustomize.py：

把当前目录加到 PYTHONPATH 中，然后看看效果：

可以看到确实自动导入了。所以我们可以把之前的探测程序改为支持自动执行 import hook (代码可以从 github 上下载part5) 。

目录结构：

sitecustomize.py：

结果：

不过上面的探测程序其实还有一个问题，那就是需要手动修改 PYTHONPATH 。 用过探针程序的朋友应该会记得， 使用 newrelic 之类的探针只需要执行一条命令就 可以了： newrelic-admin run-program python hello.py 实际上修改PYTHONPATH 的操作是在 newrelic-admin 这个程序里完成的。

下面我们也要来实现一个类似的命令行程序，就叫 agent.py 吧。

agent

还是在上一个程序的基础上修改。先调整一个目录结构，把 hook 操作放到一个单独的目录下， 方便设置 PYTHONPATH后不会有其他的干扰（代码可以从 github 上下载 part6 ）。

bootstrap/sitecustomize.py 的内容修改为：

agent.py 的内容如下：

test.py 的内容为：

使用方法：

至此，我们就实现了一个简单的 python 探针程序。当然，跟实际使用的探针程序相比肯定是有 很大的差距的，这篇文章主要是讲解一下探针背后的实现原理。

如果大家对商用探针程序的具体实现感兴趣的话，可以看一下国外的 New Relic 或国内的 OneAPM， TingYun 等这些 APM 厂商的商用 python 探针的源代码，相信你会发现一些很有趣的事情。

原文：https://mozillazg.com/2016/04/apm-python-agent-principle.html