Python 探针实现原理

本文将简单讲述一下 Python 探针的实现原理。 同时为了验证这个原理,我们也会一起来实现一个简单的统计指定函数执行时间的探针程序。

探针的实现主要涉及以下几个知识点:

sys.meta_path

sitecustomize.py

sys.meta_path

sys.meta_path 这个简单的来说就是可以实现 import hook 的功能,

当执行 import 相关的操作时,会触发 sys.meta_path 列表中定义的对象。

关于 sys.meta_path 更详细的资料请查阅 python 文档中 sys.meta_path 相关内容以及

PEP 0302 。

sys.meta_path 中的对象需要实现一个 find_module 方法,

这个 find_module 方法返回 None 或一个实现了 load_module 方法的对象

(代码可以从 github 上下载 part1) :

load_module 方法返回一个 module 对象,这个对象就是 import 的 module 对象了。

比如我上面那样就把 http 替换为 sys 这个 module 了。

通过 sys.meta_path 我们就可以实现 import hook 的功能:

当 import 预定的 module 时,对这个 module 里的对象来个狸猫换太子,

从而实现获取函数或方法的执行时间等探测信息。

上面说到了狸猫换太子,那么怎么对一个对象进行狸猫换太子的操作呢?

对于函数对象,我们可以使用装饰器的方式来替换函数对象(代码可以从 github 上下载 part2) :

执行结果:

下面我们来实现一个计算指定模块的指定函数的执行时间的功能(代码可以从 github 上下载 part3) 。

假设我们的模块文件是 hello.py:

我们的 import hook 是 hook.py:

测试代码:

其实上面的代码已经实现了探针的基本功能。不过有一个问题就是上面的代码需要显示的

执行 import hook 操作才会注册上我们定义的 hook。

那么有没有办法在启动 python 解释器的时候自动执行 import hook 的操作呢?

答案就是可以通过定义 sitecustomize.py 的方式来实现这个功能。

sitecustomize.py

简单的说就是,python 解释器初始化的时候会自动 import PYTHONPATH 下存在的 sitecustomize 和 usercustomize 模块:

实验项目的目录结构如下(代码可以从 github 上下载 part4)

sitecustomize.py:

sercustomize.py:

把当前目录加到 PYTHONPATH 中,然后看看效果:

可以看到确实自动导入了。所以我们可以把之前的探测程序改为支持自动执行 import hook (代码可以从 github 上下载part5) 。

目录结构:

sitecustomize.py:

结果:

不过上面的探测程序其实还有一个问题,那就是需要手动修改 PYTHONPATH 。 用过探针程序的朋友应该会记得, 使用 newrelic 之类的探针只需要执行一条命令就 可以了: newrelic-admin run-program python hello.py 实际上修改PYTHONPATH 的操作是在 newrelic-admin 这个程序里完成的。

下面我们也要来实现一个类似的命令行程序,就叫 agent.py 吧。

agent

还是在上一个程序的基础上修改。先调整一个目录结构,把 hook 操作放到一个单独的目录下, 方便设置 PYTHONPATH后不会有其他的干扰(代码可以从 github 上下载 part6 )。

bootstrap/sitecustomize.py 的内容修改为:

agent.py 的内容如下:

test.py 的内容为:

使用方法:

至此,我们就实现了一个简单的 python 探针程序。当然,跟实际使用的探针程序相比肯定是有 很大的差距的,这篇文章主要是讲解一下探针背后的实现原理。

如果大家对商用探针程序的具体实现感兴趣的话,可以看一下国外的 New Relic 或国内的 OneAPM, TingYun 等这些 APM 厂商的商用 python 探针的源代码,相信你会发现一些很有趣的事情。

原文:https://mozillazg.com/2016/04/apm-python-agent-principle.html

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2016-04-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏非著名程序员

10款你可能不知道的Android开发辅助工具

1、XAppDbg XAppDbg是一个可以在运行中改变代码中参数的一个应用开发工具。这个工具可以为你省下大量的时间,因为你不用为应用的每次小改变而重新编译运...

2136
来自专栏数据之美

Eclipse 下找不到或无法加载主类的解决办法

有时候 Eclipse 会发神经,好端端的 project 就这么编译不了了,连 Hello World 都会报“找不到或无法加载主类(Exception in...

4115
来自专栏性能与架构

Redis 实现接口访问频率限制

为什么限制访问频率 做服务接口时通常需要用到请求频率限制 Rate limiting,例如限制一个用户1分钟内最多可以范围100次 主要用来保证服务性能和保护数...

5958
来自专栏信安之路

PHP代码审计

代码审计顾名思义就是检查源代码中的缺点和错误信息,分析并找到这些问题引发的安全漏洞,并提供代码修订措施和建议。

4150
来自专栏向治洪

apktool动态破解apk

那么今天我们就用另外一种方式来破解apk:动态方式,关于动态方式其实很广义的,因为动态方式相对于静态方式来说,难度大一点,但是他比静态方式高效点,能够针对更过...

4876
来自专栏LanceToBigData

linux(二)之linux常用命令一

linux的命令非常之多,命令多就算了关键每个命令还有很多的参数。不过其实并不要去害怕它。 你只要常去用,并且的话,大部分你只要记住命令,参数不记得我们可以去查...

2408
来自专栏FreeBuf

Go代码审计:Gitea远程命令执行漏洞链

这是一个非常漂亮的漏洞链,很久没见过了。我用docker来复现并学习这个漏洞,官方提供了docker镜像,vulhub也会上线这个环境。

1853
来自专栏老安的博客

vmware api开发之克隆虚拟机

1842
来自专栏张首富-小白的成长历程

saltstack的key认证过程

将192.168.56.11作为master,将192.168.56.12作为minion

1615
来自专栏FreeBuf

Wolf CMS 新旧两个版本中的文件上传漏洞分析

一、Wolfcms简介 Wolf CMS是一款内容管理系统(CMS),是在GNUGeneral Public License v3下发布的免费软件。Wolf C...

3755

扫码关注云+社区

领取腾讯云代金券