前言
之所以写这篇文章,源自于我遇到的一个问题:
Python 中我们可以通过 exec 执行一段字符串构成的代码:
- 可以看到 exec 是可以影响当前代码的变量,为了在一个干净环境下执行,我一开始是这样写:
但是,最近我写一个小工具,需要使用 exec 执行一段比较完整的代码,却出了问题,下面用一个简单例子表示:
为什么会报错呢?
问题的原因一点都不简单,涉及的知识点:
- Python 是如何保存运行时的数据(各种变量的赋值与获取)
- 运行帧栈(frame)概念
本文对 frame 不作深入介绍
全局与本地储存区
先看一段非常简单的代码:
- 上图是代码开始执行,但还没有执行第一句的情况
- 从左上方区域可以看到2个变量,locals 和 globals , 左下方看到调用堆栈列表(每一项我称为"frame")
- locals 和 globals 都以字典的形式保存数据,而字典的 key 就是一些变量名字
- 调用堆栈列表中,第一行就是当前执行作用域,
是模块的意思
- 其实 locals 和 globals 字典都来自于 frame
- 在执行模块代码之前,Python 会做一些准备,比如一些内置函数,这些会保存在 frame 中的 builtins 字典中
接下来执行第一句代码后:
- 当我们定义一个变量,那么就会把变量信息设置到当前 frame 的 locals 字典里面
- **而 python 在初始化模块 frame时,会把 locals 与 globals 设置成同一个字典,此时 locals 和 globals 都可以看到 a 变量的信息 **
继续执行:
- 定义函数,本质上就是定义了变量,所以上面的结果在意料之内
接下来,将要调用刚刚定义的函数:
- 此时,Python 要找到名字叫 changeA 的变量,然后调用他。但是,怎么找?
- 规则很简单, 从当前 frame 的 locals 找,如果找不到则从 globals 找,如果找不到,最后到 buildins 找
- 显然,这里从 locals 里面就可以找到
现在代码执行进入到函数里面:
- 从左下方调用堆栈列表可以看到,Python 创建了一个新的 frame
- 既然是新的 frame,locals 字典就是空的,因为还没有创建变量。但是为什么 globals 有东西?
- 这是因为每当从一个 模块 frame 中进入一个新的 非模块 frame ,则会把 模块 frame 的 globals 设置到新的 frame 的 globals
- 所以,函数 frame 的 globals 与 上一层的 frame 的 globals 是同一个字典
现在执行函数的第一句代码:
- 首先要执行
a+10
,a 变量怎么来?还是之前的规则, 先 locals 后 globals 进行查找 ,显然这次从 globals 找到,因此 a 的值是 1
- 于是 x 变量创建完毕,locals 里面保存了 x 相关数据
接下来执行函数中的最后一句代码:
- 显然,
print
无法在 locals 和 globals 中找到,但是在 builtins 中找到,所以仍然调用成功
通过 inspect.currentframe().f_builtins 可以获得内置函数变量字典,这里不展示
最后,函数 changeA
调用完毕:
- frame 列表上最顶层的 frame 将销毁
- 此时代码执行回到一开始的 module 的 frame 里面
当进入一个新的 frame, frame 会记录进入新 frame 前的代码行(实际上是字节码行),所以 python 可以在调用完一个函数后,在上次跳转的地方继续执行代码
总结一下上面的规则:
- 每当进入一个代码块,python 会创建一个 frame,frame 中的 locals、globals、builtins 属性可以查阅变量信息
- 查找一个变量的先后顺序是:locals > globals > builtins
- 如果是一个模块的 frame,其 locals 和 globals 是同一个字典
- 如果是非模块 frame,其 globals 与其上一层 frame 的 globals 是同一个字典,locals 是一个新字典
- 通过函数 globals 和 locals 可以获得的确 frame 的相关字典
举一反三
了解这些简单机制后,我们已经足以解释各种各样关于 python 变量的规则。
覆盖内置函数的本质:
- 行4-6:定义了函数 sum ,名字与内置函数一样了
- 行10:使用的时候真的变成我们自己的函数
- 行19:从 builtins 删除 sum
global 关键字的使用:
- global 关键字可以让我们在函数里面修改全局变量
其实约等价于:
- 行5:直接修改 globals 字典,同时避免在 locals 里面创建了变量
exec 的问题
回到 exec 的问题上,exec 是把参数1的代码作为一个模块 frame 执行:
参数2与参数3可以设置模块 frame 的 globals 与 locals 的字典:
- 默认值是用当前 frame 的 globals 与 locals
- 如果只设置了 globals 而没有设置 locals,则 locals 使用 globals 的字典
现在来看看为什么这段代码报错:
- 由于我们设置了模块 frame 的 globals 与 locals 为2个独立的字典
- 执行里面代码
a=100
,只在 locals 字典里面保存了变量 a - 执行函数里面的代码, 此时函数 globals 就是模块 frame 的 globals,但是上一步没有把 a 存放到这个字典中 。因此,获取变量 a 的时候报错了
那么,怎么使得代码正确执行:
- 很简单,只需要让 exec 按照模块 frame 正确初始化 globals 与 locals 即可( 就是让其是同一个字典 )
到此为止我们了解 exec 甚至是 Python 运行的一些机制,那么这到底能用在哪些应用上?后面我会分享一系列小工具的制作过程,里面就会用到这些属于 python 的"黑魔法"