在上一篇文章【python进阶】Garbage collection垃圾回收1,我们讲述了Garbage collection(GC垃圾回收),画说Ruby与Python垃圾回收,Python中的循环数据结构以及引⽤计数以及Python中的GC阈值,这一节我们将继续介绍GC模块的一些应用和注意事项,下面开始今天的讲解~~
Python中的垃圾回收是以引⽤计数为主,分代收集为辅。
In [1]: import sys
In [2]: a = "hello world"
In [3]: sys.getrefcount(a)
Out[3]: 2
可以查看a对象的引⽤计数,但是⽐正常计数⼤1,因为调⽤函数的时候传⼊ a,这会让a的引⽤计数+1
引⽤计数的缺陷是循环引⽤的问题
import sys
a = "hello world"
sys.getrefcount(a)
import gc
class ClassA():
def __init__(self):
print('object born,id:%s'%str(hex(id(self))))
def f2():
while True:
c1 = ClassA()
c2 = ClassA()
c1.t = c2
c2.t = c1
del c1
del c2
#把python的gc关闭
gc.disable()
f2()
执⾏f2(),进程占⽤的内存会不断增⼤。
import gc
class ClassA():
def __init__(self):
print('object born,id:%s'%str(hex(id(self))))
#def __del__(self):
# print('object del,id:%s'%str(hex(id(self))))
def f3():
print("-----0------")
#print(gc.collect())
c1 = ClassA()
c2 = ClassA()
c1.t = c2
c2.t = c1
print("-----1------")
del c1
del c2
print("-----2------")
print(gc.garbage)
print("-----3------")
print(gc.collect())#显式执⾏垃圾回收
print("-----4------")
print(gc.garbage)
print("-----5------")
if __name__ == '__main__':
gc.set_debug(gc.DEBUG_LEAK)#设置gc模块的日志
f3()
python3结果如下:
-----0------
object born,id:0x7fcd059190f0
object born,id:0x7fcd05919240
-----1------
-----2------
[]
-----3------
gc: collectable <ClassA 0x7fcd059190f0>
gc: collectable <ClassA 0x7fcd05919240>
gc: collectable <dict 0x7fcd05989d48>
gc: collectable <dict 0x7fcd058f24c8>
4
-----4------
[<__main__.ClassA object at 0x7fcd059190f0>, <__main__.ClassA object at 0x7fcd05919240>, {'t': <__main__.ClassA object at 0x7fcd05919240>}, {'t': <__main__.ClassA object at 0x7fcd059190f0>}]
-----5------
gc: collectable <module 0x7fcd059715e8>
gc: collectable <dict 0x7fcd0597af08>
gc: collectable <builtin_function_or_method 0x7fcd0596fdc8>
...
说明:
有三种情况会触发垃圾回收:
gc模块提供⼀个接⼝给开发者设置垃圾回收的选项 。上⾯说到,采⽤引⽤计数的⽅法管理内存的⼀个缺陷是循环引⽤,⽽gc模块的⼀个主要功能就是解决循环引⽤的问题。
常⽤函数:
1、gc.set_debug(flags) 设置gc的debug⽇志,⼀般设置为gc.DEBUG_LEAK 2、gc.collect([generation]) 显式进⾏垃圾回收,可以输⼊参数,0代表只检查第⼀代的对象,1代表检查⼀,⼆代的对象,2代表检查⼀,⼆,三代的对象,如果不传参数,执⾏⼀个full collection,也就是等于传2。 返回不可达(unreachable objects)对象的数⽬ 3、gc.get_threshold() 获取的gc模块中⾃动执⾏垃圾回收的频率。 4、gc.set_threshold(threshold0[, threshold1[, threshold2]) 设置⾃动执⾏垃圾回收的频率。 5、gc.get_count() 获取当前⾃动执⾏垃圾回收的计数器,返回⼀个⻓度为3的列表。
必须要import gc模块,并且 is_enable()=True 才会启动⾃动垃圾回收。 这个机制的主要作⽤就是发现并处理不可达的垃圾对象 。 垃圾回收=垃圾检查+垃圾回收 在Python中,采⽤分代收集的⽅法。把对象分为三代,⼀开始,对象在创建的时候,放在⼀代中,如果在⼀次⼀代的垃圾检查中,改对象存活下来,就会被放到⼆代中,同理在⼀次⼆代的垃圾检查中,该对象存活下来,就会被放到三代中。 gc模块⾥⾯会有⼀个⻓度为3的列表的计数器,可以通过gc.get_count()获取。 例如(488,3,0),其中488是指距离上⼀次⼀代垃圾检查,Python分配内存的 数⽬减去释放内存的数⽬,注意是内存分配,⽽不是引⽤计数的增加。例如:
print(gc.get_count())#(590,8,0)
a = ClassA()
print(gc.get_count())#(590,8,0)
del a
print(gc.get_count())#(590,8,0)
3是指距离上⼀次⼆代垃圾检查,⼀代垃圾检查的次数,同理,0是指距离上 ⼀次三代垃圾检查,⼆代垃圾检查的次数。 gc模快有⼀个⾃动垃圾回收的阀值 ,即通过gc.get_threshold函数获取到的 ⻓度为3的元组,例如(700,10,10) 每⼀次计数器的增加,gc模块就会检查增加后的计数是否达到阀值的数⽬,如果是,就会执⾏对应的代数的垃圾检查,然后重置计数器. 例如,假设阀值是(700,10,10):
当计数器从(699,3,0)增加到(700,3,0),gc模块就会执⾏gc.collect(0),即检查⼀代对象的垃圾,并重置计数器
当计数器从(699,9,0)增加到(700,9,0),gc模块就会执⾏gc.collect(1),即检查⼀、⼆代对象的垃圾,并重置计数器
当计数器从(699,9,9)增加到(700,9,9),gc模块就会执⾏gc.collect(2),即检查⼀、⼆、三对象的垃圾,并重置计数器
gc模块唯⼀处理不了的是循环引⽤的类都有__del__⽅法,所以项⽬中要避免 定义__del__⽅法
import gc
class ClassA():
pass
#def __del__(self):
# print('object born,id:%s'%str(hex(id(self))))
gc.set_debug(gc.DEBUG_LEAK)
a = ClassA()
b = ClassA()
a.next = b
b.prev = a
print("--1--")
print(gc.collect())
print("--2--")
del a
print("--3--")
del b
print("--3-1--")
print(gc.collect())
print("--4--")
运行结果如下:
--1--
0
--2--
--3--
--3-1--
gc: collectable <ClassA 0x7f599dc690f0>
gc: collectable <ClassA 0x7f599dc69160>
gc: collectable <dict 0x7f599dcdcd48>
gc: collectable <dict 0x7f599dcdcdc8>
4
--4--
gc: collectable <module 0x7f599dcc45e8>
gc: collectable <dict 0x7f599dccdf08>
gc: collectable <builtin_function_or_method 0x7f599dcc2dc8>
...
如果把del打开,运⾏结果为:
--1--
0
--2--
--3--
--3-1--
gc: collectable <ClassA 0x7fb236853128>
gc: collectable <ClassA 0x7fb236853160>
gc: collectable <dict 0x7fb2368c5d48>
gc: collectable <dict 0x7fb2368c5ec8>
object born,id:0x7fb236853128
object born,id:0x7fb236853160
4
--4--
gc: collectable <module 0x7fb2368ad5e8>
gc: collectable <dict 0x7fb2368b6f08>
gc: collectable <builtin_function_or_method 0x7fb2368abdc8>
...