首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

python垃圾回收机制原理

#python垃圾回收机制详解 一、概述:   python的GC模块主要运用了“引用计数(reference counting)”来跟踪和回收垃圾。在引用计数的基础上,还可以通过标记清除(mark and sweep)解决容器(这里的容器值指的不是docker,而是数组,字典,元组这样的对象)对象可能产生的循环引用的问题。通过“分代回收(generation collection)”以空间换取时间来进一步提高垃圾回收的效率。 二、垃圾回收三种机制   1、引用计数   在Python中,大多数对象的生命周期都是通过对象的引用计数来管理的, 广义上讲,它也是一种垃圾回收机制,而且是一种最直观最简单的垃圾回收机制。   原理:当一个对象被创建引用或者被复制的时候,对象的引用计数会加一,当一个对象的引用被销毁时,对象的引用计数会减一,当对象的引用计数减为0的时候,就意味着对象已经没有被任何人使用了,可以将其所占用的内存释放了。   虽然引用计数必须在每次分配和释放内存的时候加入管理引用计数的这个动作,然而与其他主流垃圾收集机制相比, 最大的一个优点是实时性, 及任何内存,一旦没有指向他的引用,就会立即被回收,其他的垃圾回收机制必须在某种特殊条件下(内存分配失败)才能进行无效内存的回收。   执行效率问题: 引用计数机制带来的维护引用计数带来的额外操作与python运行中所运行的内存分配和释放,引用赋值的次数是成正比的。相比其他机制,比如“标记-清除”,“停止-复制”,是一个弱点,因为这些技术所带来的操作基本上只是与待回收的数量有关。 引用计数还存在的一个致命的弱点是循环引用,这使得垃圾回收机制从来没有将引用计数包含在内。这就需要我们用新的方法了, 即标记清除。 2、标记清除 标记清除主要是用来解决循环引用产生的问题的,循环引用只会在容器对象中才会产生,比如数组、字典、元组等,首先是为了追踪对象,需要每个容器对象维护两个额外的指针,用来将容器对象组成一个链表,指针分别指向前后两个容器对象,这样就可以将对象的循环引用环摘除,就可以得出两个对象的有效计数。 问题说明:   循环引用可以使得一组对象的引用计数不是0, 然而这些对象实际上并没有被外部对象所引用,这就意味着不会再有人使用这组对象, 应该回收这组对象所占用的内存空间,然而由于相互引用的存在,每一个对象的引用计数不为0,因为这些对象所占用的内存永远不会被释放。比如下面的代码:

03

合理选择数据结构

写程序很重要的一点是选择合理的数据结构,不合适的数据结构在如今高性能计算机盛行的情况下,小数据量体现不出什么来,但是在超大数据的时候, 你所面临的困境将会无穷的放大。 在python里主要的数据结构,也就是内置数据结构,包括了列表,元组,字典以及集合。这四种数据结构分别具有不同的特性,影响着python的方方面面。 列表和元组类似于C的数组,但是不同的是,列表是动态的数组,具有着增删改查的操作,元组是静态的数组,本身是不可变的(除非里面包含了可变的容器类) 。那python为啥还要实现元组呢?按照python之禅所述,Special cases aren't special enough to break the rules...There should be one-- and preferably only one --obvious way to do it. 这是因为元组可以缓存于python的运行环境,在每次使用元组时我们都无需去访问内核分配内存,元组和列表代表着两种不同的方式,元组是一个不会改变事物的多种属性,而 列表是保存多个相对独立的对象的集合。 列表的搜索,如果在已知次序的情况下,使用二分法效率会变得很好,但是如前言所述,在相对独立的对象的数据集合中,有序是比较少见的情况,这意味着对列表的搜索 在python内部结构就只能是遍历。python的内建排序不是如《python源码剖析》所述是快速排序,而是Tim排序,这个排序是google发明的,可以在最好的情况下实现O(n)的复杂度排序 ,在最坏的情况下也有O(log(n))。对于数据的搜索, def b_search(i, haystack): imin, imax = 0, len(haystack) while True: if imin > imax: return -1 mid = (imin + imax) // 2 if haystack[mid] > i: imax = mid elif haystack[mid] < i: imin = mid + 1 else: return mid python的二分搜索实现很简单,因为你不需要再考虑内存溢出以及安全性,这些python已经帮你做好了。还有和二分搜索相似的,就是二叉搜索树。至于如果你不想自己实现 你可以选择bisect模块帮你解决这个问题。 元组因为其的不可改变性,对于列表为了其可变性牺牲的额外的内存以及使用它们进行的额外的计算,元组就内存消耗和速度就快的多了。并且小元组在申请了内存后也就是 不会返还给系统,还留待未来使用,在接下来需要新元组时就不需要向系统申请内存了。 下面看看字典和集合,字典在很多语言内都有实现,也就是映射,属于key-value的一种,在python里集合也是类似字典的结构,只不过没有了value,只有key了。 字典和集合的查询无需遍历,只需要计算散列函数就可获得其值,但这也意味着这两种数据结构会占用更大的内存,而且O(1)的复杂度也取决于散列函数的计算复杂度。 字典插入时,会计算键的散列值,理想的散列函数对应的键应该是就是整数,不会出现任何形式的冲突。计算出散列值后,很重要的一点要计算掩码,来得知value应该存放的 位置。对于冲突的处理,python使用的是开放定址法,会在一个数组里不断‘嗅探’,获得空的内存空间。当然,在字典的内存不够用时,自然会申请空间,这意味着我们需要重新散列值和 掩码。 所以,每种数据结构都有其不同的特性,所以这也意味着选择一个良好的数据数据会使得你的代码效率快上不少。

02
领券