专栏首页python3Python的内存管理

Python的内存管理

    一直以为用Python、java这样的语言就不在需要关心内存使用的问题,但事情还是发生了。     前一段时间需要写一个应用,需要将用户删除的记录在文件中的偏移记录到另一个文件中,由于需要load的最大的数据文件也就1.2GB左右,而且系统的初始化设置在凌晨1点左右,做了个小测试,在几秒钟的时间可以load完数据并通过二分查找确定边界初始化列表,看了看服务器内存还是很空闲的,就想偷个懒在内存中做二分查找。开始测试的时候找了个较小的数据文件一切都正常,但到了线上环境内存就一路狂升到1.3G左右停下,本以为是python内存泄露,但review了所有的代码也没有找到可疑的地方。将所有不用的变量del掉可是,难道垃圾回收没起作用,通过sys.getrefcount来查看了可疑的变量的引用计数,内存还是没有降下来,看来真是遇到诡异的事件了。     在网上谷歌了一下python内存方面的文章,有篇网文写到,python将不用的内存放到内存池而并不返回给操作系统。在这个绝望的时候也没有别的办法了,只有试试这个方法了,那内存申请的大头开刀吧!将二分查找放磁盘中来做,在将二分查找改为文件二分查找后内存仅仅占14MB左右。至此大功告成! 回头总结下以上遇到的问题,python作为动态语言为了保证效率的确可能将释放的内存放到内存池中以减少内存申请时用户态到内核态切换时锁消耗的时间。在用python处理大对象和内存密集型任务时要格外注意python进程对系统内存的占有率。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python中的变量

      什么是变量?总结不好也记不得它的完整定义,就举个例子来便于自己学习总结吧。假如我们要计算1+2的值,那么首先在内存中要存储两个值,一个是:1,一个是:2。内...

    用户2398817
  • DDR3内存频率标识对应

    用户2398817
  • 老男孩教育每日一题-2017年3月21日

    用户2398817
  • 07:机器翻译

    7:机器翻译 总时间限制: 1000ms 内存限制: 65536kB描述 小晨的电脑上安装了一个机器翻译软件,他经常用这个软件来翻译英语文章。 这个翻译软件...

    attack
  • js中的数据_变量_内存

    * 产生和死亡: 内存条(集成电路板)==>通电==>产生一定容量的存储空间==>存储各种数据==>断电==>内存全部消失

    李才哥
  • js中的数据_变量_内存

    * 产生和死亡: 内存条(集成电路板)==>通电==>产生一定容量的存储空间==>存储各种数据==>断电==>内存全部消失

    李才哥
  • 软件性能测试(连载9)

    Linux内核给每个进程都提供了一个独立的虚拟地址空间,并且这个地址空间是连续的。Linux的空间又分为内核空间和用户空间,在32位中,内核空间占1G,用户空间...

    小老鼠
  • Java架构师中的内存溢出和内存泄露是什么?实际操作案例!

    申请了内存用完了不释放,比如一共有 1024M 的内存,分配了 521M 的内存一直不回收,那么可以用的内存只有 521M 了,仿佛泄露掉了一部分;

    Java架构师进阶技术
  • 开发应该知道的Linux系统分析-内存篇

    用free监控内存free是监控linux内存使用状况最常用的指令,看下面的一个输出

    只喝牛奶的杀手
  • 移动APP测试之android性能测试

      当应用实现了新功能后,准备发布版本前,必须进行性能测试以确定没有性能问题,内存使用情况便是其中必须要测试的性能之一。由于内存组成的复杂性,并没有简单通用的方...

    小老鼠

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动