专栏首页未闻Code一日一技:限制你的Python程序所能使用的最大内存

一日一技:限制你的Python程序所能使用的最大内存

如果程序开发不当,可能会出现占用过多内存的情况。特别是在Docker里面,如果Python程序占用太多内存,可能会导致Docker容器死掉。

为了限制Python程序所能使用的最大内存,我们可以使用Python自带的 resource模块。

首先获取系统默认的内存 soft上限和 hard上限:

import resourcesoft, hard = resource.getrlimit(resource.RLIMIT_AS)

其中的 resource.RLIMIT_AS实际上就是数字5,表示内存资源。而 soft限制是一个可以调节的内存使用上限, hard是一个一旦设定就很难动态调整的内存使用量上限。

在我的电脑上运行效果如下图所示:

一开始 softhard的值是一样的。并且它们的单位不是比特。而是比比特还小的单位。我的电脑是8GB内存,而 8*1024^6 正好约等于这里的hard和soft的值。

接下来,设置当前运行的这个Python程序能够使用的最大内存:

resource.setrlimit(resource.RLIMIT_AS, (最大上限, hard))

其中最大上限是一个整数。假设我想限制当前程序最多可以使用500MB的内存,那么这里的最大上限可以设置为:

0.5 * 1024 ^ 6 = 576460752303423488

所以设置为:

resource.setrlimit(resource.RLIMIT_AS, (576460752303423488, hard))

那么当前Python程序使用的内存超过500MB以后,程序就会抛出 MemoryError

最后,这些代码只能在Linux系统上正常工作。Windows和Mac上可能会有问题。

本文分享自微信公众号 - 未闻Code(itskingname)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python函数式编程 入门必备

    python 支持函数式编程,提到数式编程,大家首先想到的是多个函数内嵌。的确是这样。不过,要想入门函数式编程,里面涉及到的闭包,是不得不掌握的,换句话说,如果...

    double
  • 用Python对你的微信好友进行一波骚操作

    临近毕业,慢慢的也感伤起来,回想大学这几年,除了技术的成长,最值得庆幸的就是结交了一帮志同道合的好友。后期自己做了公众号,微信好友的数量也越来越多,身边人所扮演...

    统计学家
  • 无人机图片物体检测baseline

    The object category indicates the type of annotated object, (i.e., ignored regio...

    张俊怡
  • 如何实时可视化渲染你的数据?

    在之前介绍PyQtGraph的文章中,我们都是一次性的获取数据并将其绘制为图形。然而在很多场景中,我们都需要对实时的数据进行图形化展示。

    叫我龙总
  • 人人都应该懂Python的时代,再不学习就晚了

    Python是一门计算机编程语言,类似Java,PHP,C++等编程语言。Python本身面向对象语言,具有丰富和强大的库,轻松地使用C语言、C++、Cytho...

    腾讯NEXT学位
  • 100天搞定机器学习|Day21 Beautiful Soup

    网络爬虫,是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。通俗来说就是模拟用户在浏览器上的操作,从特定网站,自动提取对自己有价值的信息。主要通过查找域...

    统计学家
  • Python在手,天下我有!

    说来也奇怪,N妹周围互联网同事最近纷纷开始学Python,N妹没跟上这波步伐,感觉就要被时代抛弃了?

    腾讯NEXT学位
  • 商汤开源最大目标跟踪库PySOT,代码已正式上线!

    前几天 CVer推送一篇:重磅!商汤开源最大目标跟踪库PySOT:含SiamRPN++和SiamMask等算法,介绍了来自商汤科技的STVIR(SenseTim...

    机器之心
  • TensorFlow从1到2(十五)(完结)在浏览器做机器学习

    TensorFlow一直努力扩展自己的基础平台环境,除了熟悉的Python,当前的TensorFlow还实现了支持Javascript/C++/Java/Go/...

    俺踏月色而来
  • 使用Gensim进行主题建模(二)

    在上一篇文章中,我们将使用Mallet版本的LDA算法对此模型进行改进,然后我们将重点介绍如何在给定任何大型文本语料库的情况下获得最佳主题数。

    银河1号

扫码关注云+社区

领取腾讯云代金券