专栏首页恩蓝脚本Keras 快速解决OOM超内存的问题

Keras 快速解决OOM超内存的问题

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • linux系列之常用运维命令整理笔录(小结)

    本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成...

    砸漏
  • ThinkPHP5&5.1实现验证码的生成、使用及点击刷新功能示例

    本文实例讲述了ThinkPHP5&5.1实现验证码的生成、使用及点击刷新功能。分享给大家供大家参考,具体如下:

    砸漏
  • python MultipartEncoder传输zip文件实例

    需求:对方提供处理文件的接口,本地将待处理文件压缩后,通过http post multipart方式上传,等待处理完成后从相应连接下载结果

    砸漏
  • 小米和西工大联手,三篇论文被Interspeech接收

    用户1737318
  • JSON Web加密中的高危漏洞

    JSON Web加密容易受到经典的Invalid Curve攻击,这篇文章可以帮助您了解这会对您产生什么影响以及您应该如何应对。

    安恒网络空间安全讲武堂
  • Linux 内核 VS 内存碎片 (下)

    从 Linux 内核 VS 内存碎片 (上) 我们可以看到根据迁移类型进行分组只是延缓了内存碎片,而并不是从根本解决,所以随着时间的推移,当内存碎片过多,无法满...

    PingCAP
  • 聊聊 Linux 的内存统计

    本文主要分析 Linux 系统内存统计的一些指标以及进程角度内存使用监控的一些方法。

    程序员小强
  • 腾讯云 GPU 云服务器今日全量上线!

    5 月 27日,腾讯云GPU云服务器正式全量上线!本次全量上线,针对腾讯云所有开发者全量放开。

    腾讯云计算产品团队
  • MEF正在批准LSO Sonata API,以支持SDN业务

    用于标准化生命周期服务编排的LSO Sonata API是本周MEF年会的热门话题之一。 LSO Sonata API使用程序化的API到API接口,允许服务提...

    SDNLAB
  • 在tensorflow以及keras安装目录查询操作(windows下)

    即可查询cpu版本tensorflow目录位置,需要注意的是此处path两侧均为双下划线。

    砸漏

扫码关注云+社区

领取腾讯云代金券