首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >内存使用量接近Google Colab的限制

内存使用量接近Google Colab的限制
EN

Stack Overflow用户
提问于 2019-02-26 12:27:36
回答 4查看 7.4K关注 0票数 2

我正在使用Google Colab来训练我的模型。训练结束后,我想要更改模型,但我不能,因为没有足够的RAM用于它。我尝试将旧模型重新分配给None,但是内存使用量并没有减少。

我不想结束会话并从头开始。有没有办法释放google colab中使用的RAM?

EN

回答 4

Stack Overflow用户

发布于 2020-04-03 16:10:31

要解决将RAM增加到25 to的问题,您可以运行以下代码,并等待笔记本弹出RAM增加选项。现在,您将RAM增加到了25 go。

代码语言:javascript
运行
复制
d =[]
while(1):
  d.append('1')
票数 1
EN

Stack Overflow用户

发布于 2021-01-03 20:05:23

Colab现在不提供此功能来增加RAM。

您可以选择的解决方法是在使用所有变量时立即删除这些变量。其次,尝试使用pickle或joblib库转储中间变量结果。因此,如果RAM崩溃,那么您就不必从头开始。

示例:

代码语言:javascript
运行
复制
from sklearn.externals import joblib
from google.colab import files

#you can save variable into file on colab files

joblib.dump(var,  'var.pkl')   
 
#this will download file to your local downloads

files.download('var.pkl')       

#reload your saved data.

var = joblib.load('var.pkl')    
票数 1
EN

Stack Overflow用户

发布于 2021-02-02 23:55:50

我遇到了这个问题。我正在循环我正在构建的不同模型,它帮助我在每次运行后从内存中清除会话,根据this的其他Stackoverflow贡献:

代码语言:javascript
运行
复制
from tensorflow.keras import backend as K
K.clear_session()

对于其他一些用户,这也有帮助:

代码语言:javascript
运行
复制
tf.reset_default_graph()

也有可能在您没有注意到的情况下,您的RAM耗尽了,因为您正在从pandas数据帧加载数据。在这种情况下,this也可能对您有所帮助,在我的例子中,在每个循环下添加以下代码行可以更准确地清除内存:

代码语言:javascript
运行
复制
import gc
import pandas as pd

del(df)
gc.collect()
df=pd.DataFrame()
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/54878446

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档