文章/答案/技术大牛

发布

社区首页 >问答首页 >如何训练具有大数据量和有限内存的模型？

问如何训练具有大数据量和有限内存的模型？
EN

Stack Overflow用户

提问于 2021-07-27 01:25:41

回答 1查看 67关注 0票数 0

这个问题很简单，但不知道如何在实践中实现它。我想用数据集训练一个tensorflow LSTM模型，它非常大(5000万条记录)。我可以将数据文件加载到本地机器，但由于内存有限，机器在预处理阶段崩溃。我尝试删除未使用的文件和垃圾回收来释放内存，但没有帮助。

有没有办法，我可以单独训练一个tensorflow模型例如，该模型将被训练5次，每次只使用1000万条记录，然后在训练后删除1000万条记录，以释放内存内存。相同的过程将重复5次，以训练tensorflow模型。

谢谢

发布于 2021-08-03 23:48:57

有一些方法可以避免这些问题：

1-您可以在运行时使用google colab和high-RAM，或在云中租用VM。

2-处理过多数据的三种基本软件技术:压缩、分块和索引。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/68534132

复制

相似问题

问如何训练具有大数据量和有限内存的模型？EN