问仅tf就能训练出超过2000万行数据集吗？
EN

Stack Overflow用户

提问于 2019-10-07 03:26:11

回答 1查看 201关注 0票数 0

我想用超过2000万行的数据集来训练tf模型。在执行此操作时是否存在任何限制/错误？有什么方法/技术可以使我有效地做到这一点吗？问题是简单的分类问题，但我从来没有训练过这么大的数据集。任何建议都会有帮助。谢谢

回答已采纳

发布于 2019-10-07 03:39:46

TensorFlow可以处理跨越数万个GPU的千兆字节信息-问题是，您的代码是否正确地管理资源，以及您的硬件是否能够处理它？这叫做分布式训练。主题非常广泛，但是您可以开始使用设置GPU --包括安装CUDA和cuDNN。您还可以参考输入数据管道优化。

我建议您通过Anaconda 3处理所有安装，因为它处理包兼容性-这里有一个指南或二开始。

最后，您的主要硬件约束是RAM和GPU内存；前者是模型可以处理的最大数组大小(例如8GB)，后者是GPU能够适应的最大模型大小。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/58263159

复制

相似问题

问仅tf就能训练出超过2000万行数据集吗？EN