在单个gpu上，TensorFlow能否训练出一个大于GPU内存的模型？
在单个gpu上，TensorFlow能否训练出一个大于GPU内存的模型？
提问于 2020-12-09 18:38:18
如果我有一个具有8GBRAM的GPU，并且我有一个TensorFlow模型(不包括培训/验证数据)，即10 8GB，那么TensorFlow可以训练这个模型吗？
如果是，TensorFlow是如何做到这一点的？
备注：
- 我不是在寻找分布式GPU培训。我想知道单个GPU的情况。
- 我不关心培训/验证数据的大小。
回答 1
Stack Overflow用户
发布于 2022-03-21 22:35:41
不，你不能训练一个比你的GPU记忆更大的模型。(可能有一些我不知道的辍学方式，但总的来说是不建议的)。此外，您将需要更多的内存，甚至比您保留的所有参数，因为您的GPU需要保留参数和衍生工具的每一步做回来。
更不用说这需要更小的批处理大小了，因为数据集所剩的空间较少。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/65222907
复制相关文章
相似问题
腾讯云开发者
