pytorch的显存机制torch.cuda.empty_cache()
pytorch的显存机制torch.cuda.empty_cache()
狼啸风云
修改于 2022-09-03 19:10:33
修改于 2022-09-03 19:10:33
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下：
try:
output = model(input)
except RuntimeError as exception:
if "out of memory" in str(exception):
print("WARNING: out of memory")
if hasattr(torch.cuda, 'empty_cache'):
torch.cuda.empty_cache()
else:
raise exception测试的时候爆显存有可能是忘记设置no_grad, 示例代码如下：
with torch.no_grad():
for ii,(inputs,filelist) in tqdm(enumerate(test_loader), desc='predict'):
if opt.use_gpu:
inputs = inputs.cuda()
if len(inputs.shape) < 4:
inputs = inputs.unsqueeze(1)
else:
if len(inputs.shape) < 4:
inputs = torch.transpose(inputs, 1, 2)本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2020-01-17 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读