专栏首页中科院渣渣博肆僧一枚pytorch的显存机制torch.cuda.empty_cache()

pytorch的显存机制torch.cuda.empty_cache()

Pytorch 训练时有时候会因为加载的东西过多而爆显存,有些时候这种情况还可以使用cuda的清理技术进行修整,当然如果模型实在太大,那也没办法。使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下:

try:

output = model(input)

except RuntimeError as exception:

if "out of memory" in str(exception):

print("WARNING: out of memory")

if hasattr(torch.cuda, 'empty_cache'):

torch.cuda.empty_cache()

else:

raise exception

测试的时候爆显存有可能是忘记设置no_grad, 示例代码如下:

with torch.no_grad():

for ii,(inputs,filelist) in tqdm(enumerate(test_loader), desc='predict'):

if opt.use_gpu:

inputs = inputs.cuda()

if len(inputs.shape) < 4:

inputs = inputs.unsqueeze(1)


else:

if len(inputs.shape) < 4:

inputs = torch.transpose(inputs, 1, 2)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python 代码占多行

    概述:在写代码过程中,经常遇到一行代码很长的情况。为了让代码显得整齐干净,就需要把一行代码分成多行来写,Python中有三种小技巧可以实现该功能:

    于小勇
  • torch.save

    torch.save(obj, f, pickle_module=<module 'pickle' from '/opt/conda/lib/python3.6...

    于小勇
  • torch.ones,normal,max

    torch.max()返回两个结果,第一个是最大值,第二个是对应的索引值;第二个参数 0 代表按列取最大值并返回对应的行索引值,1 代表按行取最大值并返回对应的...

    于小勇
  • 无文件挖矿应急响应处置报告

    由于运维过程中可能存在违规操作、过失操作或者防护能力不足导致被恶意操作使得主机遭受挖矿程序的侵害,该挖矿程序会下载恶意程序至WMI中,实现无文件挖矿和内网渗透,...

    FB客服
  • 高并发基石|深入理解IO复用技术之epoll

    又到周六了,不过这周有点忙新文章还没有写,为了不跳票,就想着把早期还不错的文章,重新排版修改发一下,因为当时读者很少,现在而言完全可以当作一篇新文章(有种狡辩的...

    轩辕之风
  • 印度初创企业HealthifyMe获1200万美元B轮融资以开发其人工智能营养师功能

    【数据猿导读】 HealthifyMe在印度国内发展势头良好,Vashisht想把这一应用推广到其他发展中国家。它已经获得了1200万美元的B轮融资来实现这一规...

    数据猿
  • 函数式编程杂谈

    比起命令式编程,函数式编程更加强调程序执行的结果而非执行的过程,倡导利用若干简单的执行单元让计算结果不断演进,逐层推导出复杂的运算。本文通过函数式编程的一些趣味...

    2020labs小助手
  • 20岁中芯国际2020首份财报:国产芯片的艰难之旅

    2019年对于半导体行业来说并不是个“幸运年”,不过,四季度相较来说是整个年度中表现较好的一个时期。

    刘旷
  • 适合初学者入门的5种编程语言

    如果你想学习编程,虽然选择第一门编程语言与你想用它来做什么最终达到什么目的有很大的关系。但是事实上某些编程语言的确比其他语言要好学。选择一门合适的编程语言作为入...

    程序员互动联盟
  • “全千兆”服务送到家,中国移动为1000多万苏州人奉献全新数字生活

    说起苏州,很多人第一反应就是"姑苏城外寒山寺,夜半钟声到客船"千年古城,或者是"君到姑苏见,人家尽枕河"的江南水乡。但事实上,今天的苏州凭借近4万亿的工业产值,...

    悲了伤的白犀牛

扫码关注云+社区

领取腾讯云代金券