专栏首页AI研习社一次 PyTorch 的踩坑经历,以及如何避免梯度成为NaN

一次 PyTorch 的踩坑经历,以及如何避免梯度成为NaN

本文首发于知乎答主小磊在「PyTorch有哪些坑/bug?」下的回答,AI 研习社获原作者授权转载。

分享一下我最近的踩坑经历吧。

这几天在实现一个语义分割的 loss(链接:http://ieeexplore.ieee.org/document/7801846/)

该loss考虑了边缘,结果一致性等因素,如图

loss最复杂的部分

由于公式较为复杂, 决定用风格和numpy相似的pytorch来实现。

再由于torch是动态图,而且 Python的for循环很慢, 所以打算全用Tensor操作。

想着应该和numpy差不多,难度中等,加上熟悉API的时间 一天足够了。

开工前,准备了一组(image, ground truth, 及假装是分割网络结果的概率矩阵prob) 作为测试用例, 然后,正式开工!

image, ground truth 及假装是分割网络结果的prob

写着写着,发现处理后的图片根本不对,可视化一下,发现 ground truth转化成`FloatTensor`后 就成了这个鬼样子:

查明原因是: 对`torch.FloatTensor`传一个bool的numpy array , 即`torch.FloatTensor(Bool_Ndarray)` 就会成为上面这样的乱码。

得先转化为float32 即 `torch.FloatTensor(np.float32(labels))`。

继续写,咦 torch不支持[::-1]和flip?那自己写一个flip。

又继续写,全Tensor操作,遇到复杂公式, 就意味着超多维度的select, index, 纬度变换,纬度匹配,若出了bug 分析起来特别麻烦

比如:

otherSideEdgeLossMap = -th.log(((probnb*gtind).sum(-3)*gtdf).sum(-3)/gtdf.sum(-3))

这么黑灯瞎火地写下去,调试又复杂又慢。

工欲善其事, 必先利其器

于是,我便先去改之前只支持numpy可视化的工具代码 yllab (链接:https://github.com/DIYer22/yllab),增加其对torch的支持。

配合`Ipython@Spyder` 调试效率提高不少,比`print xx.shape,xx.mean()` 不知高到哪里去了。

最后, loss总算写出来了, 而且可视化出来的 loss map 符合预想效果,还很好看!

左图:crossEntropyMap 右图: edgeLossMap

最后一到工序,将概率矩阵prob变成Variable 测试一下反向传播,我天真得以为工作马上就要被完成了。改成Variable(prob)后, loss.backward()一下。啥?Error?Variable 竟然不能和 Tensor 运算 ! 不用记录grad的Variable和Tensor有啥区别?无语, 那全改为Variable吧。

Tensor和Variable部分api竟然不一样!比如(`.type`)。

行, 为了兼容性 函数都加上判断是否为Variable, 并转化为Variable.data。

继续吐槽一下torch的类型系统 `Tensor/Variable * 8个数据类型` * `cuda/cpu` 共 `2*8*2=32` 类啊!而且8个数据类型不支持类型自动转换,所以 这32个类型的数据都是两两互斥。

不同类型间的操作前都得转化, 可怕的是转换操作还有许多像上文提到的那种坑!

改好代码, 反向传播通了 赶忙可视化一下 prob.grad。

毛线!全是白的 分析一下grad中99.97%的是nan, 人家loss都好人一个 你梯度怎么就成了nan! 数学上不成立啊!

可视化分析 loga(grad)的结果

遂开始了漫长的DEBUG之路。终于,再不断地拆开loss。

分别Backpropagation后,将凶手精准定位了导致nan的loss。

进一步分析,果然是pyTroch的BUG。整理好BUG后,

就提交到了pytorch 的 GitHub上了。

x.grad should be 0 but get NaN after x/0 · Issue #4132 · pytorch/pytorch

(链接:https://github.com/pytorch/pytorch/issues/4132)

BUG如下:

Reproduction BUG code

x = Variable(torch.FloatTensor([1.,1]), requires_grad=True)
div = Variable(torch.FloatTensor([0.,1]))
y = x/div # => y is [inf, 1]
mask = (div!=0) # => mask is [0, 1]
loss = y[mask]
loss.backward()
print(x.grad) # grad is [nan, 1], but expected [0, 1]

由于被`mask`阻挡,`x[0]`根本就没在计算图中,所以`x[0]`梯度应该为0,却返回了`nan`

我还给出了BUG的解决方案:

Your code should't generat any inf in forward, which often produce by torch.log(0) and x/[0, ] That means 0 should be filtered before do torch.log(x) and x/div

为避免这个BUG,代码变得更复杂了。

variables

└─ /: 4
├── gtind: torch.Size([1, 2, 300, 400]) torch.cuda.FloatTensor
├── edge: torch.Size([1, 300, 400]) torch.cuda.ByteTensor
├── probnb: torch.Size([1, 8, 2, 300, 400]) torch.cuda.FloatTensor
└── gtdf: torch.Size([1, 8, 300, 400]) torch.cuda.FloatTensor
th = torch
tots = lambda x:x.data

code(before)

otherSideEdgeLossMap = -th.log(((probnb*gtind).sum(-3)*gtdf).sum(-3)/gtdf.sum(-3))
otherSideEdgeLossMap[~tots(edge)] = 0

code(after)

numerator = ((probnb*gtind).sum(-3)*gtdf).sum(-3)
numerator[tots(edge)] /= gtdf.sum(-3)[tots(edge)]
numerator[tots(edge)] = -th.log(numerator[tots(edge)])
otherSideEdgeLossMap = (numerator)
otherSideEdgeLossMap[~tots(edge)] = 0

最后,把代码适配成多batch版本加上分割网络后,顺利跑通了 。 回想着一路下来,还好用的是动态图的pyTorch, 调试灵活,可视化方便,若是静态图,恐怕会调试得吐血,曾经就为了提取一个mxnet的featrue 麻烦得要死。

不过,换成静态图的话 可能就不会顾着效率,用那么多矩阵操作了,直接for循环定义网络结构,更简单直接 。

所有loss 反向传播后,prob 的 grad

写于 2017.12 torch version : 0.3

本文分享自微信公众号 - AI研习社(okweiwu),作者:小磊

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-12-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 你睡着了吗?不如起来给你的睡眠分个类吧!

    最近的五个月,我花了一些时间来磨练自己的机器学习的技巧,完成的项目来自于一个以提高每个人夜间睡眠质量的法国公司,他们的提出来的一个全新的挑战。我们对睡眠不够重视...

    AI研习社
  • 谷歌开源JPEG编码器Guetzli,压缩35%也能生成高质量图片

    谷歌按:“我们通过线上社区的形式,创造了各种新的工具和工业标准。它们所衍生出的服务和产品,旨在为开发者提供更好的线上体验。” 谷歌近日开源了用于数字图像和网络图...

    AI研习社
  • 一文全览深度学习在计算机视觉领域的应用

    本文首发于知乎,作者为奇点汽车美研中心总裁兼自动驾驶首席科学家黄浴,AI 开发者经授权转载。

    AI研习社
  • 动手学深度学习(四) 过拟合欠拟合及其解决方案

    在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集...

    致Great
  • 【哈工大团队】动态ReLU:自适应参数化ReLU及Keras代码(调参记录13)

    从以往的调参结果来看,过拟合是最主要的问题。本文在调参记录12的基础上,将层数减少,减到9个残差模块,再试一次。

    用户7368967
  • 数据处理:离散型变量编码及效果分析

    首先我要介绍这个关于离散型编码的Python库,里面封装了十几种(包括文中的所有方法)对于离散型特征的编码方法,接口接近于Sklearn通用接口,非常实用。下面...

    Datawhale
  • 什么是物联网?物联网遭受到网络攻击怎么解决?

    今天墨者安全在和友友们讨论的时候,被问到一个问题,什么是物联网?物联网遭受到网络攻击怎么解决?墨者安全先解释下什么是物联网吧。

    墨者安全筱娜
  • 聊聊machinery的TaskProcessor

    machinery的TaskProcessor接口定义了Process、CustomQueue、PreConsumeHandler方法。Worker实现了Tas...

    codecraft
  • python 写文件刷新缓存

    带来的问题是,进程如果是被杀死的时候,最后一条结果总是缺损的,因为缓存的部分还未写入文件。

    kirin
  • 微软首位华人“全球技术院士”黄学东:10个神经网络造就工程奇迹

    【新智元导读】微软语音识别技术24年老将黄学东近日被评为“微软全球技术院士”,成功摘下这一微软技术的“桂冠”。 黄学东于1993年加入微软。1995年,黄学东最...

    新智元

扫码关注云+社区

领取腾讯云代金券