pytorch: 常见bug与debug
本博文用来记录自己的 pytorch 踩坑过程，虽然 pytorch 命令式编程，声称容易 debug，可是 代码给出的错误提示可是令人相当头疼，所以在本文中记录一下在编写 pytorch 代码过程中碰到的 坑，和如何 填坑。
TypeError: ××× received an invalid combination of arguments如果检查过了数据类型的正确性之后（float32, int） 。下一步要关心的就是op操作的两个Variable/Tensor是不是在同一个 设备上 ，如果一个在cpu上，一个在gpu上就有可能会报错- 注意
op的参数要求，有些是 要求Tensor有些 是要求Variable，有些是 都可以。 - 当需要 求梯度时，一个 op 的两个输入都必须是要 Variable：
# 这段代码，如果 requires_grad=False, a 是 Tensor，则是没错的
# 但是 requires_grad=True, a 是 Tensor，则会报错
# 这时的报错信息是
# save_for_backward can only save input or output tensors, but argument 0 doesn't satisfy this condition
# requires_grad=True, a是 Variable， 则不会报错
import torch
from torch.autograd import Variable
v1 = Variable(torch.FloatTensor([1., 2., 3.]), requires_grad=True)
a = Variable(torch.FloatTensor([1., 0., 0.]).type(new_type=torch.ByteTensor))
res = torch.masked_select(v1, a)
res = 3 * res
res.backward(torch.FloatTensor([1.]))
print(v1.grad)- 卷积层 -> 全连接层，中间一定要 view 一下，否则会shape不匹配
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
腾讯云开发者
