(本文章适用于 pytorch0.4.0 版本, 既然 Variable 和 Tensor merge 到一块了, 那就叫 Tensor吧)
在编写 pytorch 代码的时候, 如果模型很复杂, 代码写的很随意...在 pytorch 中, 有两种情况不能使用 inplace operation:
对于 requires_grad=True 的 叶子张量(leaf tensor) 不能使用 inplace operation...对于在 求梯度阶段需要用到的张量 不能使用 inplace operation
下面将通过代码来说明以上两种情况:
第一种情况: requires_grad=True 的 leaf tensor
import...:
在计算 f 的时候, d 是等于某个值的, f 对于 w2 的导数是和这时候的 d 值相关的
但是计算完 f 之后, d 的值变了, 这就会导致 f.backward() 对于 w2 的导数计算出错误...requires_grad = True
d = torch.matmul(x, w1)
d_ = d.data
f = torch.matmul(d, w2)
d_[:] = 1
f.backward()
# 这段代码没有报错
云服务器
ICP备案
云直播
对象存储
腾讯会议
