PyTorch“由就地操作修改”错误
PyTorch是一个开源的机器学习框架，它提供了丰富的工具和库，用于构建和训练深度学习模型。在PyTorch中，存在一个常见的错误，即"由就地操作修改"错误。
"由就地操作修改"错误是指在PyTorch中，当尝试对张量进行原地操作（in-place operation）时，可能会导致意外的结果或错误。原地操作是指在不创建新的张量的情况下，直接修改原始张量的值。
这种错误的原因是PyTorch的自动求导机制。PyTorch使用动态图来跟踪计算图，并自动计算梯度。在进行原地操作时，PyTorch无法正确地跟踪计算图的依赖关系，从而导致梯度计算出现问题。
为了避免"由就地操作修改"错误，可以采取以下几种方法：
- 使用新的张量进行操作：避免直接在原始张量上进行操作，而是创建一个新的张量来存储结果。这样可以确保计算图的正确性，并避免梯度计算错误。
- 使用in-place操作的替代方法：如果确实需要原地操作，可以使用PyTorch提供的替代方法，例如
torch.add_()代替torch.add()。这些替代方法会在原地操作的同时正确地跟踪计算图。 - 使用
torch.no_grad()上下文管理器：如果在推理阶段或不需要梯度的情况下进行操作，可以使用torch.no_grad()上下文管理器来禁用梯度计算。这样可以避免梯度计算错误，并提高性能。
总结起来，"由就地操作修改"错误是PyTorch中常见的错误之一，可能导致意外的结果或错误的梯度计算。为了避免这种错误，可以使用新的张量进行操作，使用替代方法进行原地操作，或者使用torch.no_grad()上下文管理器禁用梯度计算。
相关·内容
3回答
PyTorch函数中的下划线后缀意味着什么？
python、pytorch
在PyTorch中，张量的许多方法有两个版本--一个带有下划线后缀，另一个没有。如果我试一试，它们似乎也会做同样的事情：
In [1]: import torch
In [2]: a = torch.tensor([2, 4, 6])
In [3]: a.add(10)
Out[3]: tensor([12, 14, 16])
In [4]: a.add_(10)
Out[4]: tensor([12, 14, 16])
两者有什么区别？
torch.add和torch.add_
torch.sub和torch.sub_
...and，等等？
浏览 0提问于2018-10-21得票数 15
回答已采纳
1回答
Pytorch Autograd backwards()就地内存错误
machine-learning、pytorch、autograd
以下代码每晚在pytorch (1.5.0.dev20200206)上运行都没有错误，但是一旦我安装了稳定的1.5build，下面定义的RNN转发方法就开始抛出一个错误：
def forward(self, sequence):
print('Sequence shape:', sequence.shape)
sequence = sequence.clone().view(len(sequence), 1, -1)
print("flattened shape: ", sequence.shape)
浏览 2提问于2020-05-10得票数 0
1回答
以下Pytorch结果背后的解释
python、pytorch、gradient-descent、autograd
我正试图更深入地了解Pytorch的autograd是如何工作的。我无法解释以下结果： import torch
def fn(a):
b = torch.tensor(5,dtype=torch.float32,requires_grad=True)
return a*b
a = torch.tensor(10,dtype=torch.float32,requires_grad=True)
output = fn(a)
output.backward()
print(a.grad) 输出是张量(5.)。但我的问题是，变量b是在函数中创建的，所以应该在函数返回a*b后从内存中删除，
浏览 22提问于2020-06-21得票数 1
回答已采纳
1回答
为什么PyTorch以不同的方式处理类似的权重更新分配？
python、pytorch
下面的代码确实可以使用以下方法更新权重：
w -= lr * w.grad
但是当更新权重时，使用
w = w - lr * w.grad
它扔给我：
张量的元素0不需要梯度，也没有grad_fn。
为什么这两个任务不应该是平等的呢？
import torch
X = torch.tensor([1, 2, 3, 4], dtype=torch.float32)
y = torch.tensor([2, 4, 6, 8], dtype=torch.float32)
w = torch.tensor(0.0, dtype=torch.float32, requires_grad=True)
浏览 2提问于2020-07-29得票数 0
回答已采纳
1回答
Pytorch no_grad对于a=a和-= b类型的操作是如何起作用的？
python、pytorch、autograd
import torch
def model(x, W, b):
return x@W + b
def mse(t1, t2):
diff = t1 - t2
return torch.sum(diff * diff) / diff.numel()
inputs = torch.rand(2, 3, requires_grad=True)
targets = torch.rand( 2,2, requires_grad=True)
W = torch.rand(3, 2, requires_grad=True)
b = torch.rand(2, requir
浏览 6提问于2022-03-10得票数 3
1回答
PyTorch:为什么运行output =model(映像)需要这么多GPU内存？
python、machine-learning、pytorch、gpu
在试图理解为什么我的PyTorch模型的最大批处理大小是有限的时，我注意到使用最多内存的不是模型本身，也不是将张量加载到GPU中。当第一次生成预测时，大部分内存都会耗尽，例如训练循环中的以下一行：
output = model(images)
其中图像是一些输入张量，模型是我的PyTorch模型。在运行该行之前，我有大约9GB的GPU内存可用，然后我降低到2.5GB (在运行loss = criterion(outputs, labels)之后，它进一步下降到1GB可用)。
两个问题：
这是正常的吗？
为什么会这样？那些记忆是用来做什么的？据我所知，模型已经加载，在进行调用之前，实际的
浏览 3提问于2022-05-27得票数 4
回答已采纳
1回答
当网络中的某些层被冻结时，反向传播是如何工作的？
python-3.x、pytorch、gradient-descent
假设有两个模型需要使用:X和Y。数据是通过X和Y顺序传递的。只有模型Y的参数需要对Y模型输出的损失进行优化。下面是这个需求的正确实现。我需要回答的几个具体问题：
with torch.no_grad()到底做了什么？作为Y模型的参数只向优化器注册，我们还需要冻结X模型才能正确还是只需要减少计算量？更一般地想要解释计算图和反向传播在with torch.no_grad()存在的情况下，或者当某些层被冻结时，通过将对应的requires_grad参数设置为False。<code>H 29</code><code>H 110</code>还评论我们是
浏览 3提问于2021-12-06得票数 1
回答已采纳
1回答
手动线性回归中第一个时期后的梯度消失
pytorch
我是Pytorch的新手，我一直在学习教程和玩弄玩具示例。我只想做一个超级简单的模型，以便更好地处理autograd，但我遇到了问题。 我正在尝试训练一个线性回归模型，但我总是遇到以下错误， ----------------------------------------------------------------------
RuntimeError Traceback (most recent call last)
<ipython-input-80-ba5ca34a3a54> in <module>
浏览 15提问于2019-01-07得票数 1
回答已采纳
1回答
我们能一次将代码中所有定义的张量的.requires_grad重置为零吗？
python、pytorch、autograd
我正在使用PyTorch 1.6.0来学习自动梯度的张量(例如x)。在学习x之后，我如何重新设置每个张量的.requires_grad，它是一个自格法的节点。从图到零？我了解torch.detach()和手动将.requires_grad设置为False。我在找一次指令。
Ps:我想这样做，因为我仍然想在我的代码中学习x的部分执行之后使用这些张量。另外，也有一些会被转换成“矮胖”。
浏览 1提问于2020-11-19得票数 1
回答已采纳
2回答
在训练和测试时间pytorch上以不同方式管理内存
python、deep-learning、conv-neural-network、pytorch
目前，我正在用pytorch编写一个基于U-net的分割模型，我想使用类似于mobilenet v2上引入的倒置残差来提高模型在cpu上的速度。
然后我意识到模型在训练阶段和测试阶段使用了更多的内存。虽然模型应该在训练阶段使用更多的内存，因为所有的中间步骤张量(特征图)都被保存了，并且使用可分离的卷积，为每个“卷积”操作创建了更多的张量。但在运行时，实际上只有几个最后一步张量必须保存以用于跳过连接，一旦创建了下一步，所有其他张量都可以删除。在测试阶段，具有正常卷积的u-net和具有可分离卷积的u-net的存储效率应该相同。
我是pytorch的newbee，所以我不知道如何编写代码来防止测试时
浏览 1提问于2019-04-13得票数 0
1回答
PyTorch张量中的就地算术运算与普通算术运算
python、machine-learning、pytorch
我正在尝试使用Pytorch框架构建线性回归，在实现梯度下降时，根据我在Python代码中使用算术运算的方式，我观察到了两种不同的输出。代码如下： #X and Y are input and target labels respectively
X = torch.randn(100,1)*10
Y = X + 3*torch.randn(100,1) +2
plt.scatter(X.numpy(),Y.numpy())
#Initialiation of weight and bias
w = torch.tensor(1.0,requires_grad=True)
浏览 7提问于2019-05-07得票数 2
1回答
如何将TensorFlow张量转换为PyTorch张量而不转换成Numpy数组？
python、numpy、tensorflow、pytorch
我想在Tensorflow中使用一个预先训练过的Pytorch模型，并且我需要将tensorflow张量转换为pytorch张量。但是，我不想将Py手电筒张量转换为numpy数组，并将其转换为tensorflow张量，因为我得到的错误是“您必须为占位符张量提供一个值”。当我制作图形时，我需要这个转换，这样tensorflow张量就没有价值了，并且不能转换为numpy！有什么解决办法吗？
浏览 5提问于2021-01-24得票数 2
回答已采纳
1回答
Pytorch:当就地操作遵循某些函数时，梯度计算会失败。
python、deep-learning、pytorch
请考虑以下代码：
import torch
from torch import nn
a = torch.tensor([1.], requires_grad=True)
b = nn.Tanh()(a)
# b = nn.Linear(1,1)(a)
b *= 1
# b = b * 1
b.sum().backward()
在RuntimeError中运行代码将得到以下结果：
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation
浏览 4提问于2021-07-05得票数 0
1回答
修改一个割炬张量，然后得到梯度，使梯度不起作用。
python、pytorch、gradient
我是一个生手，我面临以下问题：
当我得到下面张量的梯度时(注意，我以某种方式使用了一些变量x，如下所示)，我得到了梯度：
import torch
myTensor = torch.randn(2, 2,requires_grad=True)
with torch.enable_grad():
x=myTensor.sum() *10
x.backward()
print(myTensor.grad)
现在，如果我试图修改myTensor的一个元素，就会得到leaf variable has been moved into the graph interior的错误。请参阅以下代码：
浏览 0提问于2018-10-29得票数 9
回答已采纳
在pytorch中，如果x是张量，x.detach().requires_grad_(True)和x.cpu()之间有什么区别？
他们是同一个行动吗？
浏览 5提问于2022-10-28得票数 0
1回答
仅计算火炬前端网络的梯度
pytorch
我有一个很简单的问题。
假设我有两个网络需要训练(即net1，net2)。训练时，net1的输出输入到net2中。在我的例子中，我只想更新net1：
optimizer=Optimizer(net1.parameters(), **kwargs)
loss=net2(net1(x))
loss.backward()
optimizer.step()
虽然这将实现我的目标，但它占用了太多的冗余内存，因为这将计算net2的梯度(导致OOM错误)。因此，我尝试了几次来解决这个问题：
torch.no_grad：
z=net1(x)
with torch.no_grad():
lo
浏览 0提问于2021-04-12得票数 2
回答已采纳
3回答
使用PyTorch的就地操作
python、neural-network、deep-learning、pytorch、autograd
我想知道如何处理PyTorch中的就地操作。正如我所记得的，在autograd中使用就地操作总是有问题的。
实际上，我很惊讶下面的代码能够工作，即使我还没有对它进行测试，我相信这段代码会在0.3.1版本中引发一个错误。
基本上，我想要做的是把张量向量的某个位置设为一个类似的值：
my_tensor[i] = 42
工作示例代码：
# test parameter a
a = torch.rand((2), requires_grad=True)
print('a ', a)
b = torch.rand(2)
# calculation
c = a + b
# perfor
浏览 0提问于2018-08-13得票数 18
2回答
利用自动微分库计算任意张量的偏导数
python、numpy、pytorch、pde、autograd
(注:这不是一个反向传播问题。)我试图用PyTorch张量来代替Numpy数组来解决GPU上的非线性PDE问题。我要计算任意张量的偏导数，类似于中心有限差分函数的作用。我还有其他解决这个问题的方法，但是由于我已经在使用PyTorch，我想知道是否可以使用autograd模块(或者，一般情况下，任何其他的自动分化模块)来执行这个操作。
我已经创建了一个与张量兼容的numpy.gradient函数版本，运行速度要快得多。但也许有一种更优雅的方式来做到这一点。我找不到解决这个问题的任何其他来源，也无法证明这是可能的或不可能的；也许这反映了我对自微分算法的无知。
浏览 1提问于2019-07-29得票数 5
回答已采纳
2回答
试图在非持久性磁带上调用tape.gradient时，它仍然处于活动状态。
tensorflow
为什么TensorFlow给我运行时错误(在标题中)？
我使用WinPython3.5.4.2并安装了TensorFlow 1.8.0。我一直在关注的教程，直到题为“训练循环”的部分。
---------------------------------------------------------------------------
RuntimeError Traceback (most recent call last)
<ipython-input-9-e08164fd8374> in <module>(
浏览 0提问于2018-05-09得票数 4
回答已采纳
1回答
这些代码中有一些是改编自“用Pytorch进行深度学习”一书。
脚本:线性回归(尝试预测给定t_c的t_u)
t_c = torch.tensor([0.5, 14.0, 15.0, 28.0, 11.0, 8.0,
3.0, -4.0, 6.0, 13.0, 21.0])
t_u = torch.tensor([35.7, 55.9, 58.2, 81.9, 56.3, 48.9,
33.9, 21.8, 48.4, 60.4, 68.4])
def model(t_u, w, b):
return w
浏览 7提问于2021-07-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
