1回答
在PyTorch中，有两种计算第二梯度的方法。第一种方法是使用torch.autograd.grad函数，第二种方法是使用backward函数。我用下面的例子来说明它：x=torch.tensor([3.0], requires_grad=True)grad_1 = torch.autograd.gradprint(grad_1[0].item())print(grad_2)
结果对
浏览 68提问于2021-05-18得票数 1
1回答
我不能求以下函数的二阶导数。当我想要对u_s的二阶导数时，它可以工作，但是对于x_s，它不能工作。 有人知道我做错了什么吗？
浏览 66提问于2019-05-31得票数 3
1回答
我目前正在学习PyTorch，以便利用它的开源自动评分功能，作为我自己的练习，我想实现一个简单的优化算法，我已经在MATLAB中实现了这个算法。具体地说，我想做一个相同的优化循环，用Torch的自动梯度功能替换我自己的梯度计算。换句话说，我想在PyTorch中执行与上面完全相同的算法，只是简单地使用PyTorch的自动梯度功能来计算梯度，而不是自己计算梯度。这样，我不想调用任何给定
浏览 7提问于2020-12-01得票数 0
1回答
当我们讨论pytorch中的自微分时，我们通常会根据张量的公式得到张量的图形结构，pytorch将通过使用链规则跟踪图形树来计算梯度。但是，我想知道在叶节点上会发生什么？pytorch是用解析导数硬编码整个基本函数列表，还是使用数值方法计算梯度？x ** 2y = f(x)print(x.grad) # 2.0
在这个例子中，p
浏览 19提问于2020-07-22得票数 3
1回答
我查看了一些关于StackOverflow的其他文章，这些文章使用Pytorch应用l1正则化来确定应该如何做(参考文献：、)。
浏览 0提问于2018-04-27得票数 6
回答已采纳
2回答
为了正则化的目的，我希望通过奇异值分解来反向传播梯度。PyTorch目前不支持通过奇异值分解进行反向传播。我知道我可以编写自己的自定义函数来操作变量；获取它的.data张量，对其应用torch.svd，将变量包装在它的奇异值周围，并在向前传递中返回它，然后在向后传递中将适当的雅可比矩阵应用于传入的梯度。
浏览 5提问于2017-06-29得票数 10
1回答
对于上下文，我的数据是这样的，基于当前点的数据的曲率计算对我的目的来说是没有用的。G(:,j) = 0.5*(A(:,j+1) - A(:,j-1));下标j在2和N1之间变化，N=大小(A，2).
即使如此，我仍然想知道如何做一个“左”计算。
浏览 2提问于2017-12-08得票数 0
回答已采纳
1回答
自定义丢失函数的后端实现
、、、、
由于我采用了自己的自定义损失函数，是否需要对成本函数实现自己的梯度？ loss.backward()据我所知，loss.backward()取损失函数相对于参数的梯度但我仍然可以在使用自己的损失函数时调用它(程序可能不知道梯度方程是什么)。我是否也必须实现另一个方法/子例程来查找渐变？这
浏览 1提问于2021-05-05得票数 1
回答已采纳
2回答
= model.neg_log_likelihood(sentences, tags, length)optimizer.step()
我想知道，这种累积是否会导致梯度爆炸
浏览 0提问于2019-03-27得票数 5
pytorch和numpy之间的最大区别是什么，特别是autograd.numpy包？(因为它们都可以自动为您计算梯度。)我知道pytorch可以将张量移动到GPU，但这是选择pytorch而不是numpy的唯一原因吗？虽然pytorch以深度学习而闻名，但显然它可以用于几乎任何机器学习算法，它的nn.Module结构非常灵活，我们不必局限于神经网络。(虽然我从来没有见过用numpy编写的神经网络模型)，所以我想知道pytorch和numpy之间最大的
浏览 1提问于2020-06-16得票数 2
1回答
参与者和评论家算法通过方程更新权重：θ=θ+α*δ*Grad(log(PI(a_s，θ))和所以我的问题是，当使用神经网络实现这一点时，
如何计算梯度，是如何正确地通过TensorFlow或PyTorch?
浏览 2提问于2020-01-27得票数 0
回答已采纳
1回答
我学习了如何在一般情况下使用利布普金进行贝叶斯推理和学习，但我不明白是否可以使用它来学习隐藏变量。更确切地说，我试图从本文中实现社交网络分析的方法：在线社交网络中的关系强度建模。他们建议使用以下架构这里z(ij)是一个隐变量-关系强度(由W-权值和相似向量调整的正态分布)-隐式。at(ij)是辅助变量，它表示某些交互作用发生的频率。
论文中描述的训练方法是相当困难的，涉及到提升优化的编码。我想知道是
浏览 0提问于2018-11-10得票数 1
我正在试图计算Pytorch中的矩阵对数，但我需要保留张量，因为我随后应用了梯度，这意味着我不能使用numpy数组。基本上，我试着做与相当的事情，但是用的是火炬张量。谢谢。
浏览 7提问于2022-08-09得票数 2
我目前正在用Py火炬构建一个需要多个自定义层的模型。我只定义了前向方法，因此不定义向后方法。模型似乎运行良好，并且优化器能够使用来自层的渐变来更新。然而，我看到许多人定义了向后的方法，我想知道我是不是遗漏了什么。
浏览 2提问于2020-12-23得票数 2
回答已采纳
2回答
考虑使用PyTorch实现线性回归的下列代码：
X是输入，Y是训练集的输出，w是需要优化的参数。
浏览 27提问于2022-06-05得票数 4
我目前正在使用PyTorch运行一个深度学习程序，并希望为特定的张量释放图形处理器内存。PyTorch中是否有提供此功能的功能？
提前谢谢。
浏览 2提问于2019-11-19得票数 2
1回答
首先，我必须从图像的两个方向计算梯度。g(x，y) = -2*f(x，y) + f(x+1，y) + f(x，y+1)。之后，我对梯度做了一些计算，并对它做了一些修改。当我不得不从修正的梯度计算Laplacian (二阶导数)时，问题就出现了。
我知道Laplacian滤波器有一个矩阵: 0, 1，0: 1，-4,1；0,1,0。但问题是，如果单元格已经被修改，如何从梯度计算拉普拉斯呢？梯度的计算：
浏览 5提问于2020-05-13得票数 0
回答已采纳
1回答
我使用pytorch来评估前馈网络的梯度，但只用于与前两层相关的参数子集。由于反向传播是逐层进行的，我想知道:为什么计算速度快于计算整个网络的梯度？
浏览 5提问于2022-08-23得票数 1
计算图是使用操作符重载和工厂函数生成的，例如sum()，exp()等。我已经使用反向累加实现了梯度的自动微分。然而，我发现实现二阶导数(黑森导数)的自动微分要困难得多。我知道如何进行单独的第二部分梯度计算，但我想不出一种智能的方法来遍历图形并进行累加。有没有人知道好的文章，给出了二阶导数的自动微分算法，或者开源库实现了相同的算法，我可以试着学习一下？
浏览 2提问于2010-07-04得票数 9
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
