1回答
当我们讨论pytorch中的自微分时，我们通常会根据张量的公式得到张量的图形结构，pytorch将通过使用链规则跟踪图形树来计算梯度。但是，我想知道在叶节点上会发生什么？pytorch是用解析导数硬编码整个基本函数列表，还是使用数值方法计算梯度？一个简单的例子： return x ** 2
x = torch
浏览 19提问于2020-07-22得票数 3
1回答
PyTorch是否支持类似dict的对象，通过这些对象我们可以反向传播梯度，比如PyTorch中的张量？
我的目标是计算一个大型矩阵中的几个元素(1%)的梯度。但是如果我使用PyTorch的标准张量来存储矩阵，我需要将整个矩阵保存在我的GPU中，这会导致由于在训练期间可用的GPU内存有限而造成的</em
浏览 6提问于2022-03-08得票数 2
pytorch中的tf.stop_gradient()等价物是什么(提供了一种在反向传播过程中不计算某些变量的梯度的方法)？
浏览 70提问于2018-07-26得票数 8
1回答
自定义丢失函数的后端实现
、、、、
我有一个有向量输出的神经网络Network。我不使用典型的损失函数，而是实现自己的损失函数，这是类中的一种方法。我关心的主要问题是渐变。由于我采用了自己的自定义损失函数，是否需要对成本函数实现自己的梯度？
一旦我做了数学，我意识到，如果成本是J，那么J的梯度是一个相当简单的函数，就网络的最后一层的梯度而言。where the problem co
浏览 1提问于2021-05-05得票数 1
回答已采纳
我是PyTorch的新手，我很难理解loss是如何知道如何通过loss.backward()计算梯度的？当然，我知道参数需要有requires_grad=True，并且我知道它将x.grad设置为适当的梯度，以便优化器稍后执行梯度更新。当我有两个不同的
浏览 2提问于2019-11-14得票数 3
我目前正在使用PyTorch运行一个深度学习程序，并希望为特定的张量释放图形处理器内存。我想过像del和torch.cuda.empty_cache()这样的方法，但是del似乎不能正常工作(我甚至不确定它是否释放了内存)，torch.cuda.empty_cache()似乎释放了所有未使用的内存，但我只想为一个特定的张量释放内存。PyTorch中是否有提供此功能的功能？
提前谢谢。
浏览 2提问于2019-11-19得票数 2
4回答
似乎有几种方法可以在PyTorch中创建张量的副本，包括根据我在执行b或d时得到的UserWarning，a和d显然更倾向于使用a。为什么它是首选的？表演？我认为它的可读性较低。
使用c的任何理由/反对
浏览 2提问于2019-03-20得票数 142
回答已采纳
1回答
我使用pytorch来评估前馈网络的梯度，但只用于与前两层相关的参数子集。由于反向传播是逐层进行的，我想知道:为什么计算速度快于计算整个网络的梯度？
浏览 5提问于2022-08-23得票数 1
我正在试图计算Pytorch中的矩阵对数，但我需要保留张量，因为我随后应用了梯度，这意味着我不能使用numpy数组。基本上，我试着做与相当的事情，但是用的是火炬张量。谢谢。
浏览 7提问于2022-08-09得票数 2
我想在Tensorflow中使用一个预先训练过的Pytorch模型，并且我需要将tensorflow张量转换为pytorch张量。但是，我不想将Py手电筒张量转换为numpy数组，并将其转换为tensorflow张量，因为我得到的错误是“您必须为占位符张量提供一个值”。当我制作图形时，我需要这个转换，这样tensorflow张量就没有价值了，并且不能转换为numpy！有什么解决办法吗？
浏览 5提问于2021-01-24得票数 2
回答已采纳
1回答
我只是想知道，PyTorch如何跟踪张量上的操作(在.requires_grad被设置为True之后)，以及以后如何自动计算梯度。请帮助我理解autograd背后的想法。谢谢。
浏览 0提问于2018-06-27得票数 5
回答已采纳
我使用的是2017/18年度编写的代码库，我发现了以下代码：audio_norm = torch.autograd.Variable(audio_norm, requires_grad=False)
我知道，Variable中的包装张量以前允许将它们的梯度合并到火炬以前版本的计算图中(现在不再需要)，但我不知道在torch.autograd.Variable(my_t
浏览 7提问于2022-05-04得票数 1
回答已采纳
假设我们只想修改变量值的一部分的梯度，那么在pytorch中是否可以只对一个子张量进行register_hook (作为pytorch变量的张量的子张量)？
浏览 7提问于2019-04-30得票数 0
回答已采纳
1回答
在我发现的一行我看到的这个Variable是什么？当我使用IDE查找定义时，它会说“没有找到变量的定义”，这让我怀疑它是python中的一个标准函数。我显然不能为python搜索“变量”，因为我会得到关于python中变量的无数定义。有人见过这样的台词吗？变量被用作函数
浏览 1提问于2020-08-03得票数 0
回答已采纳
根据docs，如果张量是非标量的(即它的数据有多个元素)，并且需要梯度，则当我们将后向函数调用到张量时，该函数还需要指定梯度。现在，缩放外部梯度：b = torch.tensor([20.,20.]因此，将梯度参数传递给后向似乎是在缩放梯度。
此外，默认情况下，F.backward()是F.backward(gradient=torch.T
浏览 1提问于2021-03-26得票数 2
True)/nz = torch.sum(x*y)print(x.grad) # results in None正如所写的，然而，如果我通过去掉标量乘法(x = torch.ones(n, requires_grad=True))来改变x的定义，那么我确实得到了一个与y等价的非零梯度。我在谷歌上搜索了一群寻找这个问题的人，我认为它反映了一些基本的东西，我不明白火炬中的计算图是
浏览 4提问于2020-10-06得票数 1
2回答
对于丢失的forward，我有一个自定义的PyTorch实现。训练效果很好。我检查了loss.grad_fn，它不是None。我想弄明白两件事：从gt (地面真相输入)到损失(输出)的路径是否需要是可区分的？或者只有来自pred (预测输入)的路径？
浏览 6提问于2022-05-18得票数 0
回答已采纳
我试图创建一个类似张量的类，我希望与PyTorch集成。类必须以自定义格式存储张量值和梯度。我一直在遵守的指示。我特别有一些关于梯度存储和计算的问题：
，我想从一个(浮点)张量初始化我的类，并能够将它转换回来。我知道我可以使用numpy()函数从张量中检索值，但是如果我也想存储梯度数据，如何获得梯度数据呢？直接访问tensor.grad是正确<e
浏览 2提问于2022-06-13得票数 1
我已经初始化了两个张量(矩阵)： sm=Var(torch.randn(20,1),requires_grad=True)freq_m=Var(torch.randn(12,20),requires_grad=True) 我从这两个矩阵中的数据创建了两个列表，并使用spearmanr来获取这两个列表之间的相关值。我如何创建列表并不重要，但目标是调整矩阵内部的值，以便计算出的相关值尽可能接近1。 如果我要手动解决这个问题，我每次都会通过
浏览 20提问于2019-08-24得票数 1
回答已采纳
我在计算损失的时候，有人建议我不要用梯度下降和权重矩阵来更新自己，而是使用pytorch .backward函数。我开始阅读这里的一些文档和帖子，介绍它是如何工作的，似乎它将计算火炬张量在函数调用中包含requires_grad=True的梯度。
因此，除非创建火炬张量，否则我无法使用.backward。
浏览 9提问于2022-07-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
