我试着计算的梯度 out = x.sign()*torch.pow(x.abs(), alpha) 关于阿尔法。torch.tensor(alpha))
return x.sign()*torch.abs(x)**self.alpha 但是这个课程一直在训练我的网络我希望看到像grad=out*torch.log(x)这样的东西，但却无法实现。
浏览 17提问于2019-06-22得票数 0
1回答
我目前正在学习PyTorch，以便利用它的开源自动评分功能，作为我自己的练习，我想实现一个简单的优化算法，我已经在MATLAB中实现了这个算法。PyTorch中实现这种优化算法？换句话说，我想在PyTorch中执行与上面完全相同的算法，只是简单地使用PyTorch的自动梯度功能来计算梯度，而不是自己计算
浏览 7提问于2020-12-01得票数 0
2回答
我在pytorch中实现了下面的Jacobian函数。除非我弄错了，否则它会计算任何张量的Jacobian。(deriv, wrt)op = torch.ger(s, s)不幸的是，这成功地让我得到了没有更高阶导数的我知道许多高阶导数应该是0，但我更希望pytorch能解析地计算出来。一个修复方法是将梯度
浏览 2提问于2018-05-14得票数 12
1回答
我有一个很简单的问题。optimizer=Optimizer(net1.parameters(), **kwargs)loss.backward()optimizer.step()
虽然这将实现我的目标，但它占用了太多的冗余内存，因为这将计算net2的梯度</e
浏览 0提问于2021-04-12得票数 2
回答已采纳
1回答
我正在尝试实现一个简单的MDN，它预测目标变量而不是点值上的分布参数，然后将概率分配给点值的离散库。为了缩小问题的范围，“无”的来源代码是：tte_bins = np.linspace( stop=399,结果矩阵(如alpha/beta/loss)具有正确的形状和正确的值--根本没有梯度
编辑:添加了loss.backward()
浏览 8提问于2018-08-29得票数 0
回答已采纳
2回答
对于丢失的forward，我有一个自定义的PyTorch实现。训练效果很好。我检查了loss.grad_fn，它不是None。我想弄明白两件事：从gt (地面真相输入)到损失(输出)的路径是否需要是可区分的？或者只有来自pred (预测输入)的路径？
浏览 6提问于2022-05-18得票数 0
回答已采纳
我是PyTorch的新手，我很难理解loss是如何知道如何通过loss.backward()计算梯度的？当然，我知道参数需要有requires_grad=True，并且我知道它将x.grad设置为适当的梯度，以便优化器稍后执行梯度更新。当我有两个不同的
浏览 2提问于2019-11-14得票数 3
torch计算图由grad_fn组成。对于终止节点，grad_fn对象有一个名为next_functions的属性，它是一个元组。我知道，使用元组的第一个元素(第0指数)，我可以重建梯度的计算图。但是我想知道元组的第二个元素(第一个指数)是什么意思？在的PyTorch论坛中，据说：
这个数字是下一个向后函数的输入号，所以只有当一个函数有多个可微输出时才能是非零(
浏览 4提问于2020-09-11得票数 4
1回答
我一直在研究RL理论和实践，我发现很难理解的一个特别部分是实际的loss函数与目标的理论目标/梯度之间的关系。我们是如何从另一个得到的？也许举个例子比较容易：理论批判目标梯度我遇到的实际损失(伪码)：这是从哪里来的，，，，是的梯度的负逆。如果是的话，谁能给我看看是怎么做到
浏览 4提问于2022-07-21得票数 0
1回答
差分隐私显着降低了模型性能
、、、、
背景信息
我训练了一个分类器来预测三个标签:基于胸部X线图像的COVID/肺炎/健康。它是PyTorch实现的。因此，我选择样本不足(减少其他课程(正常和肺炎)的培训实例数量，以获得平等的群体)。这是很好的工作，但我的样本集已经减少到1500个样本(低！)结果比COVID差一些，我对人口不足的类(COVID)获得了80%的精度和较低的敏感性。我认为它们报告了更好的性能，因为它们不
浏览 0提问于2020-06-07得票数 2
1回答
在中，提出了“每一个参数附加的梯度在±5√v之内，其中v是(非剪切的)梯度的第二矩的运行估计”。这是我想在我的项目中实现的东西，但我不知道如何在理论上和实践中更好地实现它。在中，我发现“第二中心时刻是方差，方差的正平方根是标准差.”。我对“运行估计”的最佳猜测是，它是指数移动平均。网络的<em
浏览 2提问于2020-12-10得票数 2
回答已采纳
在我的论文中，我一直在寻找一个用Vyper智能合约计算exp(x)的方程。我之所以选择Vyper，是因为它具有处理定点数字的能力。然而，我找不到一个有效的方法来做这件事，因为Vyper不允许我用十进制做指数运算。 我试图做的是e**x (e =常数欧拉数=大约2.718281828。X是小数的变量，可以是负数也可以是正数) 我试着寻找一个Vyper数学库，它提供了小数的求幂函数，但没有成功。有人建议使用指数<
浏览 18提问于2021-11-13得票数 0
1回答
什么是以磁带为基础的自修课程？
、、、、
我知道autograd是用来暗示自动区分的。但是，究竟什么是tape-based autograd in Pytorch，以及为什么会有这么多的讨论来肯定或否认它。例如：
为进一步参考，请将其与GradientTape在Tensorflow中进行比较。
浏览 0提问于2020-11-16得票数 12
回答已采纳
在这个中，如果你向下滚动到训练循环，你可以看到它们像这样组合了梯度errD = errD_real + errD_fake。我想做同样的事情，但在向后传递之前，我想将两个梯度归一化为两个梯度的较低欧几里德范数。我该怎么做呢？我知道我可以通过打印netD.weight.grad在netD上单独获取每个权重的梯度，但是有什么方法可以将它们批量范数到两个权重的较低欧几里德范数吗？这是我正在讨论的训练循环的一部分：
for
浏览 0提问于2019-09-14得票数 0
在编写机器学习模型时，我发现自己需要计算度量，或者为了可视化目的在回调中运行额外的前传。在PyTorch中，我使用进行此操作，这样可以防止计算梯度，因此这些操作不会影响优化。如何在TensorFlow/KerasKeras模型中工作的是可调用的。所以，像model(x)这样的东西是可能的。但是，也可以说是model.predict(x)，它似乎也调用了c
浏览 1提问于2021-05-04得票数 3
我一直试图在Sybase 15.7 SQL查询中实现一些报表的公式，我得到了一些奇怪的结果，所以我尝试将查询分解为单个selects。select (1+(8.0/12))到目前为止，一切都如预期结果：1.66667
仍然很好(它也适用于提升为整数幂的整数检查日志，我收到一个警告，上面写着“发生了截断错误”，这意味着它没有足够的精度来处理幂函数的结果。
浏览 4提问于2014-08-13得票数 0
回答已采纳
1回答
block x = self.dropout(x)我想在我的模型上实现香草梯度可视化Visualising image classification models and saliency maps.问题:如何在PyTorch?中实现此方法
如果我正确理解，香草梯度可视化包
浏览 1提问于2022-02-14得票数 1
回答已采纳
我正在尝试实现一个分离学习模型，在这个模型中，我在客户端上的TF模型接收数据并生成中间输出。这个中间输出将被发送到运行Pytorch模型的服务器，该服务器将其作为输入，并将损失降到最低。如何在Tensorflow客户端实现相同的功能？我认为这是因为磁带上下文中没有计算，而client_grad只是一个包含梯度的张量，并且没有连接到模型的层中？有什么方法可以用tf的apply_gra
浏览 4提问于2020-09-10得票数 2
1回答
我是微调GPT-2模型的语言生成任务使用拥抱面对变形金刚库-毕火炬，我需要计算一个评估分数(困惑)的微调模型。但我不知道如何利用损失来做到这一点。我想知道如何计算模型的困惑与sum_loss或平均损失或任何其他建议也是欢迎的。任何帮助都是徒劳无功。loss.backward()给出的是我如何计算每一批数据的损失61.8444, ...
浏览 0提问于2020-05-24得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
