3回答
通过这个，我熟悉以下内容：
据我所知，反向模式自减首先在正向上通过图，然后在第二次传递中，计算输出与输入有关的所有偏导数。这与传播算法非常相似。反向传播与反向模式自定义有何不
浏览 3提问于2018-04-19得票数 15
回答已采纳
2回答
通过这个书，我熟悉以下内容：
对于每个训练实例，反向传播算法首先进行预测(前向传递)，测量误差，然后反向遍历每一层以测量每个连接(反向传递)的误差贡献，最后稍微调整连接权重以减小误差。但是，我不确定这与TensorFlow的反向模式自动关闭实现有何不同。据我所知，上面的算法首先在正向上遍历图，然后在第二次遍历时，计算输出与输入有关的所有偏导数。这与传播算法非常相似。反向传播与反向模式自定义有何不同？
浏览 0提问于2018-04-19得票数 0
回答已采纳
在Tensorflow中有没有一种方法可以在反向传播期间将隐藏的节点激活更改为不同的值？也就是说，假设层中的一个节点在前向传播期间输出值'a1‘。然后在反向传播期间，当梯度更新到达该节点时，我希望它使用一个不同的值作为激活(例如'a2')，以便整个反向传播过程将发生，就像它在正向传播期间的'a2‘一样。我知道我们可以创建/修改自定义渐变，但这里我需要替换backprop过程中隐藏节点激
浏览 0提问于2019-03-29得票数 1
VGG/GAN/Inception等)，Conv2DBackpropFilter和Conv2DBackpropInput这两个操作在大多数情况下都很重要，所以我在分析TensorFlow中这两个操作(反向传播)的复杂性时发现，Conv2DBackpropFilter ( )和Conv2DBackpropInput ()有三个实现版本(自定义、快速和插槽)。当我分析时，所有的计算都被传递到“自定义”版本，而不是直接调用特征函数SpatialConvolutionBackwardInput的“快速”或“缓慢
浏览 3提问于2017-11-03得票数 0
我已经研究了大量的Keras自定义损失函数的例子。所有这些都可以概括为“写吧”。也就是说，需要编写函数获取参数(y_true，y_pred)。但是通常CNN需要损失函数的导数来进行反向传播。例如，如果你在Caffe中实现自定义损失，你必须编写2个函数:你需要的损失本身，以及它对反向传播的导数。但在Keras中，你似乎不需要第二个。这个魔法是如何工作的？
浏览 6提问于2018-01-05得票数 8
4回答
反向传播和前馈神经网络有什么区别？
除了流向之外，还有其他的区别吗？假设我正在实现反向传播，即它包含正向和反向流。那么，反向传播是否足以显示前馈？
浏览 10提问于2015-02-09得票数 42
回答已采纳
我正在实现一个自定义CNN与它的一些自定义模块。我只实现了自定义模块的前向传递，并将它们的后向传递留给了autograd。我已经通过自定义模块的参数手动计算了反向传播的正确公式，我希望查看它们是否与autograd内部用于计算梯度的公式匹配。有没有办法看到这一点？我计算了这一层的反向传播公式，假设我们有来自更高层的传入梯度。(由于Pytorch目前还不支持复值张量反向传播，我已经通过处理单独的实张量和虚张量创建了自己
浏览 45提问于2020-09-11得票数 1
1回答
我正试图使用带有自定义丢失的Keras在python中构建一个神经网络，并且我在徘徊，在最后一层中是否有作为激活函数的乙状结肠函数，而在自定义丢失开始时是否有一个sigmoid函数。我的意思是：
我有一种感觉，在第二个模型中，损失是计算出来的，但它不是通过乙状结肠传播的，而在第一个模型中，它是。是那么回事吗？
浏览 0提问于2017-02-21得票数 2
回答已采纳
这篇论文有一点不寻常的地方在于，它包含了一个“梯度反转层”，它在反向传播过程中将梯度反转：(图像底部的箭头是反向传播，其梯度倒置)。我还没有看到任何例子，说明如何将自定义标量转换应用到这样的渐变中。如果是这样的话，我可以通过创建一个自定义层来做吗？
浏览 4提问于2015-11-23得票数 9
回答已采纳
如果我需要通过神经网络反向传播两次，并且我没有使用retain_graph=True，我会得到一个错误。
为什么？我意识到保持用于第一个反向传播的中间变量在第二个反向传播中重用是很好的。然而，为什么不简单地重新计算它们，就像最初在第一次反向传播中计算它们一样？
浏览 0提问于2019-08-11得票数 0
1回答
谁能告诉我在Keras中反向传播是怎么做的？我读到在Torch中很简单，在Caffe中很复杂，但我找不到任何关于使用Keras做这件事的东西。我正在用Keras (一个非常初学者)实现我自己的层，我想知道如何做反向传播。
提前谢谢你
浏览 5提问于2017-11-21得票数 21
回答已采纳
1回答
为什么需要通过Why池和relu进行反向传播？
反向传播的目的是更新权值，而and池和relu则只对输入执行简单的操作。他们没有真正的重量或过滤器。那么，为什么需要通过它们进行反向传播呢？
浏览 0提问于2018-08-11得票数 1
2回答
为了正则化的目的，我希望通过奇异值分解来反向传播梯度。PyTorch目前不支持通过奇异值分解进行反向传播。我知道我可以编写自己的自定义函数来操作变量；获取它的.data张量，对其应用torch.svd，将变量包装在它的奇异值周围，并在向前传递中返回它，然后在向后传递中将适当的雅可比矩阵应用于传入的梯度。我认为这些步骤也同样适用于目前没有相关反向方法的其他线性代数操作。
浏览 5提问于2017-06-29得票数 10
1回答
当我训练这个模型时，它说：
但是，我确实定义了backward_cpu和backward_gpu。我试图将lr_mult设置为0。但是，应该在哪里为自定义层定义lr_mult呢？除此之外，还有其他方法让我的自定义层执行反向传播吗？
浏览 0提问于2019-07-17得票数 1
回答已采纳
2回答
我要做的是：
利用两种前馈传播的结果计算数值梯度。我不明白的是如何准确地执行反向传播。通常，我将网络的输出与目标数据进行比较(在分类的情况下)，然后在网络中反向传播误差导数。但是，我认为在这种情况下，还有一些值必须反传播，因为数值梯度计算的结果不依赖于目标数据(而只依赖于输入)，而误差反向传播依赖于目标数据。
浏览 6提问于2014-10-04得票数 6
回答已采纳
我是tensorflow的初学者，我想实现MLP并基于反向传播算法对其进行训练，但当我阅读教程时，我发现它使用了像“随机梯度下降”这样的优化器，并在没有实现算法阶段的情况下调用了反向传播。这是如何反向传播的？
浏览 8提问于2016-12-15得票数 1
1回答
我有一个自定义的神经网络，它是从零开始在python中编写的，还有一个数据集，其中不可能有负的目标/响应值，但是我的模型有时会产生负面的预测/拟合，我想完全避免。与其转换输入数据或剪辑最终预测，我希望在正向和反向传播过程中，强制我的神经网络只生成正值(或高于给定阈值的值)。我相信我理解在前向传播过程中需要做什么--我需要将负值设置为0，但我不理解的是这是如何影响反向传播步骤的，以及我必须做些什么来确保我传播“负值剪切的导数”，如果这样的事情需要发生，
浏览 0提问于2021-07-21得票数 2
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
