反向传播错误
（Backpropagation Error）是指在神经网络训练过程中，通过计算输出误差并反向传播到网络的每一层，以更新权重和偏置的过程中可能出现的错误。
在神经网络中，反向传播算法是一种常用的训练方法，通过计算输出层与期望输出之间的误差，并将误差逐层反向传播到网络的每一层，以更新每个神经元的权重和偏置，从而使网络能够逐渐逼近期望的输出。
然而，在反向传播过程中，可能会出现一些错误，导致网络无法正确学习或收敛。以下是一些常见的反向传播错误：
- 梯度消失（Gradient Vanishing）：在深层神经网络中，梯度可能会随着反向传播逐层递减，导致较浅层的权重更新较小甚至不更新，从而使网络无法学习到有效的特征。
- 梯度爆炸（Gradient Exploding）：与梯度消失相反，梯度可能会在反向传播过程中逐层递增，导致权重更新过大，使网络无法收敛。
- 过拟合（Overfitting）：反向传播过程中，网络可能过度拟合训练数据，导致在新数据上的泛化能力较差。
为了解决这些反向传播错误，可以采取以下方法：
- 激活函数选择：选择合适的激活函数，如ReLU、Leaky ReLU等，可以缓解梯度消失问题。
- 权重初始化：合理初始化权重，如Xavier初始化、He初始化等，可以避免梯度爆炸或梯度消失。
- 批标准化（Batch Normalization）：通过对每一层的输入进行标准化，可以加速网络的收敛速度，减少梯度消失和梯度爆炸的问题。
- 正则化（Regularization）：引入L1正则化、L2正则化等方法，可以减少过拟合问题。
- 学习率调整：合理设置学习率，并使用学习率衰减策略，如学习率衰减、动量等，可以提高网络的训练效果。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云人工智能平台：https://cloud.tencent.com/product/ai
- 腾讯云物联网平台：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发平台：https://cloud.tencent.com/product/maap
请注意，以上答案仅供参考，具体的解决方法和腾讯云产品选择应根据实际情况进行评估和决策。
相关·内容
1回答
你能用最简单的方式解释一下背靠背的算法(数学方程)吗？
我读过很多关于它的文章，所以我知道它是什么，并理解它背后的直觉，但我仍然不理解“升级/改变”神经元的分层属性的方程式。
浏览 0提问于2018-08-09得票数 1
2回答
在CNN中使用反向传播来更新随机分配的权重、偏差和滤波器。对于值的上升，我们从端到尾用链规则求出梯度，并使用该公式，
New Value = old value - (learning Rate * gradient)
梯度下降是一个优化器，用于优化损失函数。这里还计算了梯度，公式是
New value = old value - (learning Rate * gradient)
如果我在上面给出的解释是错误的，请纠正我。
我的怀疑是：
的反向传播和梯度下降都使用相同的逻辑吗？是否与梯度下降有什么关系?
浏览 5提问于2021-02-15得票数 2
1回答
我是新的神经网络，并试图建立一个超简单的神经网络超过一个隐藏层。
在神经网络训练阶段调整权值时，权值的调整程度部分取决于该神经元对下一层神经元的“误差”程度。因此，我们需要知道下一层的错误。
只需要一个隐藏层就可以计算出这一点，因为我们的训练数据已经为我们提供了预期的输出，所以我们只需要使用输出层(简单地说，目标输出)。当存在多个隐藏层时，计算误差就变得非常重要。也就是说，如果我们有10个隐藏层，而我们位于第5层，我们如何知道第6层的错误是什么？
谢谢
浏览 5提问于2017-04-22得票数 5
回答已采纳
1回答
如何在多层RNN中反向传播错误？
、、、、
假设我有一个2层LSTM单元，我使用这个网络对长度为10的输入序列沿时间轴进行回归。
据我所知，当这个网络“展开”时，它将由20个LSTM单元组成，每层10个。因此，对应于第一层的10个小区接收t= 1到10的网络输入，而对应于第二层的10个小区接收第一层的输出，t=1至10。换句话说，对应于t=1的第1层中的单元单元输出到(1)对应于t= 2的第1层的“下一个”单元，和(2)对应于t=1的第2层的单元。
因此，当错误被反向传播时，第一层中的每个单元不都会有两个导数吗？如果是，那么权重更新是如何执行的？这两种衍生产品的总和或平均值是被使用的，还是还有其他的原因？
浏览 0提问于2018-07-07得票数 4
回答已采纳
1回答
我怀疑如何反向传播池层中的错误，因为当我计算导数时，只有一个元素4(例如，当使用2x2池内核时)会影响前馈的结果。
浏览 0提问于2016-11-21得票数 13
1回答
权值矩阵上的反向传播
、、、
我试图实现一个只使用python和numpy进行二进制分类的神经网络。
网络结构如下:输入特征:2 1X2矩阵隐layer1: 5神经元2X5矩阵隐layer2: 5神经元5X5矩阵输出层:1神经元5X1矩阵I在各层使用乙状结肠激活函数。
现在假设我用二元交叉熵作为我的损失函数。如何对这些矩阵进行反向传播以更新权重？
class Layer():
def __init__(self,number_of_neurons,number_of_inputs):
self.weights=np.random.rand(number_of_neurons, number_of_i
浏览 0提问于2019-06-24得票数 0
我正在研究MultiLayer感知器，一种神经网络。当我读到反向传播算法时，我看到一些作者建议在计算特定层的所有错误后，立即更新权重，但另一位作者解释说，我们需要在得到所有层的所有错误之后更新权重。什么是正确的方法？
第一种方法：
function void BackPropagate(){
ComputeErrorsForOutputLayer();
UpdateWeightsOutputLayer();
ComputeErrorsForHiddenLayer();
UpdateWeightsHiddenLayer();
}
第二种方法：
function v
浏览 12提问于2013-08-25得票数 0
回答已采纳
3个问题：
链子里的grad_outputs是什么？
在chainer函数F.transpose中的一个例子，如何解释这个反向代码？
def向后(自，输入，grad_outputs)：gy = grad_outputs inv_axes = self.axes，如果self.axes: ax = tuple(ax % len(self.axes) for ax in self.axes) inv_axes = tuple(numpy.argsort( axes )) gx = gy.transpose(inv_axes)返回gx，
假设我想实现自定义函数，但是我的输入和inputs
浏览 1提问于2017-08-27得票数 0
给定变量y和z，它们都依赖于张量x，按乘积规则，如果我做tf.gradients(y_z，x)，它会给出y'(x)z(x) + z'(x)y(x)。是否有一种方法可以将y指定为x的常数，使tf.gradients(y_z，x)只给出z'(x)y(x)？
我知道y_=tf.constant(sess.run(y))将给我y作为常量，但我不能在代码中使用该解决方案。
浏览 4提问于2020-07-14得票数 0
回答已采纳
1回答
我正试图使用带有自定义丢失的Keras在python中构建一个神经网络，并且我在徘徊，在最后一层中是否有作为激活函数的乙状结肠函数，而在自定义丢失开始时是否有一个sigmoid函数。我的意思是：
我有一种感觉，在第二个模型中，损失是计算出来的，但它不是通过乙状结肠传播的，而在第一个模型中，它是。是那么回事吗？
浏览 0提问于2017-02-21得票数 2
回答已采纳
1回答
首先，很抱歉我的英语不是很好，但仍然可以理解(我希望)。
我想要做的是改变我的输入，而不是我的神经网络的权重，以减少错误。我想知道这有没有可能？我认为我们可以使用反向传播算法来做这样的事情。为此，我使用pybrain (一种python库)，但我不知道是否有方法可以做到这一点
因此，如果您有任何建议，或者如果您对如何使用pybrain有什么想法，请让我知道
浏览 1提问于2014-04-26得票数 1
我最近使用D-X-Y C++实现()训练了一个更快的R-CNN模型。为了节省训练时间，我通过设置lr_mult = 0冻结了较低(共享)的卷积层。我比较了使用冻结层和不使用冻结层的迭代时间，发现没有显著差异。在Caffe中，是否仍然计算lr_mult = 0的这些层的渐变？
浏览 1提问于2018-04-18得票数 3
我试着更多地了解神经网络的基本原理。我觉得我理解了反向传播的基本原理，但我想巩固我脑海中的细节。
我在阅读伊恩·古德费罗著名的“深度学习”一书。然而，我发现他们对反向传播的阐述并不令人满意。他们用错误的方法建立计算图的模型，把权值变成顶点，使算子变成边。但这是没有意义的，因为操作(而不是变量)必须对他们有程度和程度的。
我想知道是否有一个更好的参考，无论是在教科书，论文，或博客，将严格概述的细节反向传播的全部普遍性。
浏览 0提问于2018-03-06得票数 2
1回答
在Andrew Ng on coursera的deeplearning.io课程中，给出了以下梯度：
这里，al = gl
我不能理解这里得到的梯度。
如果：
a[l] = g[l](z[l]),
然后：
da[l] = ∂g[l](z[l])/∂z[l] * dz[l]
=> da[l] = g[l]'(z[l]) * dz[l]
但是幻灯片中给出的第一个公式是不同的，我做错了什么？
浏览 3提问于2020-09-30得票数 0
1回答
我有一个代码，它接收2个张量，并将它们转换为numpy数组，然后执行一些操作，将结果转换回张量并返回它。我有一些与此相关的错误。我将此函数作为自定义指标提供给model.compile keras函数。然而，当我单独使用它时，这个函数工作得很好，即提供两个张量，然后分析返回值。 我尝试过在函数内部进行初始化，但是都没有解决这个问题。 def _cohen_kappa(y_true, y_pred):
y_pred2 = K.argmax(y_pred, axis=-1)
y_true2 = K.argmax(y_true, axis=-1)
with tf.Sessi
浏览 33提问于2019-05-17得票数 0
1回答
最近，我正在尝试实现Lenet-5 CNN。但我坚持如何将错误从conv层传播到上一层，例如，从C3层传播到S2层。有谁能帮帮我吗？
浏览 14提问于2016-07-29得票数 0
假设我有一个简单的隐藏层网络，我正在以典型的方式进行培训：
for x,y in trainData:
optimizer.zero_grad()
out = self(x)
loss = self.lossfn(out, y)
loss.backward()
optimizer.step()
这如预期的那样工作，但是如果我预先分配和更新输出数组，则会得到一个错误：
out = torch.empty_like(trainData.tensors[1])
for i,(x,y) in en
浏览 0提问于2019-03-20得票数 4
回答已采纳
我是Chainer的新手。我正在做的指南。然而，我发现了一些我认为很奇怪的东西。在Docs»Guides»Variable一章中，我编写了blow代码：
x = Variable(np.array([[1, 2, 3], [4, 5, 6]], dtype=np.float32))
y = 2.0 * x
# y.grad = np.zeros((2, 3), dtype=np.float32)
y.backward()
print(x.grad)
print(y.data)
然后，出现一个错误，错误消息是：
TypeError: unsupported operand type(s) for
浏览 1提问于2018-06-21得票数 2
在没有输入的任意函数上，怎样做梯度下降的正确方法？
x = torch.tensor(x_init, requires_grad=True)
opt = torch.optim.Adam([x])
cost_fnx = cost(x)
for iteration_count in range(100):
opt.zero_grad()
cost_fnx.backward()
opt.step()
当我尝试上面的内容时，我得到了一个错误：
RuntimeError: Trying to backward through the graph a second time (o
浏览 5提问于2022-05-02得票数 0
我有一个带有隐藏层的神经网络，它输出一个数字A，然后我使用一个函数，它使用A来生成一个向量。问题是TF在反向传播时能正确处理这个问题吗？我确实在TF中尝试过，它可以输出一些东西，但我仍然不确定bp是否工作正常。
顺便说一句，我用来从数字生成向量的函数是(V是上一层的输出，d是我输入的值，G是常量)：
def Generator(d, V):
dmn = []
for k in range(G):
d1 = tf.exp(-(((V*d-(-1+k*0.2))\**2)/(2*0.2\**2)))
dmn.append(d1)
return
浏览 6提问于2017-10-05得票数 0
2回答
通过这个书，我熟悉以下内容：
对于每个训练实例，反向传播算法首先进行预测(前向传递)，测量误差，然后反向遍历每一层以测量每个连接(反向传递)的误差贡献，最后稍微调整连接权重以减小误差。
但是，我不确定这与TensorFlow的反向模式自动关闭实现有何不同。据我所知，上面的算法首先在正向上遍历图，然后在第二次遍历时，计算输出与输入有关的所有偏导数。这与传播算法非常相似。
反向传播与反向模式自定义有何不同？
浏览 0提问于2018-04-19得票数 0
回答已采纳
1回答
我正在学习一个关于理解限制Boltzmann机器 (RBM)的教程，我注意到他们同时使用了术语reconstruction和backpropagation来描述更新权重的过程。它们似乎在引用输入和第一个隐藏层之间的链接时使用重构，然后在引用到输出层的链接时使用反向传播。
这些术语是互换使用的，还是不同的概念？
浏览 0提问于2018-12-17得票数 0
回答已采纳
1回答
我已经成功地实现了随机反向传播，我正在努力提高它的准确性。我注意到批量反向传播似乎更受欢迎，我想试着看看这是否会提高网络的准确性，但我似乎找不出如何实现它。我所说的“批量反向传播”指的是反向传播，其中权重和偏差仅在小批量或时期完成后更新，而不是在每次输入后更新。
我的理解是，您总结需要对每个权重和偏差进行的更改，并在一批训练示例的末尾应用更改。我基本上没有对原始的随机backprop代码进行任何更改，除了将更改直接应用于权重和偏差之外，而是将更改应用于缓冲区，该缓冲区随后用于更新权重和偏差。或者我应该汇总每个训练示例的成本，然后在批处理运行反向传播的末尾？如果是这样，那么如果成本是一批输入的成
浏览 0提问于2018-12-31得票数 1
2回答
我正在学习调整权值的反向传播方法。用于确定对各自权重的更改的公式的推广如下
📷
哪里
📷
总误差随第一权值的变化而变化的比率.我明白为什么这个值在我们试图用反向传播实现的上下文中很有趣，但我不完全理解为什么在确定如何调整新的权重时，这是一个很好的值，特别是当有多个权重影响总误差时。为什么这是一个“好”的数字用在改变我们的体重？
浏览 0提问于2020-01-17得票数 1
回答已采纳
尝试使用Tensorflow FIFOQueue的派生类。我重写了队列函数。它接收图像，并在队列中对最后一个密集层的输出进行排队。现在，我去排队输出张量，并尝试计算成本函数和最小化它使用。
在计算成本并将其最小化到enqueue函数本身时，我的代码工作得很好。但是，一旦我将loss_op (即我的成本)转移到派生类之外，我就会得到一个错误：“没有为任何变量提供梯度，检查您的图形中不支持渐变的操作”。
导入
from tensorflow.python.ops.data_flow_ops import FIFOQueue
import tensorflow as tf
from tensorfl
浏览 0提问于2019-06-18得票数 0
2回答
对于我的大学项目，我正在创建一个神经网络，它可以对信用卡交易是否欺诈的可能性进行分类。我正在用反向传播进行训练。我正在用Java写这篇文章。我想要应用多线程，因为我的计算机是一个四核i7。花几个小时训练，看到我的大部分内核都闲置，这让我很恼火。
但是我该如何将多线程应用于反向传播呢？Backprop的工作原理是通过网络向后调整错误。其中一层必须先完成，另一层才能继续。有没有办法可以修改我的程序来做多核背景？
浏览 0提问于2009-12-02得票数 10
回答已采纳
2回答
正如问题中提到的，我有一些问题，了解这些术语之间的区别是什么。
据我所知：
1)前通过:计算给定输入数据的网络输出
2)反向传递:计算输出与期望输出相关的误差，然后返回到网络中，利用梯度下降ecc更新权值。
那么什么是反向传播呢？这是前两个步骤的结合吗？或者是我们用来计算dE/dw的che方法？(链规则ecc.)
浏览 0提问于2020-01-13得票数 3
回答已采纳
1回答
我是Pytorch的新手。在这里我想使用这个模型来生成一些图像，但是由于这是在Pytorch 1.5之前编写的，因为梯度计算已经修复，所以这是错误消息。 RuntimeError: one of the variables needed for gradient computation has been
modified by an inplace operation: [torch.cuda.FloatTensor [1, 512, 4, 4]]
is at version 2; expected version 1 instead.
Hint: enable anomaly det
浏览 249提问于2021-09-13得票数 0
回答已采纳
仅此而已，我需要知道它们是相同的还是对应于不同的概念。
当我使用model.summary()方法时，它给出了可训练变量的数量，我需要知道它们是否与权重相同。
浏览 1提问于2019-09-21得票数 2
回答已采纳
3回答
通过这个，我熟悉以下内容：
对于每个训练实例，反向传播算法首先进行预测(前向传递)，测量误差，然后反向遍历每一层以测量每个连接(反向传递)的误差贡献，最后稍微调整连接权重以减小误差。
但是，我不确定这与TensorFlow的反向模式自动关闭实现有何不同。
据我所知，反向模式自减首先在正向上通过图，然后在第二次传递中，计算输出与输入有关的所有偏导数。这与传播算法非常相似。
反向传播与反向模式自定义有何不同？
浏览 3提问于2018-04-19得票数 15
回答已采纳
1回答
我有一个充满功能的代码，比如：
bool f_i()
{
if (!f_0()) {
return false;
}
if (!f_1()) {
return false;
}
// ...
if (!f_n()) {
return false;
}
return true;
}
// etc...
在执行的某个步骤中，一些被调用方可以返回false，false通过所有调用方传播。目前很难编写错误消息(代码正在迅速更改)。在调试过程中，在每个return false;之前都有错
浏览 3提问于2014-09-22得票数 4
回答已采纳
我的问题在标题里。我目前正在寻找关于该算法的论文或学术参考，即使是在一个新的框架中。
谢谢你所有可能的答复
浏览 0提问于2018-05-18得票数 1
4回答
反向传播和前馈神经网络有什么区别？
通过谷歌搜索和阅读，我发现在前馈中只有前进方向，但在反向传播中，一旦我们需要做一个前向传播，然后反向传播。我指的是
除了流向之外，还有其他的区别吗？那重量计算呢？结果呢？
假设我正在实现反向传播，即它包含正向和反向流。那么，反向传播是否足以显示前馈？
浏览 10提问于2015-02-09得票数 42
回答已采纳
在一个简单的单层网络中，很容易计算出神经元的目标输出，因为它们与网络本身的目标输出是相同的。然而，在多层网络中，我不太确定如何计算隐藏层中每个神经元的目标，因为它们不一定与最终输出有直接联系，而且很可能在训练数据中没有给出。怎样才能找到这些价值呢？
如果我遗漏了一些东西，而且做得不对，我不会感到惊讶，但我还是想知道。提前感谢您的所有投入。
浏览 0提问于2017-07-15得票数 1
回答已采纳
我考虑使用MongoDB变更流特性将一些数据从一个地方复制到另一个地方。然而，我试图弄清楚I( 1)首先需要手动一次性复制(回填)，然后2)初始化更改流复制--或者如果更改流只包含存储在MongoDB中的所有数据并自动复制所有相关数据(也就是说，这将意味着回填)。
浏览 8提问于2022-08-23得票数 0
回答已采纳
2回答
有这样的主张：
计算梯度的反向传播算法已经被重新发现了很多次，它是一种更一般的技术的特例，称为反向累积模式下的自动微分。
有人能解释一下，用外行人的话说吗？什么功能是被区分的？什么是“特例”？是所使用的伴随值本身还是最终的梯度？
更新：，自从写这篇文章以来，我发现这在“深度学习”6.5.9节中有介绍。见。我还发现，这篇论文对Haber和Ruthotto的“深度神经网络的稳定体系结构”这一主题提供了有益的信息。
浏览 4提问于2014-05-06得票数 14
回答已采纳
1回答
背靠背坡度维数的实际理解
、、、
我编写了这段实现线性(1，1) ->线性(1，1) -> MSE向前/后传递的torch代码：
l1 = torch.nn.Linear(1, 1, bias=False)
l2 = torch.nn.Linear(1, 1, bias=False)
l1.weight = torch.nn.Parameter(
torch.tensor([[ 0.6279 ]]))
l2.weight = torch.nn.Parameter(
torch.tensor([[ 0.731 ]]))
loss_fn = torch.nn.MSELoss()
opti
浏览 5提问于2022-06-20得票数 1
python中tensorflow梯度函数中的grad参数(如下面的文档中的示例)表示什么？
@tf.RegisterGradient("Sub")
def _sub_grad(unused_op, grad):
return grad, tf.neg(grad)
文档说它代表“相对于op的每个输出的渐变”。哪个梯度？op的每个输出的梯度，相对于op的每个输出？
这里的op是x，这是否意味着这个函数中的grad参数引用了
这将与函数的输出保持一致，即
，
但我想确认一下。
谢谢您的澄清！
浏览 5提问于2016-06-23得票数 1
回答已采纳
1回答
我正在尝试预测一组给定商品的销售价格。我在pybrain中使用RecurrentNetwork和BackpropTrainer。这是我的代码，
def nnet(train, target, valid):
ds = SupervisedDataSet(52-len(NU)+5, 1)
for i in range(len(train)):
ds.appendLinked(train[i], target[i])
n = RecurrentNetwork()
n.addInputModule(LinearLayer(52-len(NU)+
浏览 3提问于2013-03-10得票数 4
1回答
基于神经网络的OCR
、、、
为了执行OCR，我正在努力理解NN的用法，我的目标与通常的OCR算法略有不同。
我的目标是能够确定一个特定的输入是否是一个特定的字母，例如，我希望从用户那里得到字母'A‘，我需要确保我没有得到一个不同的形状。
我需要能够决定一个给定的输入是否正确的形状。
据我所读，这里有几个选项，MLP，SOM网络，反向传播网络。
据我所知，由于我计划为每个形状(字母)创建样本，以便训练网络，我应该定义一个SOM网络，对吗？
我不知道哪个方向更好，如果你能给我指明正确的方向，那就太好了。
我计划使用Encog框架，不确定这是否重要。
浏览 2提问于2014-10-08得票数 2
回答已采纳
1回答
通过在nodejs中从零开始编程，我正在尝试理解神经网络及其工作原理。目前，我设法建立了一个网络，它有重量，层次和神经元。我也理解激活函数是什么，我正在使用sigmoid函数。
现在我用梯度下降算法讨论了反向传播的问题。我的问题是，我只知道10年级的数学和我找到的每一个教程/解释，使用复杂的函数和数学，这是我无法理解的。
我真的很想完成这个项目，并使反向传播工作，所以如果有人可以解释我如何使用反向传播，而不用太复杂的数学(e，导数，函数等)。或者解释一下复杂的数学，我们将不胜感激。
我的源代码：https://gitlab.com/milan44/node (Network.prototype
浏览 0提问于2019-02-24得票数 1
回答已采纳
我正在学习本教程：
守则是：
import tensorflow as tf
#from tensorflow.examples.tutorials.mnist import input_data
import pickle
import numpy as np
train_x,train_y,test_x,test_y = create_feature_sets_and_labels('pos.txt','neg.txt')
n_nodes_hl1 = 1500
n_nodes_hl2 = 1500
n_nodes_hl3 = 1500
n_class
浏览 1提问于2018-05-30得票数 0
我在用凯拉斯。
我知道冻结早期层会停止后支柱的计算，但是如果在训练过程中每一步都计算早期层的前支柱，那么同样的东西就会被计算出来，直到到达解冻层。
如果每一步都要计算冻结层的前支柱，那么这不是浪费计算时间吗？因为每一步都在计算同样的事情。
有人知道只计算一次冻结层的输出并使用冻结层的输出来训练未冻结层的选项吗？
浏览 0提问于2020-03-08得票数 -1
1回答
我想创建我自己的业务合并网络。因此，我查看了代码，并修改了engine/topology.py以创建我的新操作。
我没有修改layers/wrappers.py，因为它只用于RNN，当我修改它时，我会得到一个错误。
是否还有其他文件/类需要修改？我不需要在其他地方做一些其他的事情来指定在回传过程中应该做些什么吗？
浏览 2提问于2017-03-23得票数 0
回答已采纳
我已经开始实现一个 (基于VGG16)。当我学习的时候，如果我试图向后传播到所有的层，我就会有内存问题。不过，测试效果很好。(我有一个Gforce GTX 1060和6G的拉姆)
我在想怎么回事？TF是否需要为训练两次保存参数？
浏览 2提问于2017-05-18得票数 0
回答已采纳
我正在阅读关于反向传播的深层神经网络，据我所知，我可以总结这种神经网络的算法如下：
1-输入x：为输入层设置相应的激活
2-前馈：前向传播误差的计算
3-输出错误：计算输出错误
4-反向传播错误：计算反向传播的误差
5-输出:使用成本函数梯度的
没关系，然后我检查了许多这种深度网络的代码，下面是一个示例代码，并解释如下：
### imports
import tensorflow as tf
### constant data
x = [[0.,0.],[1.,1.],[1.,0.],[0.,1.]]
y_ = [[0.],[0.],[1.],[1.]]
### induction
#
浏览 0提问于2019-08-17得票数 1
回答已采纳
我正在训练一个PyTorch RNN来预测给定一个字符的下一个字符。
下面是我的RNN的定义：
import torch.nn as nn
import torch.optim
class RNN(nn.Module):
def __init__(self, input_size, hidden_size, output_size):
super(RNN, self).__init__()
self.hidden_size = hidden_size
# from input, previous hi
浏览 2提问于2021-09-07得票数 2
回答已采纳
1回答
在反向传播过程中，似乎假设在隐藏层中创建的任何错误只会影响更高的一层(例如，请参见派生，特别是方程16)。
也就是说，在计算dE/dy_j时，派生状态使用了链规则，但是它只区分I_j中索引的节点(即仅在比y_j高一层的节点上)。为什么在计算中忽略较高层的情况？我们也可以考虑到i+1层，方法是考虑x_{i+1} = \sum_i w_{i,i+1} f(\sum_{j} w_{j,i} y_j) (这显然是y_j依赖的)。
浏览 3提问于2017-03-26得票数 1
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
