使用Numpy循环的反向传播

文章/答案/技术大牛

发布

1回答

python、python-3.x、numpy、neural-network、backpropagation

我想只使用numpy来构建神经网络的反向传播。该配置使用了3输入和带有"inp“变量的别名。使用4个神经元作为隐藏层，将2个神经元作为输出。尽管如此，我在实现反向传播时得到了一个错误，因为循环显示了索引错误。你能帮帮我吗? Neural Network Configuration #!python3""" Cr

浏览 14提问于2021-04-20得票数 0

2回答

在本例中执行反向传播的位置

tensorflow、gradient、data-science、gradient-descent、backpropagation

我有一个学习XOR的DNN示例(右击在新选项卡中打开)：Grads = T.gradient(Loss,[W1,B1,W2,B2]);我猜想反向循环是在T.gradient，因为这些是与损失相关的梯度值，但我仍然不清楚。Question2.中是否存在反向传播(反向循环)？如果有

浏览 4提问于2019-09-28得票数 0

回答已采纳

1回答

具有Tensorflow或Theano的循环计算图

tensorflow、theano、lstm、recurrent-neural-network

TensorFlow和Theano似乎都不支持循环计算图，循环单元被实现为具有缓冲和展开的递归单元(RNN / LSTM单元)，但这种限制主要与反向传播的计算有关。我不需要计算反向传播，而只是前向传播。是否有一种方法可以忽略这一限制，或者仅仅是分解非循环组件中的任意计算图？

浏览 1提问于2016-05-31得票数 2

1回答

如何在pytorch中收集每个观察值的预测？

pytorch

我正在尝试自己使用循环而不是nn.rnn模块来创建一个RNN。但我仍然想使用pytorch的backward进行反向传播。我们能不能只创建一个正态列表，并将其附加到每个预测中？或者这将不允许反向传播？

浏览 18提问于2020-03-10得票数 1

回答已采纳

1回答

在神经网络中，应用掉值等于对随机神经元进行零点化吗？

deep-learning、neural-network、dropout

在每一次小批量迭代中，应用丢包等价于随机神经元的零点输出，并在反向传播中留下正反向步长的剩余部分是否不变？我正在numpy中从头开始实现网络。

浏览 0提问于2022-11-09得票数 5

回答已采纳

1回答

使用Numpy的最大池反向传播

python、arrays、numpy、neural-network

我正在使用Numpy实现CNN，我找不到一种方法来高效地实现max池的反向传播，就像我为前向传播所做的那样。这就是我在前向传播中所做的： """ :paramout = np.max(windows, axis=(4, 5)) if is_trai

浏览 3提问于2020-05-22得票数 4

回答已采纳

1回答

请问一下tensorflow 是怎么调整参数的？

tensorflow、人工智能、编程算法、numpy

比如我使用numpy都会求的w和b在根据结果差异调整,尔在tensorflow 中我却没有看w和b,是不是tensorflow 自动使用了反向传播算法?自动调整参数??

浏览 603提问于2019-06-03

2回答

将向量(1xN)乘以张量( N )

python、arrays、numpy、pytorch、matrix-multiplication

我在寻找numpy中的一个矩阵运算，或者最好是在py手电筒中，它允许一个向量(1xN)乘以一个张量(Numpy)并得到(1xMxM)。这很容易使用for循环实现，但是for循环不允许在训练期间反向传播。我试着在numpy和py手电筒中使用matmul (还有其他几种，比如点和bmm)，但都无法工作。下面是一个示例(其中有M=2，但在我的用例中是256个)，它说明了我要做的事情： a

浏览 5提问于2020-07-29得票数 2

回答已采纳

2回答

如何在python中表达下面的分段函数？

python、python-3.x、numpy、machine-learning

如何使用numpy实现以下分段函数及其导数？def func(n):使用它的导数(反向传播)：因此，我如何使用numpy实现上述函数(请注意，n是一个数组)。

浏览 0提问于2017-10-27得票数 1

1回答

Maxout激活函数-在NumPy中实现正向和反向传播

python、numpy、neural-network、activation-function

我正在使用NumPy从头开始构建一个香草神经网络，并测试不同激活函数的模型性能。我特别想看看“Maxout”激活函数会如何影响我的模型性能。在做了一些搜索之后，除了它们的定义(https://ibb.co/kXCpjKc)之外，我找不到NumPy中的实现。前向传播的公式很清楚，我将在哪里取max(Z) (其中Z= w.T *x+ b)。但是，我将在反向传播中使用

浏览 28提问于2019-04-22得票数 0

回答已采纳

1回答

在TensorFlow 2.0中实现引导式BackProp？

python、tensorflow、relu

我正在尝试使用TensorFlow 2.0应用引导反向传播()。要应用引导反向传播，我们需要修改relu梯度。我在中阅读了对话，并尝试修改中的代码，但结果并不像我预期的那样。我不确定我错过了什么。以下是我所拥有的(结合上述源代码的代码)：def _GuidedReluGradtape.watch(x)

浏览 11提问于2019-10-28得票数 2

1回答

TensorFlow自定义损失ValueError:没有为任何变量提供梯度：

keras、tensorflow2.0

我正在实现一个自定义损失函数，如下面的代码所示，用于简单的分类。ValueError:没有为任何变量提供渐变： import os import numpymatrixdef custom_loss(y_true, y_pred): y_pred = y_pred.numpyy_p

浏览 32提问于2021-02-04得票数 0

1回答

不提供梯度的流量损失函数

tensorflow、gradient、loss-function、loss、tensorflow-hub

目前，我尝试编写自己的丢失函数，但是当返回结果(由包含损失值的列表组成的张量)时，我得到以下错误： ValueError: No gradients provided for any variable:然而，在教程和他们的文档中，他们也使用tf.recude_mean，当他们像他们一样使用它时(他们展示了如何编写mse丢失函数)，我没有得到错误，所以我似乎遗漏了一些东西。# now contains 32 lists (a batch) of bbxs -> shape is (3

浏览 12提问于2021-11-30得票数 0

回答已采纳

1回答

使用relu激活函数的4层神经网络工作不好

python-3.x、deep-learning

我一直在尝试使用relu激活函数来构建4层神经网络我猜问题出在反向传播部分。因为当我使用sigmoid激活函数时，其余的代码工作得很好所以你们谁能告诉我我的代码出了什么问题即将到来的代码是我的神经网络类的一部分。另外，我不想使用任何深度学习框架，对不起！* numpy.heaviside(hi

浏览 1提问于2019-04-18得票数 0

2回答

Theano --梯度平方的平均值

neural-network、gradient、theano

在theano中，给定一个具有形状的批量成本cost (batch_size，)，很容易计算平均成本的梯度，就像在T.grad(T.mean(cost,axis=0),p)中一样，其中p是计算cost时使用的参数通过在计算图中反向传播梯度，可以有效地实现这一点。我现在想做的是计算批次上的平方梯度的平均值。通过简单地反向传播梯度直到最后一步，并平方最后一次操作的组件(应该是批处理索引

浏览 0提问于2016-03-23得票数 2

2回答

Tensorflow - autodiff会让我们重新体验背靠背的实现吗？

python、tensorflow、deep-learning、neural-network、backpropagation

问题对于numpy，当创建一个层(例如matmul )时，反向传播梯度首先被解析地导出并相应地编码。 self.计算渐变以自动区分，TensorFlow需要记住在前进过程中发生了什么顺序的操作。然后，在向后传递期间，TensorFlow以反向顺序遍历此操作列表，

浏览 4提问于2021-04-06得票数 2

1回答

带最大池的卷积神经网络

python、algorithm、performance、optimization、machine-learning

下面是代码行，它确实意味着在前向传播期间进行池操作：skimage.measure.block_reduce(activation, block_size=(1, 1, 2, 2), func=np.mean) 这是等价的反向传播代码我的问题是，如何在没有性能损失的</e

浏览 0提问于2016-06-28得票数 8

回答已采纳

4回答

反向传播和前馈神经网络有什么区别？

machine-learning、neural-network、classification、backpropagation

反向传播和前馈神经网络有什么区别？除了流向之外，还有其他的区别吗？假设我正在实现反向传播，即它包含正向和反向流。那么，反向传播是否足以显示前馈？

浏览 10提问于2015-02-09得票数 42

回答已采纳

1回答

TensorFlow:如何生成可微掩码

python、tensorflow、mask

例如：import tensorflow as tf[[0, 1.0], [1.0, 1.0]]output = tf.cast(tf.cast(input, dtype=tf.bool), dtype=tf.float32) 然而，tf.cast是不可微的，梯度不能反向传播，而我希望操作是

浏览 1提问于2018-10-04得票数 3

1回答

Python:多维数组的numpy.dot / numpy.tensordot

python、numpy、numpy-ndarray、backpropagation、tensordot

我正在优化反向传播算法的实现，以训练一个神经网络。我正在研究的一个方面是，将数据点集(输入/输出向量)上的矩阵操作作为由numpy库优化的批处理过程来执行，而不是遍历每个数据池。B: (6,1) numpy array然后，我将said矩阵扩展为张量，其中第一个形状索引将引用数据集。如果我有3个数据集(为了简单起见)，矩阵将如下所示： A: (3,7,1) numpy</e

浏览 4提问于2020-06-12得票数 1

回答已采纳

点击加载更多