腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
有没有
反向
传播
的
替代
方案
?
、
、
我知道神经网络可以使用梯度下降进行训练,我知道它是如何工作
的
。 最近,我偶然发现了其他训练算法:共轭梯度算法和准牛顿算法。我试图理解它们是如何工作
的
,但我能得到
的
唯一好
的
直觉是它们使用了更高阶
的
导数。 我
的
问题如下:我提到
的
那些
替代
算法与通过使用损失函数
的
梯度调整权重
的
反向
传播
过程有根本不同吗?如果没有,是否有一种算法可以训练一个与
反向
传播
机制完
浏览 39
提问于2019-03-22
得票数 6
回答已采纳
1
回答
Resnets中
的
深度残差网络
、
残差块
的
权重矩阵是否已经设置为0,或者我们需要将残差块
的
权重矩阵训练为接近0?在什么情况下,我们通过残差块
的
权重矩阵进行
反向
传播
?我们什么时候跳过
反向
传播
来选择
替代
路由呢?
浏览 10
提问于2020-01-20
得票数 0
2
回答
Theano --梯度平方
的
平均值
、
、
在theano中,给定一个具有形状
的
批量成本cost (batch_size,),很容易计算平均成本
的
梯度,就像在T.grad(T.mean(cost,axis=0),p)中一样,其中p是计算cost时使用
的
参数通过在计算图中
反向
传播
梯度,可以有效地实现这一点。我现在想做
的
是计算批次上
的
平方梯度
的
平均值。通过简单地
反向
传播
梯度直到最后一步,并平方最后一次操作
的
组件(应该是批处理索引上
的</e
浏览 0
提问于2016-03-23
得票数 2
1
回答
Tensorflow:更改影响
反向
传播
的
激活
、
在Tensorflow中
有没有
一种方法可以在
反向
传播
期间将隐藏
的
节点激活更改为不同
的
值?也就是说,假设层中
的
一个节点在前向
传播
期间输出值'a1‘。然后在
反向
传播
期间,当梯度更新到达该节点时,我希望它使用一个不同
的
值作为激活(例如'a2'),以便整个
反向
传播
过程将发生,就像它在正向
传播
期间
的
'a2‘一样。我知
浏览 0
提问于2019-03-29
得票数 1
1
回答
在对一个例子进行训练后,神经网络
的
损失增加了,这正常吗?
、
、
、
、
在
反向
传播
之前和
反向
传播
之后,我将其预测
的
损失打印在训练示例上。之后
的
损失应该总是小于之前
的
损失,这是有意义
的
,因为网络只是在该示例上进行了训练。然而,我注意到在第100个训练示例左右,网络在
反向
传播
之后开始给出比在训练示例上
反向
传播
之前更不准确
的
预测。 一个网络总是期望前损失高于后损失吗?如果是这样的话,
有没有
什么原因呢?需要明确
的</
浏览 3
提问于2018-11-25
得票数 0
2
回答
在tensorflow上使用弹性
传播
、
有没有
办法在Tensorflow上使用弹性
传播
?我知道有很多
反向
传播
策略。有接近rPorp
的
吗?我可以插入我自己
的
弹性
传播
的
实现吗?
浏览 4
提问于2017-02-17
得票数 2
回答已采纳
2
回答
GA训练
的
NN在测试集上
的
表现比BP训练
的
NN差
、
、
我用GA和
反向
传播
训练了一个神经网络。GA为训练数据找到合适
的
权重,但在测试数据上表现不佳。如果我用BackPropagation训练NN,它在测试数据上
的
表现要好得多,即使训练误差并不比GA训练
的
版本小很多。即使我使用GA获得
的
权重作为
反向
传播
的
初始权重,NN在测试数据上
的
表现也比仅使用
反向
传播
进行训练更差。
有没有
人能告诉我,我可能在哪里犯了错?
浏览 3
提问于2017-08-24
得票数 0
2
回答
神经网络激活函数
我需要可靠
的
替代
乙状结肠激活功能。sigmoid函数
的
问题是格式化
的
输出在0和1之间。我需要输出在0和255之间
的
激活函数。我正在用
反向
传播
算法训练神经网络。
浏览 0
提问于2012-03-04
得票数 0
回答已采纳
4
回答
反向
传播
和前馈神经网络有什么区别?
、
、
、
反向
传播
和前馈神经网络有什么区别? 除了流向之外,还有其他
的
区别吗?假设我正在实现
反向
传播
,即它包含正向和
反向
流。那么,
反向
传播
是否足以显示前馈?
浏览 10
提问于2015-02-09
得票数 42
回答已采纳
1
回答
Tensorflow中
的
无导数学习算法
、
我正在尝试在Tensorflow中实现一个无导数
的
学习算法。因此,不使用
反向
传播
的
学习算法,例如讨论了。opt.apply_gradients(capped_grads_and_vars) 但我没有看到一种不依赖于
反向
传播
的
学习算法
的
浏览 2
提问于2018-01-24
得票数 2
1
回答
PyTorch中
的
Dict支持
、
、
PyTorch是否支持类似dict
的
对象,通过这些对象我们可以
反向
传播
梯度,比如PyTorch中
的
张量? 我
的
目标是计算一个大型矩阵中
的
几个元素(1%)
的
梯度。但是如果我使用PyTorch
的
标准张量来存储矩阵,我需要将整个矩阵保存在我
的
GPU中,这会导致由于在训练期间可用
的
GPU内存有限而造成
的
问题。所以我在想,是否可以将矩阵存储为dict,只索引矩阵
的
相关元素,计算渐变和
浏览 6
提问于2022-03-08
得票数 2
1
回答
像素损失
、
、
、
、
在
反向
传播
过程中,这些个案会否有不同
的
效果? 逐个在所有像素上
反向
传播
。我主要怀疑
的
是数值,但所有这些都会产生什么影响。
浏览 0
提问于2019-03-22
得票数 1
回答已采纳
1
回答
当我们有两个输出时,
反向
传播
算法
、
我有一个很大
的
问题,我想用两个神经元输出来实现我
的
神经元网络。就像这样:我想使用
反向
传播
算法,但我不知道如何计算一个错误,因为我有一个有两个神经元
的
输出,当输出上只有一个神经元时,很容易从一个出口误差中使用
反向
传播
算法,但是有两个神经元?我考虑了每个输出
的
计算误差,但是我必须分别计算2种情况下
的
反向
传播
,得到“两个不同
的
隐层”(对于隐层中
的
每一个神经元
浏览 1
提问于2014-04-05
得票数 3
回答已采纳
1
回答
麦克斯普尔和雷鲁
的
反向
传播
、
为什么需要通过Why池和relu进行
反向
传播
?
反向
传播
的
目的是更新权值,而and池和relu则只对输入执行简单
的
操作。他们没有真正
的
重量或过滤器。那么,为什么需要通过它们进行
反向
传播
呢?
浏览 0
提问于2018-08-11
得票数 1
1
回答
为什么使用retain_graph=True不会导致错误?
、
、
、
如果我需要通过神经网络
反向
传播
两次,并且我没有使用retain_graph=True,我会得到一个错误。 为什么?我意识到保持用于第一个
反向
传播
的
中间变量在第二个
反向
传播
中重用是很好
的
。然而,为什么不简单地重新计算它们,就像最初在第一次
反向
传播
中计算它们一样?
浏览 0
提问于2019-08-11
得票数 0
2
回答
Pytorch模型中中间输出梯度
的
求取
我们可以通过loss = loss_fn(y_pred, y_true)获得最后一层
的
丢失,并导致一个loss: Tensor以下面为例z = Model2(y) #think we should do y.backward(grad_tensor=the_output_gradient_from_Mode
浏览 20
提问于2022-05-11
得票数 0
回答已采纳
2
回答
tensorflow如何使用
反向
传播
来训练模型?
、
、
我是tensorflow
的
初学者,我想实现MLP并基于
反向
传播
算法对其进行训练,但当我阅读教程时,我发现它使用了像“随机梯度下降”这样
的
优化器,并在没有实现算法阶段
的
情况下调用了
反向
传播
。这是如何
反向
传播
的
?
浏览 8
提问于2016-12-15
得票数 1
2
回答
反向
传播
中
的
梯度检验
、
我试图实现一个简单
的
前馈神经网络
的
梯度检查,它包含两个单位输入层,两个单位隐层和一个单位输出层。我要做
的
是: 利用两种前馈
传播
的
结果计算数值梯度。我不明白
的
是如何准确地执行
反向
传播
。通常,我将网络
的
输出与目标数据进行比较(在分类
的
情况下),然后在网络中
反向
浏览 6
提问于2014-10-04
得票数 6
回答已采纳
3
回答
反向
传播
和反模式自差有什么区别?
、
、
、
通过这个,我熟悉以下内容: 据我所知,
反向
模式自减首先在正向上通过图,然后在第二次传递中,计算输出与输入有关
的
所有偏导数。这与
传播
算法非常相似。
反向
传播
与<
浏览 3
提问于2018-04-19
得票数 15
回答已采纳
0
回答
卷积神经网络
的
反向
传播
算法
、
1)请纠正我
的
理解:前馈神经网络和CNN只学习权重并向前传递,它不会通过
反向
传播
比较实际值和预测值之间
的
误差来更新权重? 2)如果我想在CNN中使用
反向
传播
方法,我需要包含哪些步骤?3)如果CNN无法进行
反向
传播
,如何更新权重?
浏览 6
提问于2017-12-06
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深度神经网络的正向传播与反向传播
知识卡片 反向传播中的梯度
如何计算浅层神经网络的反向传播
关于反向传播在Python中应用的入门教程
2023年最佳Aspera替代方案,选择适合的Aspera替代方案
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券