对反向传播的澄清
对反向传播的澄清
提问于 2020-04-14 19:14:52
就像我通常在家里与世隔绝太久时所做的那样，我一直在考虑反向传播。
如果我的思维过程是正确的，对于计算权重更新，我们根本不需要实际计算成本。我们只需要计算成本的导数。
是对的吗？
我认为计算成本的唯一原因是检查网络是否真的在学习。
我真的相信我是对的，但通过在互联网上查看，似乎没有人做出这样的观察。所以也许我错了。如果我是，我有一个深刻的误解，反向传播，我需要纠正。
回答 2
Stack Overflow用户
回答已采纳
发布于 2020-04-15 02:05:44
你是对的。
成本函数告诉您解决方案的成本。梯度是关于如何使其成本更低的信息。
你可以用任何固定的加法或减法来改变成本，这不会有什么区别，因为没有办法降低成本的那一部分。
Stack Overflow用户
发布于 2021-05-23 08:28:37
是。反向传播(自微分)需要梯度，而不是损失。一旦制定了前向路径，那么我们所需要的所有的渐变都是可用的。
另一个理由是，反向传播公式是不存在损失值的链规则。
我真的相信我是对的，但是通过在互联网上的检查，似乎没有人做出这样的观察。
确实如此。NN文章或教科书总是讨论损失，但不清楚我们所需要的反向传播所需的是链规则中的梯度，通过它我们可以进行梯度下降。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/61215434
复制相关文章
相似问题
腾讯云开发者
