有没有反向传播的替代方案？
有没有反向传播的替代方案？
提问于 2019-03-22 02:28:27
我知道神经网络可以使用梯度下降进行训练，我知道它是如何工作的。
最近，我偶然发现了其他训练算法:共轭梯度算法和准牛顿算法。我试图理解它们是如何工作的，但我能得到的唯一好的直觉是它们使用了更高阶的导数。
我的问题如下:我提到的那些替代算法与通过使用损失函数的梯度调整权重的反向传播过程有根本不同吗？如果没有，是否有一种算法可以训练一个与反向传播机制完全不同的神经网络？
谢谢
回答 2
Stack Overflow用户
回答已采纳
发布于 2019-03-22 13:45:46
共轭梯度算法和拟牛顿算法仍然是梯度下降算法。反向传播(或称反向传播)是梯度计算的nothing more than a fancy name。
然而，替代backprop的原始问题是非常重要的。例如，最近的替代方案之一是equilibrium propagation (或简称eqprop)。
Stack Overflow用户
发布于 2020-03-10 07:00:07
Neuroevolution of augmenting topologies或NEAT是使用遗传算法学习网络拓扑和网络权重/偏差的另一种方法。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55287004
复制相关文章
相似问题
腾讯云开发者
