问ADAM优化算法的解释
EN

Data Science用户

提问于 2018-08-08 10:09:31

回答 1查看 354关注 0票数 3

我是机器学习的初学者，我正在寻找一些梯度下降的优化器。我已经搜索了很多关于这方面的主题，并对所有这些优化器进行了最新的研究。我只有一个问题，我想不出来。请不要评判我，但我想知道？

我们是单独使用ADAM优化器，还是必须将其与SGD相结合？我不明白它是单独工作，还是这里优化的不是神经网络，而是神经网络的SGD？

谢谢你的帮助!

发布于 2021-10-22 19:00:45

Adam优化是随机梯度下降(SGD)优化的推广。

SGD为所有的体重更新保持一个单一的学习速率，并且在训练期间学习率不会改变。

Adam优化可以对每个权重有不同的学习速率，并在训练过程中改变学习速率。

票数 1

页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://datascience.stackexchange.com/questions/36628

复制

相似问题

问ADAM优化算法的解释EN