牛顿法和梯度下降法的比较

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

本文链接:https://blog.csdn.net/Solo95/article/details/101387294

牛顿法和梯度下降法大家都很熟悉了,所以这里就不细讲了,直接总结两者的区别,这也是面试算法可能会问到的问题。

Name

Note

梯度下降

一阶优化算法

牛顿法

二阶优化算法

牛顿法:

  • 通过求解目标函数一阶导数为0时的参数集,间接地求目标函数达到最小值时的参数。
  • 当fff是一个正定二次函数时,牛顿法只需一次迭代就能直接跳到函数最小点,如果fff不是一个二次真正但也能局部近似为正定二次时,牛顿法需要多次迭代。迭代更新近似函数和跳到近似函数最小点比梯度下降更快地到达临界点。这在接近局部极小点时是一个特别有用的性质,但在鞍点是有害的。
  • Hessian矩阵在地带过程中不断减小,可以起到逐步减小步长的效果。
  • 缺点:Hessian矩阵的逆计算复杂,代价很大,为了解决这个问题有拟牛顿法。

梯度下降:

  • 通过梯度(一阶)方向和步长,直接求解目标函数最小值时的参数。
  • 越接近最优值,步长应该越小,避免在最优值附近来回震荡。

参考

  1. 深度学习中文版
  2. https://www.cnblogs.com/lyr2015/p/9010532.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券