首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >牛顿法和梯度下降法的比较

牛顿法和梯度下降法的比较

作者头像
Steve Wang
发布2019-10-22 14:54:57
9470
发布2019-10-22 14:54:57
举报
文章被收录于专栏:从流域到海域从流域到海域

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

本文链接:https://blog.csdn.net/Solo95/article/details/101387294

牛顿法和梯度下降法大家都很熟悉了,所以这里就不细讲了,直接总结两者的区别,这也是面试算法可能会问到的问题。

Name

Note

梯度下降

一阶优化算法

牛顿法

二阶优化算法

牛顿法:
  • 通过求解目标函数一阶导数为0时的参数集,间接地求目标函数达到最小值时的参数。
  • 当fff是一个正定二次函数时,牛顿法只需一次迭代就能直接跳到函数最小点,如果fff不是一个二次真正但也能局部近似为正定二次时,牛顿法需要多次迭代。迭代更新近似函数和跳到近似函数最小点比梯度下降更快地到达临界点。这在接近局部极小点时是一个特别有用的性质,但在鞍点是有害的。
  • Hessian矩阵在地带过程中不断减小,可以起到逐步减小步长的效果。
  • 缺点:Hessian矩阵的逆计算复杂,代价很大,为了解决这个问题有拟牛顿法。
梯度下降:
  • 通过梯度(一阶)方向和步长,直接求解目标函数最小值时的参数。
  • 越接近最优值,步长应该越小,避免在最优值附近来回震荡。
在这里插入图片描述
在这里插入图片描述
参考
  1. 深度学习中文版
  2. https://www.cnblogs.com/lyr2015/p/9010532.html
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-09-25 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 牛顿法:
  • 梯度下降:
  • 参考
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档