技术百科

搜索技术百科

技术百科

发布

技术百科首页 >梯度下降算法 >什么因素影响梯度下降算法的收敛速度？

什么因素影响梯度下降算法的收敛速度？

修改于 2023-07-25 22:12:02

360

词条归属：梯度下降算法

下面是一些影响梯度下降算法收敛速度的因素：

学习率

学习率控制每次更新的步长，学习率过大会导致梯度震荡或者无法收敛，学习率过小会导致收敛速度缓慢。

初始参数值

初始参数值的选择对收敛速度有很大影响，如果初始参数值离最优值很远，那么收敛速度会很慢。

损失函数的形状

如果损失函数的形状很平缓，那么梯度下降算法的收敛速度会很慢。相反，如果损失函数的形状很陡峭，那么梯度下降算法的收敛速度会很快。

样本数量

当样本数量很大时，梯度下降算法可能需要更多的迭代次数才能收敛。

最速下降法收敛速度快还是慢_最速下降法是全局收敛算法吗

serverless

摘自《数值最优化方法》 \qquad 已知设步长为 α \alpha α，下降方向为 d d d， f ( x k + α d ) f(x_{k}+\alpha d) f(xk+αd)在 x k x_{k} xk的 T a y l o r Taylor Taylor展示为 f ( x k + 1 ) = f ( x k + α d ) = f ( x k ) + α g k T d + O ( ∣ ∣ α d ∣ ∣ 2 ) f(x_{k+1})=f(x_{k}+\alpha d)=f(x_{k})+\alpha g_{k}^{T}d+O(||\alpha d||^{2}) f(xk+1)=f(xk+αd)=f(xk)+αgkTd+O(∣∣αd∣∣2)为使函数值下降，下降方向满足 g k T d < 0 g_{k}^{T}d<0 gkTd<0 \qquad 收敛性和收敛速度收敛性算法产生的点阵 { x k } \{x_{k}\} { xk}在某种范数 ∣ ∣ ⋅ ∣ ∣ ||\cdot|| ∣∣⋅∣∣意义下满足 l i m k → ∞ ∣ ∣ x k − x ∗ ∣ ∣ = 0 \mathop{lim}\limits_{k\to\infty}||x_{k}-x^{*}||=0 k→∞lim∣∣xk−x∗∣∣=0称算法是收敛的，当从任意初始点出发时，都能收敛到 x ∗ x^{*} x∗称为具有全局收敛性，仅当初始点与 x ∗ x_{*} x∗充分接近时才能收敛到 x ∗ x^{*} x∗称算法具有局部收敛性。 \qquad 收敛速度(已知收敛)：若 l i m k → ∞ ∣ ∣ x k + 1 − x ∗ ∣ ∣ ∣ ∣ x k − x ∗ ∣ ∣ = a \mathop{lim}\limits_{k\to\infty}\frac{||x_{k+1}-x^{*}||}{||x_{k}-x^{*}||}=a k→∞lim∣∣xk−x∗∣∣∣∣xk+1−x∗∣∣=a \qquad 当 0 < a < 1 0<a<1 0<a<1时，迭代点列 { x k } \{x_{k}\} { xk}的收敛速度是线性的，这时算法称为线性收敛。当 a = 0 a=0 a=0时， { x k } \{x_{k}\} { xk}的收敛速度是超线性的，称为超线性收敛。 \qquad 二阶收敛：若 l i m k → ∞ ∣ ∣ x k + 1 − x ∗ ∣ ∣ ∣ ∣ x k − x ∗ ∣ ∣ 2 = a \mathop{lim}\limits_{k\to\infty}\frac{||x_{k+1}-x^{*}||}{||x_{k}-x^{*}||^{2}}=a k→∞lim∣∣xk−x∗∣∣2∣∣xk+1−x∗∣∣=a \qquad a a a为任意常数，迭代点列 { x k } \{x_{k}\} { xk}的收敛速度是二阶的，这时算法称为二阶收敛。超线性收敛和二阶收敛的收敛速度较快，是理想的收敛速度。 \qquad 负梯度法和牛顿 ( N e w t o n ) (Newton) (Newton)型方法 N e w t o n Newton Newton型方法特殊情形的一种负梯度方法—最速下降法。首先下降方向满足 g k T d < 0 g_{k}^{T}d<0 gkTd<0，为使 ∣ g k d ∣ |g_{k}d| ∣gkd∣达到最大值，则由 C a u c h y − S c h w a r z Cauchy-Schwarz Cauchy−Schwarz不等式 ∣ g k T d ∣ ≤ ∣ ∣ g k ∣ ∣ ∣ ∣ d ∣ ∣ |g_{k}^{T}d|\leq||g_{k}||||d|| ∣gkTd∣≤∣∣gk∣∣∣∣d∣∣知当且仅当 d = d k = − g k / ∣ ∣ g k ∣ ∣ d=d_{k}=-g_{k}/||g_{k}|| d=dk=−gk/∣∣gk∣∣时，等式成立， g k T d g_{k}^{T}d gkTd达到最小。考虑在 d k d_{k} dk方向上的步长，取其负梯度方向即 d k = − g k d_{k}=-g_{k} dk=−gk。 \qquad 收敛性分析 1. 给定 G G G度量下的范数定义，给出 K a n t o r o v i c h Kantorovich Kantorovich不等式。定义设 G ∈ R n × n G\in\mathbb{R}^{n\times n} G∈Rn×n对称正定， u , v ∈ R n u,v\in\mathbb{R}^{n} u,v∈Rn则 u u u与 v v

全栈程序员站长

2022-11-16

6590

影响HTTP代理速度的几个因素

http

随着大数据时代的发展，代理IP慢慢成为了中很多人经常使用的上网采集的一种工具。特别是对于一些专业的爬网络爬虫用户来说，这种代理是他们生活工作必不可少的工具。就如同我们平时上网一样。当然使用代理IP,肯定会考虑到速度问题。就像我们的本地IP一样访问一个网站一样也有延迟。当我们验证代理IP地址时，会间隔几秒。这间隔的几秒就是服务器的响应时间，时间越快，说明速度快，使用起来也快，好用许多。

用户6172015

2020-12-31

8850

最优化问题中步长越大、收敛速度越快，梯度下降算法数十年的传统思路被打破

机器学习工作论文优化梯度下降算法

在机器学习的世界中，最优化问题非常重要，它们能使世界变得更好。最优化问题旨在寻求完成某件事情的最佳方式，比如手机 GPS 计算达到目的地的最短路线，旅游网站搜索与行程相匹配的最便宜的航班。同时，机器学习应用通过分析数据模式进行学习，并试图为任何给定的最优化问题提供最准确和最人性化的答案。

机器之心

2023-09-08

3390

基于梯度下降算法的线性回归

编程算法

算法：基于梯度下降算法的线性回归是使用梯度下降算法进行收敛得到的最佳拟合参数，画出线性拟合的直线，数据集的点零散分布在平面内，使这些点尽可能分布在这条线上或周围。

裴来凡

2022-05-29

4690

关于梯度下降优化算法的概述

编程算法深度学习

chaibubble

2019-10-22

7710

点击加载更多

词条知识树 8个知识点

什么因素影响梯度下降算法的收敛速度？

学习率

初始参数值

损失函数的形状

样本数量

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐