梯度下降法 – Gradient descent

文章目录

什么是梯度下降法？

梯度下降算法的公式非常简单，”沿着梯度的反方向（坡度最陡）“是我们日常经验得到的，其本质的原因到底是什么呢？为什么局部下降最快的方向就是梯度的负方向呢？也许很多朋友还不太清楚。没关系，接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。

我们以爬上山顶为例

假设我们位于一座山的山腰处，没有地图，并不知道如何到达山顶。于是决定走一步算一步，也就是每次沿着当前位置最陡峭最易上山的方向前进一步，然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去，一直走到觉得我们已经到了山顶。这里通过最陡峭的路径上山的方向就是梯度。

百度百科

梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。

查看详情

维基百科

梯度下降是用于找到函数最小值的一阶 迭代 优化 算法。为了使用梯度下降找到函数的局部最小值，需要采用与当前点处函数的梯度（或近似梯度）的负值成比例的步长。相反，如果采用与梯度的正值成比例的步长，则接近该函数的局部最大值 ; 然后将该过程称为梯度上升。

梯度下降也称为最陡下降。但是，梯度下降不应与最速下降的最速下降方法相混淆。

查看详情

扩展阅读

简单的梯度下降算法，你真的懂了吗？

深度研究自然梯度优化，从入门到放弃 | Deep Reading