梯度下降(Gradient descent)是一个用来求代价函数最小值的算法。梯度下降算法的思想就是首先先从一组参数值(θ0,θ1)开始,不断地去尝试各种(θ0,θ1),直到使得代价函数J(θ0, θ1)最小为止。以下图代价函数为例,从不同起始点开始,到达的局部最优位置不同,也就是局部最优解不同。
那么如何求得局部最优解呢?可以把这个代价函数看成一座座小山,你从一个点出发,每次迈出一小步,这一小步要保证你下降尽可能多的高度,直到不能再下降你的高度为止。
将梯度下降以伪代码形式呈现:
该函数每次循环都要将θ0,θ1更新,并且保证同步更新:
解释一下这个伪代码,首先是一个循环结构,当不能再更新θ0,θ1时循环停止,:=是一个赋值号,α是学习速率,也就是你下山每次迈出多大步子,后面紧跟着的是一个偏导数。这个偏导数我们用一种最简单的情况来解释,就令θ=0,现在就剩下θ1了。
还记得之前的代价函数图像吗?
其中α后面的导数就代表着这一点的斜率,每次θ1更新都是减去一个α与该点的斜率之积,当下降到局部最小处时,导数恰好为零,此时θ1不再更新,就得到了我们想要的结果(美滋滋),如下图:
但是值得注意的一点是, 学习速率 α 要选择恰当,如果太大的话会出现下图中的情况,直接跳过局部最优解,一直循环,而且离局部最优解会越来越远。
如果太小的话,寻找局部最优解的速率会特别特别慢。
领取专属 10元无门槛券
私享最新 技术干货