机器学习系列 3：梯度下降

梯度下降（Gradient descent）是一个用来求代价函数最小值的算法。梯度下降算法的思想就是首先先从一组参数值（θ0,θ1）开始，不断地去尝试各种（θ0,θ1），直到使得代价函数J(θ0, θ1)最小为止。以下图代价函数为例，从不同起始点开始，到达的局部最优位置不同，也就是局部最优解不同。

那么如何求得局部最优解呢？可以把这个代价函数看成一座座小山，你从一个点出发，每次迈出一小步，这一小步要保证你下降尽可能多的高度，直到不能再下降你的高度为止。

将梯度下降以伪代码形式呈现：

该函数每次循环都要将θ0,θ1更新，并且保证同步更新：

解释一下这个伪代码，首先是一个循环结构，当不能再更新θ0,θ1时循环停止，:=是一个赋值号，α是学习速率，也就是你下山每次迈出多大步子，后面紧跟着的是一个偏导数。这个偏导数我们用一种最简单的情况来解释，就令θ=0，现在就剩下θ1了。

还记得之前的代价函数图像吗？

其中α后面的导数就代表着这一点的斜率，每次θ1更新都是减去一个α与该点的斜率之积，当下降到局部最小处时，导数恰好为零，此时θ1不再更新，就得到了我们想要的结果（美滋滋），如下图：

但是值得注意的一点是， 学习速率 α 要选择恰当，如果太大的话会出现下图中的情况，直接跳过局部最优解，一直循环，而且离局部最优解会越来越远。

如果太小的话，寻找局部最优解的速率会特别特别慢。