机器学习系列 3：梯度下降

梯度下降（Gradient descent）是一个用来求代价函数最小值的算法。梯度下降算法的思想就是首先先从一组参数值（θ0, θ1）开始，不断地去尝试各种（θ0, θ1），直到使得代价函数 J(θ0, θ1) 最小为止。以下图代价函数为例，从不同起始点开始，到达的局部最优位置不同，也就是局部最优解不同。

那么如何求得局部最优解呢？可以把这个代价函数看成一座座小山，你从一个点出发，每次迈出一小步，这一小步要保证你下降尽可能多的高度，直到不能再下降你的高度为止。

将梯度下降以伪代码形式呈现：

该函数每次循环都要将 θ0, θ1 更新，并且保证同步更新：

解释一下这个伪代码，首先是一个循环结构，当不能再更新 θ0, θ1 时循环停止，:= 是一个赋值号，α 是学习速率，也就是你下山每次迈出多大步子，后面紧跟着的是一个偏导数。这个偏导数我们用一种最简单的情况来解释，就令 θ0=0，现在就剩下 θ1 了。

还记得之前的代价函数图像吗？

其中 α 后面的导数就代表着这一点的斜率，每次 θ1 更新都是减去一个 α与该点的斜率之积，当下降到局部最小处时，导数恰好为零，此时 θ1 不再更新，就得到了我们想要的结果（美滋滋），如下图：

但是值得注意的一点是， 学习速率 α 要选择恰当，如果太大的话会出现下图中的情况，直接跳过局部最优解，一直循环，而且离局部最优解会越来越远。

如果太小的话，寻找局部最优解的速率会特别特别慢。