每天十分钟机器学习之五：代价函数的定义

上一讲中提到了单变量的预测函数，就是这样的线性函数形式：

上面的公式中有两个参数：θ和θ1，如果把上式看成是一条直线的话，那么这两个参数便是直线的斜率和在y轴上的截距，这个大家应该不难理解。

吴恩达老师的原话：选择的参数决定了我们得到的直线相对于训练集的准确程度，模型所预测的值与训练集中实际值之间的差距（下图中蓝线所指）就是建模误差（modelingerror），也就是下图中的y(i)和hθ(xi)之间的差距。

那么代价函数的定义就是建模误差的平方和：

代价函数知道了，接下来的目标是什么，找到合适的参数使其代价函数最小。

我们绘制一个等高线图，三个坐标分别为θ和θ1和J(θ0,θ1)：

则可以看出在三维空间中存在一个使得 J(θ0,θ1)最小的点。

代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。我们之所以要求出误差的平方和，是因为误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择。还有其他的代价函数也能很好地发挥作用，但是平方误差代价函数可能是解决回归问题最常用的手段了。

也许这个函数J(θ0,θ1)有点抽象，可能你仍然不知道它的内涵，不过不用担心，在接下来的讲解中你会约来越清楚的。

祝您的机器学习之旅愉快！

本文参考资料：斯坦福吴恩达老师的机器学习讲义，图片直接来自讲义。