【重温经典】吴恩达机器学习课程学习笔记三：监督学习模型以及代价函数的介绍

【导读】前一段时间，专知内容组推出了春节充电系列：李宏毅2017机器学习课程学习笔记，反响热烈，由此可见，大家对人工智能、机器学习的系列课程非常感兴趣，近期，专知内容组推出吴恩达老师的机器学习课程笔记系列，重温机器学习经典课程，希望大家会喜欢。

【重温经典】吴恩达机器学习课程学习笔记一：监督学习

【重温经典】吴恩达机器学习课程学习笔记二：无监督学习（unsupervised learning）

吴恩达机器学习课程系列视频链接：

http://study.163.com/course/courseMain.htm?courseId=1004570029

春节充电系列：李宏毅2017机器学习课程学习全部笔记

吴恩达课程学习笔记三：监督学习模型以及代价函数的介绍

1、监督学习模型的介绍

依然讨论前面介绍的房价预测问题（这是一个监督学习的例子）：

由上图可知，可以用线性函数去拟合图中所标的数据集，假设对于房子size和price的数据集如下，在我们构建的模型中，我们通常这样设置参数：

m:设置为数据集的个数，即有多少size与price对，图中假设的是有47组数据

x:“输入的”数据的特征，本例对应的是房子size

y:“输出的”数据的标签，本例对应的是房价

:表示第i个训练样本，例如图中

现在来看一下监督学习算法是怎么工作的：

给定一个训练集，算法要输出一个假设函数h，实现，输入房子size，输出房子的预计价格，即h是一个x映射到y的函数，关键是怎么选择这个假设函数。

对于上文提到的线性拟合，我们可能会把假设函数设置为

，但是

与

如何确定呢？接着引入代价函数。

2、代价函数

如上图所示，参数选择的不同，直线也会不同，对同一测试集的拟合的程度也会不同，所以如何选择参数

与

，使得拟合效果最好，这对于最终模型的优劣至关重要。

如上图所示：为了使线性拟合的效果最佳，需要求出参数

与

，使得假设函数在输入x时对应的输出h(x)与实际price值(在训练集中对应的就是y)之间的平均误差最小。其中m指的是训练数据集的个数（例如前面提到的47）。

将图中横线上半部分的式子，表示为下半部分的两个式子，其中

就是前面提到的代价函数（cost function），以后会经常提到和用到。

对于线性拟合，上图又做了一个简化假设（实际这么简单的例子基本不可能会出现），即数据集大致在一条过原点的直线上，即

此时为0，那么只剩下一个参数

，通过计算不同

时的代价函数值，并在上图右半部分画出图像，可知在

为1时，代价函数值最小，此时的

即为我们所需要的。

正如上图所示，只有一个参数时，线性拟合的代价函数近似为一条抛物线，而未简化时，拥有两个参数，此时的代价函数如下图所示，是类似“碗”的三维图形，利用等高线的概念，可以映射为如下右图的形式：

当然，通过上面两个图（任意一个）寻找代价函数最小值点对应的

与

，可以得到线性拟合的最佳参数。但是如果有更多的参数，就没法轻易地像上图一样可视化的表达出来。实际的应用中，需要的往往只是使代价函数最小的参数，所以通过算法找到最优的参数即可，并不需要进行可视化的展示。后面的学习总结中会提到相关的算法。

下次的学习总结中会介绍非常常用的算法——梯度下降算法（作用是使得代价函数最小化，用于求解未知参数），以及在线性回归模型上的应用（该算法不仅仅可用在线性回归上）。

参考链接：

http://study.163.com/course/courseMain.htm?courseId=1004570029

请关注专知公众号

• 后台回复“NGML2018” 就可以获取 吴恩达机器学习课程下载链接