【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专知内容组推出吴恩达老师的机器学习课程笔记系列,重温机器学习经典课程,希望大家会喜欢。

【重温经典】吴恩达机器学习课程学习笔记一:监督学习

【重温经典】吴恩达机器学习课程学习笔记二:无监督学习(unsupervised learning)

吴恩达机器学习课程系列视频链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

春节充电系列:李宏毅2017机器学习课程学习全部笔记

吴恩达课程学习笔记三:监督学习模型以及代价函数的介绍

1、监督学习模型的介绍



依然讨论前面介绍的房价预测问题(这是一个监督学习的例子):

由上图可知,可以用线性函数去拟合图中所标的数据集,假设对于房子size和price的数据集如下,在我们构建的模型中,我们通常这样设置参数:

m:设置为数据集的个数,即有多少size与price对,图中假设的是有47组数据

x:“输入的”数据的特征,本例对应的是房子size

y:“输出的”数据的标签,本例对应的是房价

:表示第i个训练样本,例如图中

现在来看一下监督学习算法是怎么工作的:

给定一个训练集,算法要输出一个假设函数h,实现,输入房子size,输出房子的预计价格,即h是一个x映射到y的函数,关键是怎么选择这个假设函数。

对于上文提到的线性拟合,我们可能会把假设函数设置为

,但是

如何确定呢?接着引入代价函数。

2、代价函数



如上图所示,参数选择的不同,直线也会不同,对同一测试集的拟合的程度也会不同,所以如何选择参数

,使得拟合效果最好,这对于最终模型的优劣至关重要。

如上图所示:为了使线性拟合的效果最佳,需要求出参数

,使得假设函数在输入x时对应的输出h(x)与实际price值(在训练集中对应的就是y)之间的平均误差最小。其中m指的是训练数据集的个数(例如前面提到的47)。

将图中横线上半部分的式子,表示为下半部分的两个式子,其中

就是前面提到的代价函数(cost function),以后会经常提到和用到。

对于线性拟合,上图又做了一个简化假设(实际这么简单的例子基本不可能会出现),即数据集大致在一条过原点的直线上,即

此时为0,那么只剩下一个参数

,通过计算不同

时的代价函数值,并在上图右半部分画出图像,可知在

为1时,代价函数值最小,此时的

即为我们所需要的。

正如上图所示,只有一个参数时,线性拟合的代价函数近似为一条抛物线,而未简化时,拥有两个参数,此时的代价函数如下图所示,是类似“碗”的三维图形,利用等高线的概念,可以映射为如下右图的形式:

当然,通过上面两个图(任意一个)寻找代价函数最小值点对应的

,可以得到线性拟合的最佳参数。但是如果有更多的参数,就没法轻易地像上图一样可视化的表达出来。实际的应用中,需要的往往只是使代价函数最小的参数,所以通过算法找到最优的参数即可,并不需要进行可视化的展示。后面的学习总结中会提到相关的算法。

下次的学习总结中会介绍非常常用的算法——梯度下降算法(作用是使得代价函数最小化,用于求解未知参数),以及在线性回归模型上的应用(该算法不仅仅可用在线性回归上)。

参考链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

请关注专知公众号

  • 后台回复“NGML2018” 就可以获取 吴恩达机器学习课程下载链接

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-04-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

用AI让静图变动图:CVPR热文提出动态纹理合成新方法

选自arXiv 作者:Matthew Tesfaldet等 机器之心编译 参与:路、李泽南 图画总是只能表现事物瞬间的形象,而动画则需要逐帧手绘,费时费力,人工...

3476
来自专栏AlgorithmDog的专栏

强化学习系列之五:价值函数近似

目前,我们已经介绍了一些强化学习的算法,但是我们无法在实际问题中运用这些算法。 为什么呢?因为算法估算价值函数 (v(s)) 或者 (q(...

5089
来自专栏数据派THU

独家 | 25道SVM题目,测一测你的基础如何?(附资源)

在某种意义上,你可以把机器学习算法看作有很多刀剑的军械库。里边有各种各样的工具,你要做的,就是得学会在对的时间使用对的工具。举个例子,如果把“回归”看作是一把剑...

2192
来自专栏新智元

一种端到端可训练周期CNN模型:根据自然语言陈述进行图像分割

【新智元导读】基于自然语言陈述进行语义图像分割是图像分割领域里的一个重要议题。本论文提出了一种端到端可训练周期卷积网络模型,这一模型可同时学习处理视觉与语言信息...

2493
来自专栏人工智能头条

深度学习性能提升的诀窍

2436
来自专栏人工智能头条

在实践中正确应用机器学习的12条法则

2424
来自专栏专知

解开贝叶斯黑暗魔法:通俗理解贝叶斯线性回归

【导读】本文是悉尼大学博士生 Thushan Ganegedara 撰写的一篇博文,主要介绍贝叶斯线性回归的内在原理。我们知道,深度学习可以利用大规模数据产生很...

1.2K11
来自专栏AI科技评论

从模糊到清晰,AI对图片的识别越来越精准| Facebook CVPR2016最新论文

图像边缘的无监督学习 摘要 数据驱动方法在边缘检测领域已被证明是有效的,且在最近的基准测试中取得了顶尖的成绩。然而,目前所有数据驱动的边缘检测都要求以手工标注区...

40710
来自专栏大数据文摘

机器学习算法在自动驾驶汽车中扮演怎样的角色

1513
来自专栏鸿的学习笔记

精确控制模型预测误差(上)

当评估模型的质量时,能够准确测量其预测误差至关重要。然而,测量误差的技术常常会给出严重误导的结果。因为可能导致会过拟合,就是模型可以非常好地拟合训练数据,但是对...

841

扫码关注云+社区

领取腾讯云代金券