[机器学习Lesson 2]代价函数之线性回归算法

本章内容主要是介绍:单变量线性回归算法(Linear regression with one variable)

1. 线性回归算法(linear regression)

1.1 预测房屋价格

下图是俄勒冈州波特兰市的住房价格和面积大小的关系:

数据集包含俄勒冈州波特兰市的住房价格

该问题属于监督学习中的回归问题,让我们来复习一下:

  • 监督学习(Supervised'Learning'):对示例数据给出“正确答案”。
  • 回归问题(Regression 'Problem'):根据之前的数据预测出一个准确的输出值 。

1.2 训练集

image
  • **m**=训练样本数量
  • **x's**=输入变量/特征量
  • **y's**=输出变量/目标变量,预测结果

(x,y)表示一个训练样本。

x(1) 指的是 第一个训练集里值为2104的输入值, 这个就是第一行里的x x(2) 等于1416。这是第二个x y(1) 等于460,这是第一个训练集样本的y值, 这就是(1)所代表的含义。

这就是一个监督学习算法的工作方式,我们可以看到这里有我们的训练集里房屋价格,我们把它喂给我们的学习算法,然后输出一个函数。

按照惯例,通常表示为小写h代表hypothesis(假设) h表示一个函数。输入是房屋尺寸大小,就像你朋友想出售的房屋。因此,h 根据输入的 x 值来得出 y 值。 y值对应房子的价格。所以h是一个从x到y的函数映射 。

  • y关于x的线性函数 :
 hθ(x)=θ0+θ1\*x 
image

这个模型被称为线性回归(linear regression)模型。 这实际上是关于单个变量的线性回归,这个变量就是x 根据x来预测所有的价格函数。同时, 对于这种模型有另外一个名称,称作单变量线性回归 单变量是对一个变量的一种特别的表述方式。总而言之 这就是线性回归。

2. 代价函数(Cost Function)

任何能够衡量模型预测出来的值h(θ)与真实值y之间的差异的函数都可以叫做代价函数C(θ),如果有多个样本,则可以将所有代价函数的取值求均值,记做J(θ)。

J(θ0,θ1)=12m$\sum$i=1m(y^i−yi)2=12m∑i=1m(hθ(xi)−yi)2

image
  • m:训练样本的个数;
  • hθ(x):用参数θ和x预测出来的y值;
  • y:原训练样本中的y值,也就是标准答案
  • 上角标(i):第i个样本

3. 代价函数1(简化版):当θ0=0时

hθ(x)=θ1x,如下图:

重要公式
image
  • Hypothesis: 假设。这个例子中是尺寸对于房价关系的预测。
  • Parameters: 参数。
  • Cost Function:代价函数。
  • Goal: 优化目标。代价最小化。

3.1 斜率为1时的代价函数

image
(1)假设函数

x轴为面积,y轴为房价

假设函数 h(x) 对于一个固定的θ1,这是一个关于x 的函数。 所以这个假设函数就是一个关于 x 这个房子大小的函数。

(2)代价函数

x轴为假设函数的斜率,y即代价大小

代价函数 J 是一个关于参数 θ1 的函数,而 θ1 控制着这条直线的斜率 。

3.2 斜率为0.5时的代价函数

image

斜率为0.5时,取3个样本(m=3):(0.5,1),(1,2),(1.5,3)。套公式得出J(0.5)=0.58

同理,J(0)=1/6(1²+2²+3²)=14/6,求出更多的点之后,我们得出类似以下函数:

image

学习算法的优化目标是我们想找到一个 θ1 的值,来将 J(θ1) 最小化。这是我们线性回归的目标函数。 上面的曲线中,让 J(θ1) 最小化的值是 θ1=1。这个确实就对应着最佳的通过了数据点的拟合直线 。这条直线就是由 θ1=1 的设定而得到的。 对于这个特定的训练样本,我们最后能够完美地拟合 这就是为什么最小化 J(θ1),对应着寻找一个最佳拟合直线的目标。

4. 代价函数2:完整版

包含θ0、θ1两个参数的代价函数呈现出来的是类似下图的三维曲面图,两个轴分别表示θ0、θ1。

image

在ML中,一般使用轮廓图( contour plot 或 contour figure 的意思)描述该模型。

4.1 轮廓图简介

image

右侧图形就是一个轮廓图,两个轴分别表示θ0和θ1。 而这些一圈一圈的椭圆形,每一个圈就表示J(θ0,θ1) 相同的所有点的集合。

如图选取三个点,这三个点都表示相同的 J(θ0,θ1) 的值。横纵坐标分别是θ0, θ1 这三个点的 J(θ0,θ1) 值是相同的。我们需要算的代价函数即为圆心的点,此时我们的代价最小。

4.2 第一组数据

我们选取一组数据,θ0=800θ1=-0.15,此时我们可以对应得到一个左边这样一条线。

image

以这组 θ0,θ1 为参数的这个假设 h(x) 并不是数据的较好拟合。并且你也发现了这个代价值 距离最小值点还很远。也就是说这个代价值还是算比较大的,因此不能很好拟合数据。

4.3 第二组数据

选取第二组数据

θ0=360θ1=0。我们可以得到h(x)=360+0\*x这样一条直线。同样不能很好的拟合数据。

4.4 第三组数据

最后一个例子:

image

这个点其实不是最小值,但已经非常靠近最小值点了。 这个点对数据的拟合就很不错,它对应这样两个θ0 和 θ1 的值。同时也对应这样一个 h(x) 这个点虽然不在最小值点,但非常接近了。 因此误差平方和,或者说 训练样本和假设的距离的平方和,这个距离值的平方和 非常接近于最小值,尽管它还不是最小值。

5. 小结

通过这些图形,本篇文章主要是帮助理解这些代价函数 J 所表达的值;它们是什么样的它们对应的假设是什么样的;以及什么样的假设对应的点更接近于代价函数J的最小值。

我们真正需要的是一种有效的算法,能够自动地找出这些使代价函数J取最小值的参数θ0和θ1来。我们也不希望编个程序 把这些点画出来,然后人工的方法来读出这些点的数值,这很明显不是一个好办法。

事实上在深入机器学习的过程中, 我们会遇到更复杂、更高维度、更多参数的情况。而这些情况是很难画出图的,因此更无法将其可视化,因此我们真正需要的,是编写程序来找出这些最小化代价函数的θ0和θ1的值。在后续文章中将介绍一种算法 能够自动地找出能使代价函数 J最小化的参数θ0和θ1的值。


本文资料部分来源于吴恩达 (Andrew Ng) 博士的斯坦福大学机器学习公开课视频教程。

1网易云课堂机器学习课程:

http://open.163.com/special/opencourse/machinelearning.html

2coursera课程:

https://www.coursera.org/learn/machine-learning/

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SIGAI学习与实践平台

理解神经网络的激活函数

激活函数在神经网络中具有重要的地位,对于常用的函数如sigmoid,tanh,ReLU,不少读者都已经非常熟悉。但是你是否曾想过这几个问题:

1062
来自专栏null的专栏

UFLDL笔记——自我学习

注:最近打算将UFLDL教程重新看一遍,其实里面有很多关于神经网络以及深度学习的知识点很有用,但是只是学习深度学习的话有一些内容就有点多余,所以想整理一个笔记,...

3645
来自专栏机器学习算法与Python学习

机器学习(7) -- k-means 聚类

根据大家的提议,从今天起每次算法介绍完之后会给大家一个用python编写的实例刚打架参考 Clustering  9. Clustering     9.1...

3845
来自专栏机器学习与自然语言处理

深度学习在文本分类中的应用

近期阅读了一些深度学习在文本分类中的应用相关论文(论文笔记),同时也参加了CCF 大数据与计算智能大赛(BDCI)2017的一个文本分类问题的比赛:让AI当法...

5466
来自专栏应用案例

入门必看!一文读懂神经网络中的激活函数(二)

看看深度学习之激活函数 本篇接着上一篇推文入门《必看!从零开始了解到训练神经网络(一)》,在介绍完神经网络的基本原理和结构之后,继续介绍神经网络中的关键之一 —...

52610
来自专栏深度学习入门与实践

【深度学习系列】用PaddlePaddle和Tensorflow实现经典CNN网络GoogLeNet

  前面讲了LeNet、AlexNet和Vgg,这周来讲讲GoogLeNet。GoogLeNet是由google的Christian Szegedy等人在201...

4676
来自专栏人工智能LeadAI

零基础入门深度学习 | 第五章: 循环神经网络

无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习这个超热的技术,会不会感...

5767
来自专栏机器学习算法工程师

基础|认识机器学习中的逻辑回归、决策树、神经网络算法

逻辑回归。它始于输出结果为有实际意义的连续值的线性回归,但是线性回归对于分类的问题没有办法准确而又具备鲁棒性地分割,因此我们设计出了逻辑回归这样一个算法,它的输...

1513
来自专栏杨熹的专栏

权重初始化的几个方法

其中第一步 权重的初始化 对模型的训练速度和准确性起着重要的作用,所以需要正确地进行初始化。

2162
来自专栏机器学习算法工程师

基础|认识机器学习中的逻辑回归、决策树、神经网络算法

作者:石文华 编辑:田 旭 逻辑回归 1 逻辑回归。它始于输出结果为有实际意义的连续值的线性回归,但是线性回归对于分类的问题没有办法准确而又具备鲁棒性地分割,...

3828

扫码关注云+社区

领取腾讯云代金券