4吴恩达Meachine-Learing之多变量线性回归(Linear-Regression-with-Multiple-Variables

4.1 多维特征(Multiple Features)

目前为止,我们探讨了单变量/特征的回归模型,现在我们对房价模型增加更多的特征, 例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(x1,x2,…,xn)。

增添更多特征后,我们引入一系列新的注释:

此时模型中的参数是一个n+1 维的向量,任何一个训练实例也都是n+1 维的向量,特 征矩阵X 的维度是 m*(n+1)。 因此公式可以简化为:

其中上标T代表矩阵转置

多变量梯度下降(Gradient Descent for Multiple Variables)

与单变量线性回归类似,在多变量线性回归中,我们也构建一个代价函数,则这个代价 函数是所有建模误差的平方和,即:

梯度下降法实践 1-特征缩放(Gradient Descent in Practice I - Feature Scaling)

在我们面对多维特征问题的时候,我们要保证这些特征都具有相近的尺度,这将帮助梯 度下降算法更快地收敛。 以房价问题为例,假设我们使用两个特征,房屋的尺寸和房间的数量,尺寸的值为 0- 2000 平方英尺,而房间数量的值则是 0-5,以两个参数分别为横纵坐标,绘制代价函数的等 高线图能,看出图像会显得很扁,梯度下降算法需要非常多次的迭代才能收敛。

解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。如图

4.4 梯度下降法实践 2-学习率( 4 - 4 - Gradient Descent in Practice II - Learning Rate )

4.5 特征和多项式回归(Features and Polynomial Regression) 如房价预测问题,

通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外,我们可以令:

从而将模型转化为线性回归模型。 根据函数图形特性,我们还可以使:

4.6 正规方程

到目前为止,我们都在使用梯度下降算法,但是对于某些线性回归问题,正规方程方法 是更好的解决方案。如:

即:

运用正规方程法求解参数:

总结一下,只要特征变量的数目并不大,标准方程是一个很好的计算参数 θ 的替代方 法。具体地说,只要特征变量数量小于一万,我通常使用标准方程法,而不使用梯度下降法。 随着我们要讲的学习算法越来越复杂,例如,当我们讲到分类算法,像逻辑回归算法, 我们会看到, 实际上对于那些算法,并不能使用标准方程法。对于那些更复杂的学习算法, 我们将不得不仍然使用梯度下降法。因此,梯度下降法是一个非常有用的算法,可以用在有 大量特征变量的线性回归问题。或者我们以后在课程中,会讲到的一些其他的算法,因为标 准方程法不适合或者不能用在它们上。但对于这个特定的线性回归模型,标准方程法是一个 比梯度下降法更快的替代算法。所以,根据具体的问题,以及你的特征变量的数量,这两种 算法都是值得学习的。


课程代码:https://github.com/HuangCongQing/MachineLearning_Ng 本文参考自-黄海广博士 斯坦福大学 2014机器学习教程中文 笔记 链接:http://pan.baidu.com/s/1dF2asvf 密码:1ewf

分享吴恩达机器学习视频 下载 链接: 链接: http://pan.baidu.com/s/1pKLATJl 密码: xn4w

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏钱塘大数据

中国互联网协会发布:《2018中国互联网发展报告》

在2018中国互联网大会闭幕论坛上,中国互联网协会正式发布《中国互联网发展报告2018》(以下简称《报告》)。《中国互联网发展报告》是由中国互联网协会与中国互联...

13550
来自专栏钱塘大数据

理工男图解零维到十维空间,烧脑已过度,受不了啦!

让我们从一个点开始,和我们几何意义上的点一样,它没有大小、没有维度。它只是被想象出来的、作为标志一个位置的点。它什么也没有,空间、时间通通不存在,这就是零维度。

33330
来自专栏Ken的杂谈

【系统设置】CentOS 修改机器名

18030
来自专栏haifeiWu与他朋友们的专栏

复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负...

29640
来自专栏微信公众号:小白课代表

不只是软件,在线也可以免费下载百度文库了。

不管是学生,还是职场员工,下载各种文档几乎是不可避免的,各种XXX.docx,XXX.pptx更是家常便饭,人们最常用的就是百度文库,豆丁文库,道客巴巴这些下载...

44530
来自专栏前端桃园

知识体系解决迷茫的你

最近在星球里群里都有小伙伴说道自己对未来的路比较迷茫,一旦闲下来就不知道自己改干啥,今天我这篇文章就是让你觉得一天给你 25 个小时你都不够用,觉得睡觉都是浪费...

21440
来自专栏腾讯社交用户体验设计

ISUX Xcube智能一键生成H5

51220
来自专栏怀英的自我修炼

考研英语-1-导学

英二图表作文要重视。总体而言,英语一会比英语二难点。不过就写作而言,英语二会比英语一有难度,毕竟图表作文并不好写。

11910
来自专栏FSociety

SQL中GROUP BY用法示例

GROUP BY我们可以先从字面上来理解,GROUP表示分组,BY后面写字段名,就表示根据哪个字段进行分组,如果有用Excel比较多的话,GROUP BY比较类...

5.1K20
来自专栏腾讯高校合作

【倒计时7天】2018教育部-腾讯公司产学合作协同育人项目申请即将截止!

15720

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励