【重温经典】吴恩达机器学习课程学习笔记五:特征处理与多项式拟合

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专知内容组推出吴恩达老师的机器学习课程笔记系列,重温机器学习经典课程,希望大家会喜欢。

【重温经典】吴恩达机器学习课程学习笔记一:监督学习

【重温经典】吴恩达机器学习课程学习笔记二:无监督学习(unsupervised learning)

【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍

【重温经典】吴恩达机器学习课程学习笔记四:梯度下降

【重温经典】吴恩达机器学习课程学习笔记五:多元梯度下降

吴恩达机器学习课程系列视频链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

春节充电系列:李宏毅2017机器学习课程学习全部笔记

吴恩达课程学习笔记六:特征处理与多项式拟合

1、特征的处理与多项式的拟合



同样是房价预测的例子,如下图所示,对于房价的预测由两个特征决定,即临街宽度(frontage)与纵向深度(depth),根据经验可知,这两个特征可以用一个特征面积来表示(即临街宽度与纵向深度的乘积)。所以预测函数写成

另外,对于像如下所示的数据集,直接线性拟合是不合适的,利用二次函数拟合也是不合适的(因为经验告诉我们,房价不会随着房子面积的增大而下降),故而我们想到用三次函数去拟合。对于三次函数我们可以通过如下方式将其转化为线性拟合:

将size,

分别作为特征去拟合房价。这时得到的预测是线性的,此时对“特征”进行缩放显得尤为重要,因为次方后的范围变化很大,需要对其进行缩放,从而有利于收敛。

除了用三次函数拟合外,考虑到平方根函数的特点(即随着自变量的增加,最终上升会越来越缓慢),可以将上述数据利用线性函数和平方根函数来拟合。

2、正规方法(区别与迭代算法的直接求解方法)



不同于迭代算法,正规方程法提供了一种求解最优参数的解析解法,可以一次性直接求出最优参数。

首先我们从一个很简单的代价函数入手,如下:

1、 假设代价函数是标量θ的二次函数,则只需要对其求导,令求导后的值为零,反解出θ即为最优参数值。(针对的是线性回归)

2、 若θ为向量,则可以对每一个进行求导,令其为0,求解出向量θ。但这往往可能是复杂的。

通过把数据用矩阵以及向量来表示,可以更方便进行求解。

对于数据的表示如下所示,添加一列

令其为0,(对应着

),则特征表示为矩阵X,类别表示为向量y。(假设这里只有四组数据)

对于线性回归的最优参数,可以利用下图所示的式子进行求解(数学上已经得到证明):

注意利用正规方程法进行求解最优参数时,尽管特征的取值范围可能会有很大差别,但是不需要对特征进行特征缩放。

下面给出梯度下降算法以及正规方程法的优缺点,以便在实际中去选择合适的算法。(假设这里有m条样本,n种特征)

梯度下降的缺点&正规方程法的优点:

对于梯度下降算法来说,它需要选择学习率α,并且需要通过对比不同的α在不同迭代次数后,J(θ)的收敛情况来决定哪一个α的值更合适。但对于正规方程法这是不需要的。

梯度下降的优点&正规方程法的缺点:

即使特征种类n数值很大,梯度下降法也可以很好地运行,最终求解出最优参数θ,但对于正规方程法,因为计算过程中涉及到

,其中是一个n*n的矩阵,则进行求逆操作,所需要的复杂度为O(

),因此当n很大时,正规方程法的速度将会受到很大影响。

对于n的值对算法选择的影响,课程中给出它的经验是10000以后会考虑使用梯度下降法或者其它的算法。

需要强调一下:对于线性回归问题,我们可以使用正规方程法,但对于后面总结中会介绍的分类问题等,使用正规化方程法可能并不可行,这时梯度 下降法会体现出它的优势。

3、正规方程法在矩阵不可逆的情况下的解决方法



有线性代数基础的读者可能会发现并不是所有矩阵都可以求逆,所以这里将总结出现不可逆的主要情况以及解决方法。

如下所示:

1、可能是众多种类的特征中出现了线性相关的特征(如下,对于面积,用米作为单位以及英尺作为单位的x1与x2同时出现在特征中,这时就可能出现矩阵不可逆的情况)。

2、 特征的种类数过多即样本数小于特征数,则可能会出现不可逆的情况。

解决:

1、 去掉可能线性相关的特征。

2、 在不会影响结果的前提下,去掉一些特征。

3、使用正则化来适应大量的特征。

接下来的总结中将介绍logistic回归的相关知识。

参考链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

请关注专知公众号

  • 后台回复“NGML2018” 就可以获取 吴恩达机器学习课程下载链接

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-04-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习与自然语言处理

Stanford机器学习笔记-3.Bayesian statistics and Regularization

3. Bayesian statistics and Regularization Content   3. Bayesian statistics and R...

38117
来自专栏TensorFlow从0到N

TensorFlow从0到1 - 8 - 万能函数的形态:人工神经网络

之前花了不小的篇幅来解释线性回归,尽管线性模型本身十分简单,但是确定模型参数的过程,却是一种数据驱动的、自学习的通用方式。准确的说,这个过程,是基于数据的、运...

3637
来自专栏老秦求学

Deep Learning综述[上]

1907
来自专栏大数据挖掘DT机器学习

RF(随机森林)、GBDT、XGBoost面试级整理

由于本文是基于面试整理,因此不会过多的关注公式和推导,如果希望详细了解算法内容,敬请期待后文。   RF、GBDT和XGBoost都属于集成学习(Ens...

9384
来自专栏机器之心

从贝叶斯角度,看深度学习的属性和改进方法

选自arXiv.org 机器之心编译 参与:蒋思源、吴攀 深度学习是一种高效的非线性高维数据处理方法,它可以更自然地解释为一种工程或算法,而本论文希望从贝叶斯...

45313
来自专栏机器之心

学界 | 精准防御对抗性攻击,清华大学提出对抗正则化训练方法DeepDefense

3288
来自专栏机器之心

干货 | 物体检测算法全概述:从传统检测方法到深度神经网络框架

机器之心转载 公众号:阅面科技(ID:readsense) 作者:童志军 物体检测一向是比较热门的研究方向,它经历了传统的人工设计特征+浅层分类器的框架,到基于...

4177
来自专栏Spark学习技巧

【干货】树算法对比:RF、GBDT、XGBoost

2053
来自专栏机器之心

深度 | 理解神经网络中的目标函数

选自Kdnuggets 作者:Lars Hulstaert 机器之心编译 参与:晏奇、李泽南 本文面向稍有经验的机器学习开发者,来自微软的 Lars Hulst...

3309
来自专栏专知

【重温经典】吴恩达机器学习课程学习笔记七:Logistic回归

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专...

3969

扫码关注云+社区