首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【重温经典】吴恩达机器学习课程学习笔记十:正则化

【重温经典】吴恩达机器学习课程学习笔记十:正则化

作者头像
WZEARW
发布2018-06-05 16:03:58
4170
发布2018-06-05 16:03:58
举报
文章被收录于专栏:专知专知

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专知内容组推出吴恩达老师的机器学习课程笔记系列,重温机器学习经典课程,希望大家会喜欢。

【重温经典】吴恩达机器学习课程学习笔记一:监督学习

【重温经典】吴恩达机器学习课程学习笔记二:无监督学习(unsupervised learning)

【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍

【重温经典】吴恩达机器学习课程学习笔记四:梯度下降

【重温经典】吴恩达机器学习课程学习笔记五:多元梯度下降

【重温经典】吴恩达机器学习课程学习笔记六:特征处理与多项式拟合

【重温经典】吴恩达机器学习课程学习笔记七:Logistic回归

【重温经典】吴恩达机器学习课程学习笔记八:Logistic回归续

【重温经典】吴恩达机器学习课程学习笔记九:过拟合

吴恩达机器学习课程系列视频链接

http://study.163.com/course/courseMain.htm?courseId=1004570029

春节充电系列:李宏毅2017机器学习课程学习全部笔记

吴恩达课程学习笔记十:正则化

1、 正则化代价函数



如下右半图,当我们用四次多项式去拟合数据的时候,会出现过拟合的现象。现在想到的策略是给代价函数加上惩罚项(1000+1000),目的是为了让,最小。(如下图,为了使代价函数最小,则需要使与尽量小,近似为0,则四次多项式近似退化为二次多项式,从而可以对数据进行较好的拟合)

如下图,例如前面提到的房价问题,假设影响房价的特征有一百个,为了使参数尽可能小,在代价函数里增加,注意这里i从1开始(在后面的总结中会再次提到)

上面的总结中提到了正则化(涉及参数),那么当过大时,则会导致除外的其余参数都近似为0,这样预测函数近似变为图中的一条水平线,可以很明显的看出这样的拟合效果是极差的。

2、 线性回归的正则化



梯度下降算法:

如前面所述,i从1(这里是j)开始,所以将j=0的情况单独拿出来。对于j=1之后的参数的更新,增加一项

,经过整理后可得下图最下方的式子。这里

会是一个略小于1的数(比如0.99之类)。其余部分与未正则化的线性回归的梯度下降公式一样。总而言之:对于

按照未正则化的梯度下降算法进行更新,对于其余参数的更新,需要先对参数乘上(

),剩下的更新过程与未正则化时没有区别。

正规方程法:

对于求解线性回归问题的最优化,可以使用常规方程法。对于正则化之后,只需要在求逆之前,对

加上一项(其中对角线上第一个元素是0,其余位置是1,对角线以外都是0)

前面的课程总结中曾经提到过有可能不可逆(当样本数少于数据集的特征数时就有可能会出现不可逆的情况),但是值得注意的是对线性回归运用正则化后,(求逆的部分)一定是可逆的。

3、 logistic回归的正则化



前面的总结内容中我们同样介绍过logistic的代价函数,正则化后,需要在代价函数后面加上一项

,这样原先过拟合的边界(如下坐标图上的蓝色线)就会变成更加合理的边界线(如下图粉色的线)。

同样,这里给出logistic回归的参数在梯度下降算法下的更新过程。如下图,似乎与线性回归的更新过程一样,但是值得注意的是这里的

,所以这是两个不同的过程。

下一次课程的总结中,我们将开始一个新的部分,即神经网络的学习。期待与你一起。

参考链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-04-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 专知 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档