专栏首页专知【重温经典】吴恩达机器学习课程学习笔记十:正则化

【重温经典】吴恩达机器学习课程学习笔记十:正则化

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专知内容组推出吴恩达老师的机器学习课程笔记系列,重温机器学习经典课程,希望大家会喜欢。

【重温经典】吴恩达机器学习课程学习笔记一:监督学习

【重温经典】吴恩达机器学习课程学习笔记二:无监督学习(unsupervised learning)

【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍

【重温经典】吴恩达机器学习课程学习笔记四:梯度下降

【重温经典】吴恩达机器学习课程学习笔记五:多元梯度下降

【重温经典】吴恩达机器学习课程学习笔记六:特征处理与多项式拟合

【重温经典】吴恩达机器学习课程学习笔记七:Logistic回归

【重温经典】吴恩达机器学习课程学习笔记八:Logistic回归续

【重温经典】吴恩达机器学习课程学习笔记九:过拟合

吴恩达机器学习课程系列视频链接

http://study.163.com/course/courseMain.htm?courseId=1004570029

春节充电系列:李宏毅2017机器学习课程学习全部笔记

吴恩达课程学习笔记十:正则化

1、 正则化代价函数



如下右半图,当我们用四次多项式去拟合数据的时候,会出现过拟合的现象。现在想到的策略是给代价函数加上惩罚项(1000+1000),目的是为了让,最小。(如下图,为了使代价函数最小,则需要使与尽量小,近似为0,则四次多项式近似退化为二次多项式,从而可以对数据进行较好的拟合)

如下图,例如前面提到的房价问题,假设影响房价的特征有一百个,为了使参数尽可能小,在代价函数里增加,注意这里i从1开始(在后面的总结中会再次提到)

上面的总结中提到了正则化(涉及参数),那么当过大时,则会导致除外的其余参数都近似为0,这样预测函数近似变为图中的一条水平线,可以很明显的看出这样的拟合效果是极差的。

2、 线性回归的正则化



梯度下降算法:

如前面所述,i从1(这里是j)开始,所以将j=0的情况单独拿出来。对于j=1之后的参数的更新,增加一项

,经过整理后可得下图最下方的式子。这里

会是一个略小于1的数(比如0.99之类)。其余部分与未正则化的线性回归的梯度下降公式一样。总而言之:对于

按照未正则化的梯度下降算法进行更新,对于其余参数的更新,需要先对参数乘上(

),剩下的更新过程与未正则化时没有区别。

正规方程法:

对于求解线性回归问题的最优化,可以使用常规方程法。对于正则化之后,只需要在求逆之前,对

加上一项(其中对角线上第一个元素是0,其余位置是1,对角线以外都是0)

前面的课程总结中曾经提到过有可能不可逆(当样本数少于数据集的特征数时就有可能会出现不可逆的情况),但是值得注意的是对线性回归运用正则化后,(求逆的部分)一定是可逆的。

3、 logistic回归的正则化



前面的总结内容中我们同样介绍过logistic的代价函数,正则化后,需要在代价函数后面加上一项

,这样原先过拟合的边界(如下坐标图上的蓝色线)就会变成更加合理的边界线(如下图粉色的线)。

同样,这里给出logistic回归的参数在梯度下降算法下的更新过程。如下图,似乎与线性回归的更新过程一样,但是值得注意的是这里的

,所以这是两个不同的过程。

下一次课程的总结中,我们将开始一个新的部分,即神经网络的学习。期待与你一起。

参考链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

本文分享自微信公众号 - 专知(Quan_Zhuanzhi),作者:Fan

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-04-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【重温经典】吴恩达机器学习课程学习笔记十一:神经网络

    WZEARW
  • Seq2seq强化学习实战 (Pytorch, Tensorflow, Theano)

    【导读】本文是Kirti Bakshi在1月14日写的关于其强化学习课程的一个介绍,作者首先简单介绍了机器学习的缺点,以及为什么使用深度学习。然后讲述了其开设的...

    WZEARW
  • CMU2017年秋季课程:深度学习——Ruslan Salakhutdinov主讲(附PPT下载)

    【导读】本文是对美国卡耐基梅隆大学(CMU)2017年秋季课程——深度学习的介绍,CMU一直走在深度学习领域的前列,虽然该课程是2017年秋季开课的,但是其关于...

    WZEARW
  • 【DB笔试面试663】在Oracle中,死锁的产生情况有哪些?

    Oracle中的死锁比较复杂,产生死锁的原因也有很多种,曾经有面试官让面试人员口头模拟死锁产生的一个场景。下面详细介绍死锁的相关内容。

    小麦苗DBA宝典
  • 【微信小程序】传参问题

    写微信小程序的时候这里 出了查询的bug 不知道是哪里错了,对着教程找好几遍都没发现

    韩旭051
  • 死锁案例之八

    死锁其实是一个很有意思也很有挑战的技术问题,大概每个DBA和部分开发朋友都会在工作过程中遇见。关于死锁我会持续写一个系列的案例分析,希望能够对想了解死锁的朋友有...

    用户1278550
  • 合子:连接机器学习和科学计算的可区别编程系统

    原文题目:Mike Innes, Alan Edelman, Keno Fischer, Chris Rackauckus, Elliot Saba, Vira...

    Jarvis Cocker
  • 第七节 关联映射之多对多

    本次用 MyBatis 实现多对多关联映射:一个学生可以选多门课,一个课也可以由多个学生选。 一、 数据库准备 为了测试方便,我们在这里新建一个数据库并取名my...

    企鹅号小编
  • ICLR-17最全盘点:PyTorch超越TensorFlow,三巨头Hinton、Bengio、LeCun论文被拒,GAN泛滥

    【新智元导读】机器学习&深度学习盛会 ICLR 2017 落下帷幕。本届会议都有哪些亮点?体现了哪些技术变化及趋势?对整个 AI 业界有什么影响?新智元为你带来...

    新智元
  • 太赞了,亚马逊免费对外开放计算机编程课!

    今天跟大家分享亚马逊在前不久免费开放的一个计算机编程课程:Amazon Future Engineer。

    GitHubDaily

扫码关注云+社区

领取腾讯云代金券