Andrew Ng机器学习课程笔记(三)之正则化

Andrew Ng机器学习课程笔记(三)之正则化

版权声明:本文为博主原创文章,转载请指明转载地址

http://www.cnblogs.com/fydeblog/p/7365475.html

前言

学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新!

这篇博客主要记录Andrew Ng课程第三章正则化,主要介绍了线性回归和逻辑回归中,怎样去解决欠拟合和过拟合的问题

简要介绍:在进行线性回归或逻辑回归时,常常会出现以下三种情况

回归问题:

第一个模型是一个线性模型,欠拟合,不能很好地适应我们的训练中;第三个模型是一个四次方的模型,过于强调拟合原始数据,而丢失了算法的本质:预测新数据。我们可以看出, 若给出一个新的值使之预测,它将表现的很差,是过拟合,虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好;而中间的模型似乎最合适。

分类问题也一样:

问题来了,那么解决方案也出现了,那就是正则化。

1. 改造代价函数

上面出现的过拟合是因为那些高次项导致了它们的产生,所以如果我们能让这些高次项的系数接近于0的话,我们就能很好的拟合了。

试想一下,将上面的代价函数改动如下,增加了关于和两项

这样做的话,我们在尝试最小化代价时也需要将这个表达式纳入考虑中,并最终导致选择较小一些的θ3和θ4,那样就从过拟合过渡到拟合状态。

经过正则化处理的模型与原模型的可能对比如下图所示:

2. 正则化线性回归

(1)基于梯度下降

正则化线性回归的代价函数为:

如果我们要使用梯度下降法令这个代价函数最小化,因为我们未对θ0进行正则化,所以梯度下降算法将分两种情形:

转换一下,可以写为

可见,正则化线性回归的梯度下降算法的变化在于,每次都在原有算法更新规则的基础上令θ值减少了一个额外的值。

(2) 正规方程

3. 正则化逻辑回归

相应的代价函数:

梯度下降算法:

虽然正则化的逻辑回归中的梯度下降和正则化的线性回归中的表达式看起来一样,但由于两者的h(x)不同所以还是有很大差别。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

深度学习目标检测指南:如何过滤不感兴趣的分类及添加新分类?

22730
来自专栏锦小年的博客

3. R语言随机数生成

1. 均匀分布 函数: runif(n, min=0, max=1),n 表示生成的随机数数量,min 表示均匀分布的下限,max 表示均匀分布的上限,若省略参...

439100
来自专栏文武兼修ing——机器学习与IC设计

基于sklearn的线性支持向量机分类器原理代码实现

原理 分类器 机器学习的分类器,均可以看成一个或一组超平面,将label不同的数据点在数据空间中分开。对于线性可分问题,属于相同label的数据点在数据空间中可...

45090
来自专栏CreateAMind

Deep Learning Book 中文5.7-6.2节 机器学习基础-深度前馈网络

监督学习算法、无监督学习算法、推动深度学习的挑战;基于梯度的学习:最大似然学习条件分布;不同的输出单元:多分类等。

10420
来自专栏CreateAMind

神经网络(Neural Networks)课程ppt及视频

12020
来自专栏机器之心

增加检测类别?这是一份目标检测的基础指南

15750
来自专栏fangyangcoder

Andrew Ng机器学习课程笔记(一)之线性回归

http://www.cnblogs.com/fydeblog/p/7364598.html

22920
来自专栏机器学习算法工程师

Batchnorm原理详解

作者:刘威威 小编:赵一帆 前言:Batchnorm是深度网络中经常用到的加速神经网络训练,加速收敛速度及稳定性的算法,可以说是目前深度网络必不可少的一部分。...

1.2K60
来自专栏AI科技大本营的专栏

深度学习目标检测指南:如何过滤不感兴趣的分类及添加新分类?

AI 科技大本营按:本文编译自 Adrian Rosebrock 发表在 PyImageSearch 上的一篇博文。该博文缘起于一位网友向原作者请教的两个关于目...

17020
来自专栏机器学习算法工程师

Scikit-learn之决策树

作者:章华燕 编辑:黄俊嘉 决策树在学习应用中非常有用,接下来给大家分享一下自己有关于决策树的一些想法! 决策树概述 决策树是一个非参数的监督式学习方法,主要用...

31960

扫码关注云+社区

领取腾讯云代金券