专栏首页fangyangcoderAndrew Ng机器学习课程笔记(三)之正则化

Andrew Ng机器学习课程笔记(三)之正则化

Andrew Ng机器学习课程笔记(三)之正则化

版权声明:本文为博主原创文章,转载请指明转载地址

http://www.cnblogs.com/fydeblog/p/7365475.html

前言

学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新!

这篇博客主要记录Andrew Ng课程第三章正则化,主要介绍了线性回归和逻辑回归中,怎样去解决欠拟合和过拟合的问题

简要介绍:在进行线性回归或逻辑回归时,常常会出现以下三种情况

回归问题:

第一个模型是一个线性模型,欠拟合,不能很好地适应我们的训练中;第三个模型是一个四次方的模型,过于强调拟合原始数据,而丢失了算法的本质:预测新数据。我们可以看出, 若给出一个新的值使之预测,它将表现的很差,是过拟合,虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好;而中间的模型似乎最合适。

分类问题也一样:

问题来了,那么解决方案也出现了,那就是正则化。

1. 改造代价函数

上面出现的过拟合是因为那些高次项导致了它们的产生,所以如果我们能让这些高次项的系数接近于0的话,我们就能很好的拟合了。

试想一下,将上面的代价函数改动如下,增加了关于和两项

这样做的话,我们在尝试最小化代价时也需要将这个表达式纳入考虑中,并最终导致选择较小一些的θ3和θ4,那样就从过拟合过渡到拟合状态。

经过正则化处理的模型与原模型的可能对比如下图所示:

2. 正则化线性回归

(1)基于梯度下降

正则化线性回归的代价函数为:

如果我们要使用梯度下降法令这个代价函数最小化,因为我们未对θ0进行正则化,所以梯度下降算法将分两种情形:

转换一下,可以写为

可见,正则化线性回归的梯度下降算法的变化在于,每次都在原有算法更新规则的基础上令θ值减少了一个额外的值。

(2) 正规方程

3. 正则化逻辑回归

相应的代价函数:

梯度下降算法:

虽然正则化的逻辑回归中的梯度下降和正则化的线性回归中的表达式看起来一样,但由于两者的h(x)不同所以还是有很大差别。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Andrew Ng机器学习课程笔记--week3(逻辑回归&正则化参数)

    Logistic Regression 一、内容概要 Classification and Representation Classification Hyp...

    marsggbo
  • Andrew Ng机器学习课程笔记--week5(下)

    Neural Networks: Learning 内容较多,故分成上下两篇文章。 一、内容概要 Cost Function and Backpropagat...

    marsggbo
  • Andrew Ng机器学习课程笔记--week5(上)

    Neural Networks: Learning 内容较多,故分成上下两篇文章。 一、内容概要 Cost Function and Backpropagat...

    marsggbo
  • Andrew Ng机器学习课程笔记--week7(SVM)

    本周主要学习SVM 一、 内容概要 Large Margin Classification Optimization Objective(优化Objectiv...

    marsggbo
  • Andrew Ng机器学习课程笔记(一)之线性回归

    http://www.cnblogs.com/fydeblog/p/7364598.html

    努力努力再努力F
  • Andrew Ng机器学习课程笔记(二)之逻辑回归

    http://www.cnblogs.com/fydeblog/p/7364636.html

    努力努力再努力F
  • Andrew Ng机器学习课程笔记(四)之神经网络

    http://www.cnblogs.com/fydeblog/p/7365730.html

    努力努力再努力F
  • Andrew Ng机器学习课程笔记--week8(K-means&PCA)

    Unsupervised Learning 本周我们讲学习非监督学习算法,会学习到如下概念 聚类(clustering) PCA(Principal Comp...

    marsggbo
  • 吴恩达 deeplearning.ai 经典总结

    很多同学都是看吴恩达 Andrew Ng的视频学习机器学习和深度学习的,当然学习就要做笔记。这不,一位名叫Tess Ferrandez的学习爱好者在分享了一套自...

    小小詹同学

扫码关注云+社区

领取腾讯云代金券