专栏首页算法channel「机器学习」:不得不知的概念(2)

「机器学习」:不得不知的概念(2)

在上一篇推送中我们总结了机器学习第一课,一些最最基本的概念,比如特征,训练集,维数,假设空间等,接下来,继续介绍机器学习第二课,通过一个例子说明什么是机器学习的泛化能力,理解它有助于你了解机器学习为什么要解决过拟合问题。

泛化能力

泛化能力(generalization),学得的模型适用于新样本的能力,是非常重要的能力。

举个例子来说明什么是泛化能力。

就在我们上学那回,小明爱动脑筋,老师讲的题目不光会做,还能举一反三;小红学习很努力,上课认真听讲,老师布置的作业完成的非常好,但是这仅限于老师讲过的知识范畴内,因为小红不喜欢动脑筋,就是填鸭时地学习知识,老师讲什么,她就学什么,并且这些学得非常好。

在一次数学竞赛中,考的题目都不是以前做过的题目,更别说有原题了,考试的结果,小明100,小红30。

我们说小明的泛化能力很强,因为它能根据老师讲的东西,准确回答出以前老是讲过地类似题目,毕竟万变不离其宗,形式再不一样的题目还是围绕那30个知识点。

但是,小红泛化能力很弱,它虽然平时老师讲的那些题目都会做,但过度地依赖老师讲的每一个细节,仅限于老师讲的那些东西,当来了一个形式上变化但是原理不变的题目时,她变得束手无策,答错了很多题。

引起泛化能力不足的一个原因是过拟合,过拟合导致在测试集上变现非常好,但是在新来的数据集上表现非常差。

泛化能力图解

泛化能力差

过拟合,导致了泛化能力差;

泛化能力好

相对于左图,此拟合的泛化能力好

总结

以上通过1个例子阐述了机器学习中非常重要的1个概念:泛化能力。

本文分享自微信公众号 - 算法channel(alg-channel),作者:alg-flody

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-11-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 机器学习储备(2):高斯分布

    讲解了独立同分布的概念,高斯分布,一维高斯分布。 1 独立同分布 指随机过程中,任何时刻的取值都为随机变量,如果这些随机变量服从同一分布,并且互相独立,那么这些...

    double
  • 全面总结机器学习项目和面试中几乎绕不开的决策树

    决策树是一种常见的机器学习算法,它的思想十分朴素,类似于我们平时利用选择做决策的过程。

    double
  • 数字 20 例

    接下来我会严格按照 我的施工计划,往下推进这个开源项目( 目前 4300+ star ),链接为:

    double
  • 学界 | 模型的泛化能力仅和Hessian谱有关吗?

    经验表明,通过训练深度神经网络得到的不同局部最优值往往并不能以相同的方式泛化到未知数据集上,即使取得了相同的训练损失。近年来,这一问题日益受到经验和理论深度学习...

    机器之心
  • 拒绝DNN过拟合,谷歌准确预测训练集与测试集泛化差异,还开源了数据集 | ICLR 2019

    深度神经网络(DNN)如今已经无处不在,从下围棋到打星际,DNN已经渗透到图像识别、图像分割、机器翻译等各种领域,并且总是表现惊艳。

    量子位
  • ICLR 2019 | 如何理解深度神经网络的泛化性能?谷歌认为可以从「泛化鸿沟」入手

    AI 科技评论按:深度神经网络(DNN)作为机器学习的基础,为图像识别、图像分割、机器翻译等诸多领域取得突破性进展做出了重大贡献,然而研究人员始终都无法完全理解...

    AI研习社
  • ICLR 2019 | 如何理解深度神经网络的泛化性能?谷歌认为可以从「泛化鸿沟」入手

    AI 科技评论按:深度神经网络(DNN)作为机器学习的基础,为图像识别、图像分割、机器翻译等诸多领域取得突破性进展做出了重大贡献,然而研究人员始终都无法完全理解...

    AI科技评论
  • 【Bengio vs 谷歌】深度学习兄弟对决,神经网络泛化本质之争

    【新智元导读】一场或许有关深度学习本质的争论正在火热进行中。去年底,MIT、DeepMind 和谷歌大脑合著的论文《理解深度学习需要重新思考泛化》引发热论。论文...

    新智元
  • 深度神经网络的泛化间隙

    深度神经网络(DNN)如今已经无处不在,从下围棋到打星际,DNN已经渗透到图像识别、图像分割、机器翻译等各种领域,并且总是表现惊艳。

    商业新知
  • 学界 | Yoshua Bengio与MIT发表新论文:深度学习中的泛化

    选自arXiv 机器之心编译 参与:路雪、刘晓坤 日前,MIT 和 Bengio 发表新论文,探讨深度学习中的泛化。该论文解释了深度学习能够实现较好泛化的原因,...

    机器之心

扫码关注云+社区

领取腾讯云代金券