首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

「机器学习」:不得不知的概念(2)

在上一篇推送中我们总结了机器学习第一课,一些最最基本的概念,比如特征,训练集,维数,假设空间等,接下来,继续介绍机器学习第二课,通过一个例子说明什么是机器学习的泛化能力,理解它有助于你了解机器学习为什么要解决过拟合问题。

泛化能力

泛化能力(generalization),学得的模型适用于新样本的能力,是非常重要的能力。

举个例子来说明什么是泛化能力。

就在我们上学那回,小明爱动脑筋,老师讲的题目不光会做,还能举一反三;小红学习很努力,上课认真听讲,老师布置的作业完成的非常好,但是这仅限于老师讲过的知识范畴内,因为小红不喜欢动脑筋,就是填鸭时地学习知识,老师讲什么,她就学什么,并且这些学得非常好。

在一次数学竞赛中,考的题目都不是以前做过的题目,更别说有原题了,考试的结果,小明100,小红30。

我们说小明的泛化能力很强,因为它能根据老师讲的东西,准确回答出以前老是讲过地类似题目,毕竟万变不离其宗,形式再不一样的题目还是围绕那30个知识点。

但是,小红泛化能力很弱,它虽然平时老师讲的那些题目都会做,但过度地依赖老师讲的每一个细节,仅限于老师讲的那些东西,当来了一个形式上变化但是原理不变的题目时,她变得束手无策,答错了很多题。

引起泛化能力不足的一个原因是过拟合,过拟合导致在测试集上变现非常好,但是在新来的数据集上表现非常差。

泛化能力图解

泛化能力差

过拟合,导致了泛化能力差;

泛化能力好

相对于左图,此拟合的泛化能力好

总结

以上通过1个例子阐述了机器学习中非常重要的1个概念:泛化能力。

下一篇
举报
领券