机器学习面试之偏差方差

在机器学习的面试中,能不能讲清楚偏差方差,经常被用来考察面试者的理论基础。偏差方差看似很简单,但真要彻底地说明白,却有一定难度。比如,为什么KNN算法在增大k时,偏差会变大,但RF增大树的数目时偏差却保持不变,GBDT在增大树的数目时偏差却又能变小。本文的目的就是希望能对偏差方差有一个科学的解读,欢迎大家多多交流。

01

引子

假设我们有一个回归问题,我们搞到一批训练数据D,然后选择了一个模型M,并用数据D将M训练出来,记作Mt,这里我们故意把模型M与训练出的模型Mt区分开,是为了后面叙述时概念上的清晰。现在,我们怎么评价这个模型的好坏呢?

你可能会不屑地说,这么简单的问题还用问吗,当然是用test集来测试啊。

哈哈!你上当了!

因为我并没有说明是评价模型M的好坏还是模型Mt的好坏!这二者有什么区别呢?

我们都知道,模型M代表的是一个函数空间,比如模型y=wx+b,若x,y都是实数,w,b为实数参数,则该模型就代表了平面上所有的直线,这所有的直线就是一个函数空间。

同理,y=ax^2+bx+c代表的就是平面上所有的二次曲线,所有的二次曲线组成一个函数空间。当然,所有的直线此时也是二次曲线的特例。

回到上面的问题,Mt实际上是用数据D找到的M代表的函数空间中的一个具体的函数。这话有点绕,不过还是不难理解的。

Mt的表现好坏不能完整地代表M的好坏。

上面这句话有很多内涵,我们一点一点来说明。

02

什么是M的好坏

以上面的一次函数和二次函数为例,当我们说二次函数比一次函数更好时,我们潜在的含义是说,对于某个我们正要解决的机器学习问题来说,二次函数总体上比一次函数表现更好,我们是在函数空间的层次上来比较的。

而且,还是针对一个具体的机器学习问题来比较的,因为对于不同的机器学习问题,二者哪个更好是不一定的。

Note:在下文中,可以把机器学习问题默想成回归问题,这样便于理解。

这里再次强调,当我们说模型好坏时,隐含有两个含义:

1)比较的是整个函数空间

2)针对某个具体机器学习问题比较

03

怎么比较M的好坏?

我们可以这样做:

1)找一条不变的万能测试样本

在这个具体的机器学习问题中找一条样本x,它的标签为y。在后续的所有训练中都用这条样本做测试集,永远不用作训练集。

2)在测试样本上观察Mt的表现,假设Mt在样本x上的预测值为yt,则y-yt可用来评价Mt的表现好坏。

3)找另外一个训练集D1,训练出Mt1,在测试样本上测试得到yt1,进而得到误差y-yt1,

4)重复第3步多次,直到得到N个具体的模型,和N个yt,N个y-yt。

5)当N足够大时,我们可以这样来评测M的好坏,首先看N个yt的均值ytmean是否等于y,其次,看N个yt相对均值ytmean的方差有多大。

显然,若ytmean=y,说明M学习能力是够的,也就是说,当N趋向无穷大时,N个Mt对x预测的均值能无限接近y。

很多人会有种错觉,感觉任何M都能达到上面的效果,实际上,不是每一个M都有这样的能力的,举个极端的例子,我们假设M1的函数空间中只有一个函数,且对于任何样本的预测值都恒等于y+1,则无论N多大,ytmean都会比y大1的。我们称M1由于学习能力不够所造成的对x的预测误差叫做偏差。

其次,N个yt相对均值ytmean的方差有多大也能从另一个方面揭示M的好坏,举个例子,假设我们有M1,M2两个模型,当N无穷大时,都能使得ytmean等于y。但是M1的预测值是这样分布的(下面圆点代表一个个的预测值)

.....ytmean.....

M2的预测值是这样分布的

. . . .ytmean. . . .

显然,我们会觉得M1比M2更好。你可能会想,N足够大时,二者都能准确地均值到y,这就够了,没必要再比较它们的预测值相对均值的方差。

这样的观点错误的地方是:实践中,我们并不能抽样出D1,D2,D3.......DN个训练集,往往只有一份训练集D,这种情况下,显然,用M1比用M2更有把握得到更小的误差。

04

举例子来说明偏差方差

假设模型是一个射击学习者,D1,D2直到DN就是N个独立的训练计划。

如果一个学习者是正常人,一个眼睛斜视,则可以想见,斜视者无论参加多少训练计划,都不会打中靶心,问题不在训练计划够不够好,而在他的先天缺陷。这就是模型偏差产生的原因,学习能力不够。正常人参加N个训练计划后,虽然也不能保证打中靶心,但随着N的增大,会越来越接近靶心。

假设还有一个超级学习者,他的学习能力特别强,参加训练计划D1时,他不仅学会了瞄准靶心,还敏感地捕捉到了训练时的风速,光线,并据此调整了瞄准的方向,此时,他的训练成绩会很好。

但是,当参加测试时的光线,风速肯定与他训练时是不一样的,他仍然按照训练时学来的瞄准方法去打靶,肯定是打不好。这样产生的误差就是方差。这叫做聪明反被聪明误。

总结一下:学习能力不行造成的误差是偏差,学习能力太强造成的误差是方差。

05

权衡偏差方差

当我们只有一份训练数据D时,我们选的M若太强,好比射手考虑太多风速,光线等因素,学出来的模型Mt在测试样本上表现肯定不好,若选择的M太挫,比如是斜视,也无论如何在测试的样本上表现也不会好。所以,最好的M就是学习能力刚刚好的射手,它能够刚刚好学习到瞄准的基本办法,又不会画蛇添足地学习太多细枝末节的东西。

06

回答本文最初的问题

对于KNN算法,k值越大,表示模型的学习能力越弱,因为k越大,它越倾向于从“面”上考虑做出判断,而不是具体地考虑一个样本 近身的情况来做出判断,所以,它的偏差会越来越大。

对于RF,我们实际上是部分实现了多次训练取均值的效果,每次训练得到的树都是一个很强的学习者,每一个的方差都比较大,但综合起来就会比较小。好比一个很强的学习者学习时,刮着西风,它会据此调整自己的瞄准方法,另一个很强的学习者学习时刮着东风,(西风、东风可以理解为不同训练集中的噪声)它也会据此调整自己的瞄准方法,在测试样本时,一个误差向西,一个误差向东,刚好起到互相抵消的作用,所以方差会比较小。但是由于每棵树的偏差都差不多,所以,我们取平均时,偏差不会怎么变化。

为什么说是部分实现了多次训练取均值的效果而不是全部呢?因为我们在训练各棵树时,是通过抽样样本集来实现多次训练的,不同的训练集中不可避免地会有重合的情况,此时,就不能认为是独立的多次训练了,各个训练得到的树之间的方差会产生一定的相关性,训练集中重合的样本越多,则两棵树之间的方差的相关性越强,就越难达成方差互相抵消的效果。

对于GBDT,N棵树之间根本就不是一种多次训练取均值的关系,而是N棵树组成了相关关联,层层递进的超级学习者,可想而知,它的方差一定是比较大的。但由于它的学习能力比较强,所以,它的偏差是很小的,而且树的棵树越多,学习能力就越强,偏差就越小。也就是说,只要学习次数够多,预测的均值会无限接近于目标。简单讲就是GBDT的N棵树实际上是一个有机关联的模型,不能认为是N个模型。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2018-02-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 从文本挖掘综述分类、聚类和信息提取等算法

选自arXiv 机器之心编译 参与:机器之心编辑部 文本挖掘一直是十分重要的信息处理领域,因为不论是推荐系统、搜索系统还是其它广泛性应用,我们都需要借助文本挖掘...

3375
来自专栏marsggbo

AutoML技术现状与未来展望

很多时候在某一领域使用机器学习得到了效果很好的模型,但是若要在另一个领域使用该模型则不一定适用,而且通常需要大量的专业知识。正是由于受到这样的限制,所以才有了A...

1985
来自专栏CDA数据分析师

美团实例详解机器学习如何解决问题

前言 随着大数据时代的到来,机器学习成为解决问题的一种重要且关键的工具。不管是工业界还是学术界,机器学习都是一个炙手可热的方向,但是学术界和工业界对机器学习的...

1909
来自专栏大数据挖掘DT机器学习

详解机器学习解决实际问题完整过程

不管是工业界还是学术界,机器学习都是一个炙手可热的方向,但是学术界和工业界对机器学习的研究各有侧重,学术界侧重于对机器学习理论的研究,工业界侧重于如何用机器学...

3337
来自专栏机器之心

学界 | LeCun提出错误编码网络,可在不确定环境中执行时间预测

3299
来自专栏量子位

想把自拍背景改成马尔代夫?手把手教你用深度学习分分钟做到

王小新 编译自 TowardsDataScience 量子位 出品 | 公众号 QbitAI 以前,从照片里抠出人像去掉背景,是要到处求PS大神帮忙的。大神时间...

3749
来自专栏数据科学与人工智能

【原理】机器学习偏差与方差

小编邀请您,先思考: 1 为什么KNN算法在增大k时,偏差会变大? 2 RF增大树的数目时偏差却保持不变,GBDT在增大树的数目时偏差却又能变小? 在机器学习的...

34711
来自专栏iOSDevLog

人工智能-深度学习框架下的神经网络

2226
来自专栏IT派

终于,Geoffrey Hinton那篇备受关注的Capsule论文公开了

Geoffrey Hinton 等人备受关注的 NIPS 2017 论文《Dynamic Routing Between Capsules》已于数小时前公开。 ...

41110
来自专栏目标检测和深度学习

干货整理:处理不平衡数据的技巧总结!收好不谢

文:Rick Radewagen 译:李萌 在银行欺诈检测,市场实时竞价或网络入侵检测等领域通常是什么样的数据集呢? 在这些领域使用的数据通常有不到1%少量但“...

34210

扫码关注云+社区