机器学习面试之偏差方差

在机器学习的面试中,能不能讲清楚偏差方差,经常被用来考察面试者的理论基础。偏差方差看似很简单,但真要彻底地说明白,却有一定难度。比如,为什么KNN算法在增大k时,偏差会变大,但RF增大树的数目时偏差却保持不变,GBDT在增大树的数目时偏差却又能变小。本文的目的就是希望能对偏差方差有一个科学的解读,欢迎大家多多交流。

01

引子

假设我们有一个回归问题,我们搞到一批训练数据D,然后选择了一个模型M,并用数据D将M训练出来,记作Mt,这里我们故意把模型M与训练出的模型Mt区分开,是为了后面叙述时概念上的清晰。现在,我们怎么评价这个模型的好坏呢?

你可能会不屑地说,这么简单的问题还用问吗,当然是用test集来测试啊。

哈哈!你上当了!

因为我并没有说明是评价模型M的好坏还是模型Mt的好坏!这二者有什么区别呢?

我们都知道,模型M代表的是一个函数空间,比如模型y=wx+b,若x,y都是实数,w,b为实数参数,则该模型就代表了平面上所有的直线,这所有的直线就是一个函数空间。

同理,y=ax^2+bx+c代表的就是平面上所有的二次曲线,所有的二次曲线组成一个函数空间。当然,所有的直线此时也是二次曲线的特例。

回到上面的问题,Mt实际上是用数据D找到的M代表的函数空间中的一个具体的函数。这话有点绕,不过还是不难理解的。

Mt的表现好坏不能完整地代表M的好坏。

上面这句话有很多内涵,我们一点一点来说明。

02

什么是M的好坏

以上面的一次函数和二次函数为例,当我们说二次函数比一次函数更好时,我们潜在的含义是说,对于某个我们正要解决的机器学习问题来说,二次函数总体上比一次函数表现更好,我们是在函数空间的层次上来比较的。

而且,还是针对一个具体的机器学习问题来比较的,因为对于不同的机器学习问题,二者哪个更好是不一定的。

Note:在下文中,可以把机器学习问题默想成回归问题,这样便于理解。

这里再次强调,当我们说模型好坏时,隐含有两个含义:

1)比较的是整个函数空间

2)针对某个具体机器学习问题比较

03

怎么比较M的好坏?

我们可以这样做:

1)找一条不变的万能测试样本

在这个具体的机器学习问题中找一条样本x,它的标签为y。在后续的所有训练中都用这条样本做测试集,永远不用作训练集。

2)在测试样本上观察Mt的表现,假设Mt在样本x上的预测值为yt,则y-yt可用来评价Mt的表现好坏。

3)找另外一个训练集D1,训练出Mt1,在测试样本上测试得到yt1,进而得到误差y-yt1,

4)重复第3步多次,直到得到N个具体的模型,和N个yt,N个y-yt。

5)当N足够大时,我们可以这样来评测M的好坏,首先看N个yt的均值ytmean是否等于y,其次,看N个yt相对均值ytmean的方差有多大。

显然,若ytmean=y,说明M学习能力是够的,也就是说,当N趋向无穷大时,N个Mt对x预测的均值能无限接近y。

很多人会有种错觉,感觉任何M都能达到上面的效果,实际上,不是每一个M都有这样的能力的,举个极端的例子,我们假设M1的函数空间中只有一个函数,且对于任何样本的预测值都恒等于y+1,则无论N多大,ytmean都会比y大1的。我们称M1由于学习能力不够所造成的对x的预测误差叫做偏差。

其次,N个yt相对均值ytmean的方差有多大也能从另一个方面揭示M的好坏,举个例子,假设我们有M1,M2两个模型,当N无穷大时,都能使得ytmean等于y。但是M1的预测值是这样分布的(下面圆点代表一个个的预测值)

.....ytmean.....

M2的预测值是这样分布的

. . . .ytmean. . . .

显然,我们会觉得M1比M2更好。你可能会想,N足够大时,二者都能准确地均值到y,这就够了,没必要再比较它们的预测值相对均值的方差。

这样的观点错误的地方是:实践中,我们并不能抽样出D1,D2,D3.......DN个训练集,往往只有一份训练集D,这种情况下,显然,用M1比用M2更有把握得到更小的误差。

04

举例子来说明偏差方差

假设模型是一个射击学习者,D1,D2直到DN就是N个独立的训练计划。

如果一个学习者是正常人,一个眼睛斜视,则可以想见,斜视者无论参加多少训练计划,都不会打中靶心,问题不在训练计划够不够好,而在他的先天缺陷。这就是模型偏差产生的原因,学习能力不够。正常人参加N个训练计划后,虽然也不能保证打中靶心,但随着N的增大,会越来越接近靶心。

假设还有一个超级学习者,他的学习能力特别强,参加训练计划D1时,他不仅学会了瞄准靶心,还敏感地捕捉到了训练时的风速,光线,并据此调整了瞄准的方向,此时,他的训练成绩会很好。

但是,当参加测试时的光线,风速肯定与他训练时是不一样的,他仍然按照训练时学来的瞄准方法去打靶,肯定是打不好。这样产生的误差就是方差。这叫做聪明反被聪明误。

总结一下:学习能力不行造成的误差是偏差,学习能力太强造成的误差是方差。

05

权衡偏差方差

当我们只有一份训练数据D时,我们选的M若太强,好比射手考虑太多风速,光线等因素,学出来的模型Mt在测试样本上表现肯定不好,若选择的M太挫,比如是斜视,也无论如何在测试的样本上表现也不会好。所以,最好的M就是学习能力刚刚好的射手,它能够刚刚好学习到瞄准的基本办法,又不会画蛇添足地学习太多细枝末节的东西。

06

回答本文最初的问题

对于KNN算法,k值越大,表示模型的学习能力越弱,因为k越大,它越倾向于从“面”上考虑做出判断,而不是具体地考虑一个样本 近身的情况来做出判断,所以,它的偏差会越来越大。

对于RF,我们实际上是部分实现了多次训练取均值的效果,每次训练得到的树都是一个很强的学习者,每一个的方差都比较大,但综合起来就会比较小。好比一个很强的学习者学习时,刮着西风,它会据此调整自己的瞄准方法,另一个很强的学习者学习时刮着东风,(西风、东风可以理解为不同训练集中的噪声)它也会据此调整自己的瞄准方法,在测试样本时,一个误差向西,一个误差向东,刚好起到互相抵消的作用,所以方差会比较小。但是由于每棵树的偏差都差不多,所以,我们取平均时,偏差不会怎么变化。

为什么说是部分实现了多次训练取均值的效果而不是全部呢?因为我们在训练各棵树时,是通过抽样样本集来实现多次训练的,不同的训练集中不可避免地会有重合的情况,此时,就不能认为是独立的多次训练了,各个训练得到的树之间的方差会产生一定的相关性,训练集中重合的样本越多,则两棵树之间的方差的相关性越强,就越难达成方差互相抵消的效果。

对于GBDT,N棵树之间根本就不是一种多次训练取均值的关系,而是N棵树组成了相关关联,层层递进的超级学习者,可想而知,它的方差一定是比较大的。但由于它的学习能力比较强,所以,它的偏差是很小的,而且树的棵树越多,学习能力就越强,偏差就越小。也就是说,只要学习次数够多,预测的均值会无限接近于目标。简单讲就是GBDT的N棵树实际上是一个有机关联的模型,不能认为是N个模型。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2018-02-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

想了解机器学习?你需要知道的十个基础算法

关于机器学习,你需要知道的十个基础算法 毫无疑问,作为人工智能的子领域—机器学习在过去的几年中越来越受欢迎。由于大数据是目前科技行业最热门的趋势,基于大量的数据...

3146
来自专栏CDA数据分析师

提问 | 如何利用一批去年的数据,来预测未来三年的数据?

文 | 邹日佳 来自知乎 1、这批去年的数据是按月份的,本身肯定会有波动,但相对稳定。 2、预测未来三年的数据是需要具体到月份。恩 3、请问有什么统计方法可以做...

2009
来自专栏Python中文社区

支持向量机原理推导(一)

專 欄 ❈ exploit,Python中文社区专栏作者。希望与作者交流或者对文章有任何疑问的可以与作者联系: Email:15735640998@163.co...

1998
来自专栏专知

基于信息理论的机器学习-中科院自动化所胡包钢研究员教程分享04(附pdf下载)

【导读】专知于11月24日推出胡老师的基于信息理论的机器学习报告系列教程,大家反响热烈,胡老师PPT内容非常翔实精彩,是学习机器学习信息理论不可多得的好教程,今...

3257
来自专栏ATYUN订阅号

10大数据挖掘算法及其简介

我希望你能把这篇文章作为一个跳板,学习更多关于数据挖掘的知识。 算法如下: 1. C4.5 2. k-means 3. 支持向量机 4. Apriori 5. ...

36513
来自专栏数据科学与人工智能

【原理】机器学习偏差与方差

小编邀请您,先思考: 1 为什么KNN算法在增大k时,偏差会变大? 2 RF增大树的数目时偏差却保持不变,GBDT在增大树的数目时偏差却又能变小? 在机器学习的...

34611
来自专栏算法channel

机器学习数据预处理:数据降维之PCA

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来...

2738
来自专栏大数据

10大数据挖掘算法及其简介

AiTechYun 编辑:xiangxiaoshan 我希望你能把这篇文章作为一个跳板,学习更多关于数据挖掘的知识。 算法如下: 1. C4.5 2. k-me...

1777
来自专栏机器人网

机器学习工程师最常用的十大算法

毫无疑问,机器学习/人工智能的子领域在过去几年越来越受欢迎。目前大数据在科技行业已经炙手可热,而基于大量数据来进行预测或者得出建议的机器学习无疑是非常强大的。一...

4068
来自专栏自然语言处理

程序员眼中的统计学10

程序员眼中的统计学系列是作者学习笔记整理而得。随着科学技术的发展和机器智能的普及,统计学在机器智能中的作用越来越重要。正如吴军先生在《数学之美》一书中阐述的,基...

582

扫描关注云+社区