机器学习中的Bias-Variance分解

Bias-Variance分解是机器学习领域中一个十分基础的理论,它广泛适用于各种机器学习算法。Bias意为偏差,Variance意为方差,因此此理论翻译为偏差-方差分解。

此分解理论指出,机器学习模型的泛化误差可以分解为偏差和方差两部分,任何一部分变大都会导致模型的泛化能力降低,导致效果不好。

下面通过一个例子来说明偏差和方差的概念。

假设我们想要拟合一个正弦曲线,如下图所示

并且,我们的训练集只包含两个样本点。

现在,我们用两个模型来拟合这个曲线,分别为f(x)=b和g(x)=ax+b。

对于f(x)=b,无论这两个样本点如何选取,它学到的都只能是一条横线,如下图左边所示。选取不同的训练集,就会得到不同的横线。这些横线的平均值就是下图右边绿色线所示的横线,而它们的方差则如阴影部分所示。

对于g(x)=ax+b,它学到的将是一条直线。随训练集选取的不同,可能得到各种各样的直线,如下图左边所示。这些直线的均值为右图中的红线,而它们的方差如阴影部分所示。

将这两个模型拟合的结果作比较,如下图所示,可以看出,f(x)=b的方差比g(x)=ax+b的更小,但f(x)与正弦曲线之间的偏差却比g(x)的更大。

这就是偏差-方差分解的含义。模型越复杂,它拟合数据的偏差就越小,但同时,模型对于训练数据也就越敏感,因为复杂模型更容易拟合噪音,从而导致模型的方差变大。

因此,实际工作中,应该选取一个与数据本身复杂度匹配的模型,而不是一味的选取简单的或复杂的模型。

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20180201A0320000?refer=cp_1026

同媒体快讯

相关快讯

扫码关注云+社区