机器学习中的Bias-Variance分解

Bias-Variance分解是机器学习领域中一个十分基础的理论，它广泛适用于各种机器学习算法。Bias意为偏差，Variance意为方差，因此此理论翻译为偏差-方差分解。

此分解理论指出，机器学习模型的泛化误差可以分解为偏差和方差两部分，任何一部分变大都会导致模型的泛化能力降低，导致效果不好。

下面通过一个例子来说明偏差和方差的概念。

假设我们想要拟合一个正弦曲线，如下图所示

并且，我们的训练集只包含两个样本点。

现在，我们用两个模型来拟合这个曲线，分别为f(x)=b和g(x)=ax+b。

对于f(x)=b，无论这两个样本点如何选取，它学到的都只能是一条横线，如下图左边所示。选取不同的训练集，就会得到不同的横线。这些横线的平均值就是下图右边绿色线所示的横线，而它们的方差则如阴影部分所示。

对于g(x)=ax+b，它学到的将是一条直线。随训练集选取的不同，可能得到各种各样的直线，如下图左边所示。这些直线的均值为右图中的红线，而它们的方差如阴影部分所示。

将这两个模型拟合的结果作比较，如下图所示，可以看出，f(x)=b的方差比g(x)=ax+b的更小，但f(x)与正弦曲线之间的偏差却比g(x)的更大。

这就是偏差-方差分解的含义。模型越复杂，它拟合数据的偏差就越小，但同时，模型对于训练数据也就越敏感，因为复杂模型更容易拟合噪音，从而导致模型的方差变大。

因此，实际工作中，应该选取一个与数据本身复杂度匹配的模型，而不是一味的选取简单的或复杂的模型。