Patchouli的机器学习系列教程五：贝叶斯回归与K重交叉

在本章正式开始之前，我们最好还是先复习一下以前的公式，因为本章的学习要求对过去讲的数学原理和公式十分扎实才能得以达成。首先是超定系统与欠定系统：

我们在线性和非线性回归两章接触到的都是超定系统，即：

已知点的数量远远大于未知数的数量，为了和纷乱的超定系统拟合到一起，我们设计了一个噪声和整个系统一起纷乱：

，而随机变量的立法者拉普拉斯又声称，一切随机变量均符合高斯分布，所以， 。

而另一方面，欠定系统是指： ，系统包含的已知点的个数少于未知量的个数，比如假设我们只给定一个点 ，那么穿越这条点的直线会有无数种可能：

然而这样的一个欠定系统，并不会成为我们拟合的路上的阻碍，相反，为我们提供了某种可能性。因为当点只有一个时，我们可以迅速求出 的解： ，而 在此时可以看作一个随机变量，于是 的组合就和直觉上一样，有了无限多种可能。但是啊但是，这时候拉普拉斯又站出来了，他的话语穿透你的耳膜，直达你的心灵：

这样一来就好办了，我们大笔一挥，把曾经加诸到 身上的负担都给了 ：

这样就连高斯分布都一起复习完了，接下来是贝叶斯公式：

你会发现，我偷偷把 换成了 ，不过这又有什么关系呢，都是随机变量；回想一下第三章的内容，是不是觉得 有点眼熟。是的，当初为了省事，弄的那个坐标下降法，把所有的参数全部扔到了 后面，因此有如下表达式：

好了，现在 有了， 也有了，而 也就是 是既定的东西了，毕竟在固定的 面前， 只有一种可能性。因此我们可以推导出如下公式：

所以

对两边取对数得：

这里面 就可以被省略掉了，因为 的最大似然函数不需要没有 的式子。de

我们令

最终

现在我们只剩下 还没有解决了，我们放到稍微靠后一点的位置，先来讲讲本章的核心：贝叶斯回归。贝叶斯回归本质上还是一个曲线拟合，只不过如果我们要用线性方法来拟合（包括前面的非线性回归也是一样），不然计算机没法计算。因此，我们将贝叶斯回归的基底函数设为 ，则有： ，我们彻底把 和 合体成为了 ，其中：

在持续地输入数据使得参数变为后验之前，我们要先为我们的随机变量制定一个先验参数：

， ；

根据贝叶斯公式有：

我们已经知道了是

而 其中

推理过程可以参考我们第三章的推理过程，这时候我们再把目光放回 ，这时的 已经由 变为了 。

根据全概率公式：

两个独立高斯分布相乘时我们有如下推导：

令

原式变为

有了这些之后，我们就可以做对未来的期望了：

未来的期望其实就是可以被预测的未来。

方差为：

这个是期望的可靠程度。

学了这么多模型，我们应该想想如何验证模型的可靠程度；毕竟未来不可预测，所以我们就假装制造一个未来来测试我们的机器学习算法。比如这个马拉松数据，从1880年到2012年，我们可以只给机器1880年到1980年的数据使其进行拟合，然后令其预测1984到2012年的结果，以此来判断模型的可靠性以及输入型参数与此类数据的相性，此方法叫外延法。与此相对的是内插法：随机删除数据集内的一部分数据，把删除的部分拿出来作为验证组，剩下的部分叫模型组。以模型组构建模型，用验证组检验模型，如果姿势水平高的话，还可以让模型自己根据验证结果改进自己的表现，是为机器学习。

所谓k重交叉检验，就是以k个数据或k%的数据作为验证组，剩下的作为模型组，大量重复这样的分类、重构和修正的过程，使得模型的可靠程度不断提升，我们将在『器』篇中进行这两块内容的实践。