Bagging (bootstrap aggregating) - 集成方法之一
Bagging (bootstrap aggregating) - 集成方法之一
Bagging(装袋法)，bootstrap aggregating(自举汇聚法) 的简称，是一个通过组合多个模型来减少泛化误差的技术。其原理是单独训练数个不同的模型，然后让多个模型在测试集的输出上投票。这是一个在机器学习中普遍应用的被称作model averaging(模型平均) 的策略。使用这种策略的技术被称作ensemble methods(集成方法)。值得一提的是，dropout其实就是一种以低算成本实现装袋法的精妙方法，其通过随机使一些神元失活来构建指数级别的不同的模型。不同之处在于，装袋法每个模型都是独立的，dropout则在模型之间共享一部分参数，以此降低存储指数级别模型所需要的内存。
下面以一张图展示该方法的大致过程：
Bagging(装袋法)
在原始数据集上通过放回抽样的方法构造k个与原始数据集大小相同的新数据集去训练k个分类器，然后将k个分类器通过一定的组合策略聚合成一个强学习器。在预测时，所有分类器都进行分类，最后对k个结果进行票选(通过某种规则，比如平均)，决定最终的输出。
为了提高模型的差异性，装袋法从训练集上随机抽取数据，而且是有放回的抽取。这意味着对于一个样本，它在某一次采样中被采集到的概率是1m\frac{1}{m}m1，不被采集到的概率是1−1m1-\frac{1}{m}1−m1。在k次采样中，没有被采集到的概率是(1−1m)k(1-\frac{1}{m})^k(1−m1)k。当k→∞k\rightarrow\inftyk→∞时，(1−1m)k→1e≈0.368(1-\frac{1}{m})^k\rightarrow\frac{1}{e}\approx0.368(1−m1)k→e1≈0.368，略大于三分之一。也就是说，可能有超过三分之一的数据没有被采集到。这些数据称为袋外数据(Out of Bag, OOB)。这些数据没有参与训练，可以用来检测模型泛化能力。
模型平均(model averaging)背后的原理是，不同的模型在测试集上通常不会产生同样的误差。
假设我们有一个包含k个回归器的集合。每个模型在一个样本上的误差是ϵi\epsilon_iϵi，该误差服从从零均值方差为E[ϵi2]=v\mathbb{E}[\epsilon_i^2]=vE[ϵi2]=v且协方差是E[ϵiϵj]\mathbb{E}[\epsilon_i \epsilon_j]E[ϵiϵj]的多变量正态分布。通过所有集成模型的平均预测误差是1k∑iϵi\frac{1}{k}\sum_i\epsilon_ik1∑iϵi。集成预测器的平方误差期望是：
在误差完全相关即c=vc = vc=v的情况下，均方误差减少到 v，所以模型平均不会有任何帮助；在错误完全不相关即 c = 0 的情况下，该集成平方误差的期望仅为1kv\frac{1}{k}vk1v，这意味着集成平方误差的期望与集成规模k的倒数成正比。换言之，集成平均至少与它的任何成员表现得一样好，并且如果成员的误差是独立的，集成将显著地比其成员表现得更好。
不同的集成方法以不同的方式集成模型。例如，每个组合的成员模型可以使用完全不同的算法和目标函数。装袋提供了一个方法，使得同种类的模型，训练算法和目标函数可以被多次重用。
特别值得指出的是，由于装袋法要构建k个不同的数据集，但数据集是在原始数据集上采用放回抽样构建的。这表示，在很大的概率下，每一个数据集缺失一部分原始数据集的样本，并且含有重复样本。数据集里的不同样本会导致模型的不同。
神经网络能够达到足够广泛的求解点，因此如果模型是在同一数据集下训练的，网络通常能从模型平均中获益。随机初始化的差异，随机选择minibatch的差异，超参数的差异，神经网络非确定的实现结果，这些通常都足够使得集成模型的成员产生相互独立的误差。
模型平均是一个及其有效并且可靠的减少泛化误差的方法。在学术上通常不推荐，因为任何机器学习的算法都能以计算和内存增大的代价从模型平均中获得巨大收益。因此，在benchmark比较时，通常只使用一个模型。
而机器学习的竞赛通常是以在多个模型上取平均来获胜的。
除了为了使构建集成使得模型能比单个模型更能泛化之外，还有其他集成的方法。比如，boosting，是想要提高单个模型的容量(capacity)。Boosting既可以不断地增加神经网络构建集成模型；也可以把网络本身看作集成模型，不断的增加隐藏单元。