【原创】机器学习从零开始系列连载(5)——​Bagging and Boosting框架

Bagging and Boosting框架

Bagging和Boosting是两类最常用以及好用的模型融合框架，殊途而同归。

Bagging框架

Bagging(Breiman, 1996) 方法是通过对训练样本和特征做有放回的抽样，并拟合若干个基础模型进而通过投票方式做最终分类决策的框架。每个基础分类器（可以是树形结构、神经网络等等任何分类模型）的特点是低偏差、高方差，框架通过(加权)投票方式降低方差，使得整体趋于低偏差、低方差。

分析如下：假设任务是学习一个模型 ，我们通过抽样生成生成 个数据集，并训练得到个基础分类器。

从结论可以发现多分类器投票机制的引入可以降低模型方差从而降低分类错误率，大家可以多理解理解这一系列推导。

Boosting框架‍

Boosting(Freund & Shapire, 1996) 通过迭代方式训练若干基础分类器，每个分类器依据上一轮分类器产生的残差做权重调整，每轮的分类器需要够“简单”，具有高偏差、低方差的特点，框架再辅以(加权)投票方式降低偏差，使得整体趋于低偏差、低方差。

一个简单的总结:

AnyBoost Algorithm

Boost算法是个框架，很多模型都能往进来套。

Q: boosting 和 margin的关系是什么（机器学习中margin的定义为）？

Q: 类似bagging，为什么boosting能够通过reweight及投票方式降低整体偏差？