集成学习---随机森林

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_27717921/article/details/54835081

Bagging

随机森林（Random Forest,简称RF）是Bagging的一个扩展变体。Bagging在1996年由Beriman提出，作为并行式集成学习方法中最著名的代表，利用自助采样法。可采样出T个含m个训练样本的采样集，然后基于每个采样集训练出一个基学习器，再将这些基学习器进行结合。这就是Bagging的基本路程。对分类任务使用简单投票法，对回归任务简单平均。

这里写图片描述

随机森林（RF）

RF在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。传统决策树在选择划分属性时是在当前节点的属性集合中（假定有d个属性）中选择一个最优属性；而在RF中，对基决策树的每个结点，先从该节点的属性集合中随机选择一个包含K个属性的子集，然后再从这个子集中选择一个最优属性用于划分。这里的参数k控制了随机性的引入程度：若令k=d，则基决策树的构建与传统决策树相同，一般情况下，推荐值 。 随机森林的优点： 随机森林简单、容易实现、计算开销小，并且在很多的现实任务中展现出了强大的性能，被誉为“代表集成学习技术水平的方法”。 随机森林对Bagging方法的改进： 随机森林增强了Bagging方法中的基学习器的“多样性”，基学习之间差异性变大使得最终集成的学习模型的泛化能力增强。随机森林不仅通过样本扰动（通过对初始训练集采样）而来不同，还通过属性扰动，使得集成学习模型的泛化性能随着基学习器之间的差异性的增加得到提升。 随机森林的缺点： 随机森林的起始性能一般很差，尤其是集成模型中只包含一个基学习器时，但是随着个体学习器数目增加，随机森林可以收敛到更低的泛化误差。并且随机森林的训练效率要优于Bagging，Bagging训练中使用的是确定了的决策树，在划分时需要对结点的所有属性都进行考察。而随机森林使用的是随机型的决策树，一次只考察一个属性子集。