小菜鸟对周志华大神gcForest的理解

原创

王相军

修改于 2017-06-19 11:10:33

7.7K0

作者：王相军，腾讯助理工程师，毕业于哈尔滨工业大学，腾讯CDG征信中心员工，乐于分享，希望大家一起学习，共同进步！

导语

花了一下午时间学习了周志华教授的新paper——《Deep Forest: Towards An Alternative to Deep Neural Networks》，论文主要介绍了一种新的集成机器学习方法——gcForest，其核心思想是：利用级联森林（决策树集成）方法去学习生成模型，一定程度上可以弥补DNN的部分劣势！（强烈说明：作为一个小菜鸟，里面有很多都是自己的个人理解，不对的地方希望看到的大神多多指教，感激不尽！！！）

一、DNN和gcForest的优缺点

DNN

1）DNN需要大的样本集，在小样本数据集上表现不可观；

2）DNN本身就是复杂的模型，所以训练过程很复杂，需要大量的复杂计算；

3）参数太多，需要花费大量的调参时间。（坊间流行一句话：DNN的训练更像是艺术，而不是科学或者工程）；

4）DNN在大数据集上的效果确实很好。

gcForest

1）gcForest在大数据集上的表现和DNN分庭抗礼，在小数据集上也表现很好；

2）参数少，调参简单，在很多领域的不同数据集上，使用默认设置，结果都很好；

3）训练过程简单、理论体系更易懂；

4）执行效率高，gcForest在一台PC上的效率相当于DNN在GPU机器上的效率；

5）并行度高，作为Forest，有着天然的高并行性。

二、gcForest的方法论

gcForest的核心主要包括两大块：级联森林（Cascade Forest）和多粒度扫描（Multi-Grained Scanning）。

1、级联森林（Cascade Forest）

级联森林的构成：级联森林的每一层都是由好多个森林（既有随机森林，又有完全随机森林）组成，而每一个森林又是由好多个决策树（Decision Tree）组成，所以这种组合是集成的集成！其中每一层的随机森林和完全随机森林保证了模型的多样性！具体的级联森林结构如下图1所示。

图1 级联森林结构图

图1中的级联森林每一层包括两个完全随机森林（黑色）和两个随机森林（蓝色）。每个完全随机森林包含1000个完全随机的决策树，每个决策树的每个节点都是随机选择一个特征做分裂，直至每一个叶节点包含的实例属于同一个类，或者实例数目不多于10个；每个随机森林也是1000个决策树，每个决策树的生成是随机选择sqrt(d)个特征（d输入的总特征），每次选择gini值最高的做分裂。

级联森林的迭代终止条件：迭代到效果不能提升就停止！！！

级联森林中每个森林是如何决策的呢？

每个森林中都包括好多棵决策树，每个决策树都会决策出一个类向量结果（以3类为例，下面也是），然后综合所有的决策树结果，再取均值，生成每个森林的最终决策结果——一个3维类向量！每个森林的决策过程如下图2所示。