gcForest 集成学习方法的 Python 实现

更多腾讯海量技术文章，请关注云加社区：https://cloud.tencent.com/developer

作者：王相军

前言

看完 gcForest 这篇 paper 有一段时间了，但是一直没有去网上搜集相关的实现代码，去把它调试跑通，并将之应用到实际的项目中。这两天终于抽空做了实现，并和自己项目中常用的集成算法（TreeNet、XGBoost）做了简单对比。下面总结一下整个算法的 Python 实现过程，以及将它应用到自己的数据集上出现的问题和解决办法。

一、运行环境要求

Python 版本：3.6.0 以上；

numpy 版本：1.12.0 以上；

jupyter 版本：1.0.0 以上；

scikit-learn 版本：0.18.1 以上。

解决办法： 可以直接在 Anaconda 官网 去下载对应操作系统的 Python 3.6 version；然后在 pycharm 上去选择对应版本的 project Interpreter；之后可以在 Package 列表中查看上述包对应的版本，不符合要求的可以直接更新。这样，整个 gcForest 算法的 Python 运行环境就 OK 了。

二、gcForest 实现

gcForest 算法在 github 上已经有大神实现了，版本也有好几个，我自己把其中一个版本（地址：https://github.com/pylablanche/gcForest） clone 到本地，并做了调试实现。

1） gcForest 算法实现

gcForest 算法的实现代码相对较多，直接以附件的形式上传，名称：GCForest.py（可以直接将该附件导入工程就可以了）。

2）示例——验证算法能否跑通

为了验证算法的可行性，写一个小的 demo 去测试，至于 model 中的参数（详细说明见具体实现类，12 个参数，一点儿也不多）可以根据自己的要求去调试，代码如下：

上面的代码中要导入我们已经实现了的 GCForest 类（第三行），后面的模型训练和预测分类结果，跟正常的 Python 调用 sklearn 中的方法一样，都是 fit(X,Y)，predict(X_test) 等；代码最后两句是计算训练样本和测试样本的 KS 值，读者可以不用管，不影响程序的可运行性（运行的时候可以注释掉）。

3）用自己的数据集去跑模型

自己的数据：csv 文件，5000 个样本（有点少，但是不影响测试算法），77 个特征；

代码实现如下：

用自己的数据集去跑 gcForest 算法的时候，还是会遇到很多问题，特别是数据格式方面，可以根据自己的数据格式去做一系列的调试和格式转换。

4）算法对比

自己通过调参，简单的和线上的算法（XGBoost）以及另外一个集成学习算法 TreeNet 做了对比，由于 gcForest 算法中要做多粒度平滑处理和训练级联森林，所以当参数中的森林数量和对应树的数量较多时，训练模型的时间比 XGBoost 和 TreeNet 都长；效果嘛，gcForest 也稍逊一点。

说明：其实本篇文章的重点是实现测试 gcForest 算法，并对其做一个简单的应用尝试，初衷也不是和其他算法在自己数据集上做性能对比，本身这个算法的优势是做序列数据和图像数据，对于一般的常规数据样本，效果不好也可以理解，加上自己用的样本数量也太少了点，可能或多或少影响了 model 的精度。

写的比较仓促，或许会存在一些问题，希望看到的伙伴能不吝赐教，或者是有兴趣的同事，我们可以一起探讨交流，谢谢！