决策树

版权声明：本文为博主-姜兴琪原创文章，未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1350041

决策树通过生成决策规则来解决分类和回归问题。整个模型非常容易理解，是所谓的白盒模型。

但是由于决策树在理论上能无限制地划分节点

前剪枝：在划分节点之前限制决策树的复杂度，通过一些阈值来限制决策树的生长，比如max_depth、min_sample_split等参数。

后剪枝：在决策树构建完成之后，通过剪枝集修改树的结构，降低它的复杂度。

这两种方法相比，前剪枝的实现更加容易，也更加可控，因为在实际应用中应用得更加广泛。

决策树最大的缺点在于模型的最后一步算法过于简单：对于分类问题，只考虑叶子节点里哪个类别占比最大；而对于回归问题，则计算叶子节点内数据的平均值。这导致它在单独使用时，预测效果不理想。因此在实际中，决策树常常被用来做特征提取，与其他模型联结起来使用。