机器学习之集成学习

敬请关注人工智能AI之机器学习公众平台！

人工智能AI

AI让机器智慧起来，让你的生活便捷起来

开篇第九讲

机器学习之集成学习

1

什么是集成学习？

集成学习是机器学习中的一个重要分支，集成学习即ensemble learning，它是一种利用样本数据训练多个不同的弱分类器，然后将这些弱分类器整合成一个强大分类器的机器学习方法。

2

集成学习可以解决什么问题？

学习EL之前，我们要搞懂为什么要引入EL，即EL可以为我们解决什么问题，我们大多都遇过一些实际项目，由于环境的复杂、噪声的存在以及其他随机不确定性因素的干扰，使用单一的识别手段、参数或特征无法达到我们预期的效果，这时就需要考虑应用多手段、多角度、多参量来解决以上问题，而有时候又由于参数特征高维的特点，引起model出现维数灾难的问题。呐，集成学习就应运而生啦，它可以解决以上的一系列问题。引起学习好集成学习至关重要。

3

集成学习的分类

EL主要可以分为两大类，按照弱分类器之间的关系可以分为boosting算法和bagging算法。每种都有其常用的EL算法，具体如下图所示：

4

集成学习的核心问题

了解了集成学习的定义以及拟解决的问题后，应该知道我们如何实现集成学习，集成学习的实现主要需要考虑两个核心问题：

1.如何训练多个不同的弱分类器；

2.如何将多个不同弱分类器整合成一个强分类器。

针对以上核心问题，就有了不同的思路和方法，其中boosting和bagging对于以上两类问题的解决思路将各不相同，具体内容下一篇文章再详细介绍。