聊聊模型融合遇到的那些事儿(一)

1为什么要用模型融合:

有那么多的机器学习的算法,可是没有一个算法对所有的问题都是最优的(天下没有免费的午餐),因此,我们可以通过融合不同的模型,使得模型结果的准确度获得提升。

2 常用的融合方法(从易到难)

2.1 (voting)投票

投票分为“hard”,“soft”两种,hard是将类别出现最多的那个标签作为最终的标签。‘soft’ 是指通过平均每个类别的标签概率输出最终的类别

2.1.1 hard voting

我们假设有以下3个分类器,每个分类器预测的类别的预测标签如下

根据hard voting,最终的模型预测结果为1。

2.1.2Weighted Majority Vote

其中

有如下三个模型预测结果同2.1.1,并且我们给它赋予权重为,那么,根据公式,最终的融合结果预测出来的类别应该是1

2.1.3 soft vote

其中wj是每个类别标签可以赋予的权重,若有三个模型,预测出的结果如下:

若将他们等权重分配,那么,得到的可能类别计算如下

然而,如果分别分配权重为,那么,结果为

模型融合的条件:

1 Base Model 之间的相关性要尽可能的小。

2 Base Model 之间的性能表现不能差距太大(可以不用)

今日概念:模型的鲁棒性指什么?

两方面:

1 模型能够不被数据集中某些小的错误数据所影响,

2:因为训练样本与预测样本不大相同,所以即使当测试集的数据分布与训练集数据分布比较不同的时候,模型也能给出较好的预测结果。

未完待续……(明日是python 实现过程)

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180809G1X81A00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券