用多个分类器(弱分类器),组合起来(集成变强),通过一定分值,做到分类效果。例如“玩电脑游戏”这个分类,简单分值分配如下。
y为预测值,w为样本权重(就是每个叶节点下面的值),x为样本值。目标函数(损失函数),真实值和预测值之间的差异,越小越好。最优函数解,就是求目标函数期望(均值)。集成算法表示如下图。
惩罚项,叶子结点越多,惩罚越多。
γ为惩罚力度,λ为指定值。
上图目标函数第二行的变形,+f(x)的内容,f(x)就是上面的集成算法表示图,增加了一棵树。
比如真实值为1000,第一棵树求出值为950,中间残差50,就可以构造第二课值在50以内的树。
例子:
领取专属 10元无门槛券
私享最新 技术干货