决策树xgboost基础

用多个分类器(弱分类器),组合起来(集成变强),通过一定分值,做到分类效果。例如“玩电脑游戏”这个分类,简单分值分配如下。

y为预测值,w为样本权重(就是每个叶节点下面的值),x为样本值。目标函数(损失函数),真实值和预测值之间的差异,越小越好。最优函数解,就是求目标函数期望(均值)。集成算法表示如下图。

惩罚项,叶子结点越多,惩罚越多。

γ为惩罚力度,λ为指定值。

上图目标函数第二行的变形,+f(x)的内容,f(x)就是上面的集成算法表示图,增加了一棵树。

比如真实值为1000,第一棵树求出值为950,中间残差50,就可以构造第二课值在50以内的树。

例子:

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181001A1GW9R00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券