决策树xgboost基础

用多个分类器（弱分类器），组合起来（集成变强），通过一定分值，做到分类效果。例如“玩电脑游戏”这个分类，简单分值分配如下。

y为预测值，w为样本权重（就是每个叶节点下面的值），x为样本值。目标函数（损失函数），真实值和预测值之间的差异，越小越好。最优函数解，就是求目标函数期望（均值）。集成算法表示如下图。

惩罚项，叶子结点越多，惩罚越多。

γ为惩罚力度，λ为指定值。

上图目标函数第二行的变形，+f(x)的内容，f(x)就是上面的集成算法表示图，增加了一棵树。

比如真实值为1000，第一棵树求出值为950，中间残差50，就可以构造第二课值在50以内的树。

例子：