谈及gbdt算法,不得不提GB与dt算法,即使用梯度提升回归树的方式进行回归提升。
以下贴上经典算法图:
1、第一步,算法中的参数,建立M棵回归树,每颗树的深度都为J,其中有一棵树为第一次建立的回归树,其余M-1棵树为残差(在梯度提升回归树里面为使损失函数最小的梯度向量)建立的树,F(X)为估值向量,即每一例为x样本在K类上的估值。
2、第二步,pk(x)为f(x)的逻辑回归变化,将每类上的估值变为在每类上的真实概率值。
3、第三步,开始,一类一类的迭代出损失函数衰减最小的概率梯度方向向量,根据yik概率梯度残差训练出一棵J节点的树。
4、计算出建起来的每棵树叶节点的梯度向量增益,增益即为x在当前分类上的概率估值。
5、根据每棵树的叶节点增益跟新FM-1(X)的估值,即为x当前分类上的真是概率值加上,基于概率梯度残差计算出来的概率估值。
6、重复k次,完整迭代一次,得出x的概率估值矩阵模型。
6、迭代M次后,使得FM(X)概率估值矩阵接近真实概率矩阵模型。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/183361.html原文链接:https://javaforall.cn