gbdt通过多轮迭代,每轮迭代生成一个弱分类器,每个分类器在上一轮分类器的残差基础上进行训练....对于多分类任务,GBDT的做法采用一对多的策略.一共有K个类别,训练M轮,每一轮都训练K个树,训练完成后一共有M*K个树.损失函数log loss
2.5 gbdt 通过什么方式减少误差 ?....xgboost和GBDT区别
传统GBDT以CART作为基分类器,xgboost还支持线性分类器....传统GBDT在优化时只用到一阶导数信息,而xgboost进行了二阶泰勒展开
xgboost在代价函数中加入了正则项
对于缺失值的处理,xgboost可以自动学习出它的分裂方向
xgboost支持并行,并行过程是在确定最佳分割点时...,每一轮的训练还是前向分步法,这个过程不能并行.选择最佳分割点时使用近似直方图算法
3.SVM(Support Vector Machine)
参考该篇博客: https://blog.csdn.net