专栏首页机器学习炼丹术AI面试题之GBDT梯度提升树

AI面试题之GBDT梯度提升树

“学习的同时记录,记录的同时分享,分享的同时交流,交流的同时学习。”

先缕一缕几个关系:

  • GBDT是gradient-boost decision tree
  • GBDT的核心就是gradient boost,我们搞清楚什么是gradient boost就可以了
  • GBDT是boost中的一种方法,boost还有XGBoost,adaboost。
  • GBDT的基模型一般是CART

1 基本概念

【Boost】就是让多个弱分类器,通过不同的集成方式,来让多个弱分类器变成一个强分类器。

【gradient-boost】 梯度提升。简单的说,先训练一个弱分类器,然后弱分类器和目标值之间的残差,作为下一个弱分类器训练的目标值。这里有一个非常简单的例子

  • 第一个模型预测年龄,虽然真实值是30岁,第一个模型只给出了20岁的估计值;
  • 第二棵树要预测的就是这个10岁的残差,但是第二棵树只给出了6岁的估计值;
  • 第三棵树预测的是第二棵树的4岁的残差,但是………………(禁止套娃)

2 梯度 or 残差 ?

对于GBDT,学习梯度还是学习残差?从上面的那个例子来看,是学习残差的。

其实,从来GBDT都是学习梯度的,学习残差只是学习梯度的一个特例!

如果我们是在做一个回归任务(就像是上面例子中预测年龄),采用平方损失:

loss = \frac{1}{2}\sum^n_i{(y_i-\hat{y_i})^2}

其中

y_i

是真实数值,

\hat{y_i}

是模型预测的值。

然后想求取这个关于

\hat{y_i}

的梯度,那就是:

\frac{\partial loss}{\partial \hat{y^i}}=(-1)(y_i-\hat{y_i})

所以残差在平方损失的情况下,就是等于负梯度,所以两者一回事。

3 残差过于敏感

对于数据不干净,没有清晰掉异常值的数据样本。使用平方损失对异常值过于敏感了

敏感就是因为,异常值的损失过大了,导致下一个弱分类器就会强行拟合这个5.445的样本,拟合异常值就意味着弱化了泛化能力,从而整体精度就可能会下降。

所以,这里在回归问题中,也可以考虑使用下面的两个损失函数:

  • Absolute loss:
loss=|y-\hat{y}|
  • Huber loss: 这个是设置一个阈值,当
|y-\hat{y}|

小于这个阈值的时候,采用平方损失,当

|y-\hat{y}|

大于这个阈值的时候,采用类似于绝对损失的线性损失:

这里看一下huber loss的函数图像:

就是一个平方损失,一个线性损失。

然后看一下平方损失,绝对损失,huber损失对于异常值的容忍程度:


【小小的总结】GBDT是基于boosting的思想,串行地构造多棵决策树来进行数据的预测,它是在损失函数所在的函数空间中做梯度下降,即把待求的决策树模型当作参数,每轮迭代都去拟合损失函数在当前模型下的负梯度,从而使得参数朝着最小化损失函数的方向更新。

【现在还用吗?】学肯定是要学的,因为GBDT是非常经典的集成模型,知道了可以扩充知识面。但是其实在2010年横霸大数据竞赛的,现在10年过去了,在竞赛中已经是老古董了。

【GBDT vs Adaboost】Adaboost是boost集成的另一个非常经典的算法。Adaboost只能采用指数损失的二分类任务,而GBDT可以使用各种可微分的损失函数来处理多分类、回归等任务。


4 两个基模型的问题

【问题:为什么GBDT模型都会使用CART(分类和回归树)来作为基模型呢?】

这与决策树算法自身的优点有很大的关系。决策树可以认为是if-then规则的集合,易于理解,可解释性强,预测速度快 。同时,决策树算法相比于其他的算法需要更少的特征工程,比如可以不用做特征标准化,可以很好的处理字段缺失的数据,也可以不用关心特征间是否相互依赖 等。决策树能够自动组合多个特征,它可以毫无压力地处理特征间的交互关系并且是非参数化 的,因此你不必担心异常值或者数据是否线性可分(举个例子,决策树能轻松处理好类别A在某个特征维度x的末端,类别B在中间,然后类别A又出现在特征维度x前端的情况)不过,单独使用决策树算法时,有容易过拟合缺点。所幸的是,通过各种方法(比如剪枝、最大树深度、最小叶子样本数量、正则项等),抑制决策树的复杂性,降低单颗决策树的拟合能力,再通过梯度提升的方法集成多个决策树,最终能够很好的解决过拟合的问题。由此可见,梯度提升方法和决策树学习算法可以互相取长补短,是一对完美的搭档。


【还有什么抑制单棵决策树的复杂度的方法?换言之,决策树的避免过拟合的方法?】

  1. 限制树的最大深度
  2. 限制叶子节点的最少样本数量
  3. 限制节点分裂时的最少样本数量
  4. 吸收bagging的思想对训练样本采样(subsample)在学习单颗决策树时只使用一部分训练样本(样本采样)
  5. 借鉴随机森林的思路在学习单颗决策树时只采样一部分特征(特征采样,同样是bagging的思想)
  6. 在目标函数中添加正则项惩罚复杂的树结构等。

喜欢的话,长按下面的二维码关注下【机器学习炼丹术】,成为炫酷的炼丹师吧!

目前在更:每天一两个AI面试干货知识点。

本文分享自微信公众号 - 机器学习炼丹术(gh_2df5b9e311b9),作者:机器学习炼丹术

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 小白学PyTorch | 6 模型的构建访问遍历存储(附代码)

    torch.nn.Module是所有网络的基类,在PyTorch实现模型的类中都要继承这个类(这个在之前的课程中已经提到)。在构建Module中,Module是...

    机器学习炼丹术
  • 杂谈 | 正态分布为什么如此常见

    假设你有200个相亲对象,然后你老妈搜集了他们所有人的身高信息,然后以5cm为单位,来数一数每5cm各有多少人。接着用身高为横轴,人数为纵轴,画了下面的图:

    机器学习炼丹术
  • 通俗易懂 | SVM的HingeLoss

    在学这个之前,如果你已经学过了逻辑回归,那就更好了。一文搞懂:线性回归与逻辑回归(似然参数估计)

    机器学习炼丹术
  • 火爆全网的动态曲线图是怎么做的?

    之前大家遇到的最多的就是动态条形图,看来大家都对这种比较少见的动态曲线图非常感兴趣。

    jeanron100
  • 【机器学习】--xgboost从初识到应用

    在 Kaggle 的很多比赛中,我们可以看到很多 winner 喜欢用 xgboost,而且获得非常好的表现,今天就来看看 xgboost 到底是什么以及如何应...

    LhWorld哥陪你聊算法
  • 决策树案例:基于python的商品购买能力预测系统

    1 决策树/判定树(decision tree) ---- 1 决策树(Dicision Tree)是机器学习有监督算法中分类算法的一种,有关机器学习中分类和...

    机器学习AI算法工程
  • 机器学习之随机森林

    机器执行的每一个步都依赖于我们的指令。它们需要指导去哪里做什么,就像一个不了解周围环境而无法自己做决定的孩子。因此,开发人员会需要为机器编写指令。然而当我们谈论...

    hzr
  • 强化学习读书笔记 - 03 - 有限马尔科夫决策过程

    绿巨人
  • Shiro系列 | 《Shiro开发详细教程》第三章:Shiro授权-上

    也叫访问控制,即在应用中控制谁能访问哪些资源(如访问页面/编辑数据/页面操作等)。在授权中需了解的几个关键对象:主体(Subject)、资源(Resource...

    码神联盟
  • TypeScript魔法堂:函数类型声明其实很复杂

    江湖有传“动态类型一时爽,代码重构火葬场”,由于动态类型语言在开发时不受数据类型的约束,因此非常适合在项目原型阶段和初期进行快速迭代开发使用,这意味着项目未来将...

    ^_^肥仔John

扫码关注云+社区

领取腾讯云代金券