从AdaBoost到GBDT(part 2)

注:本文假设读者已经有了AdaBoost和GBDT的背景知识。

看到网上关于AdaBoost和GBDT资料都不少,可是鲜有资料介绍他们联系,刚好之前有看过,最近复习到此,觉得有所收获,所以记录下来。此为读书笔记,若有错误,请予纠正。

前情概要:涉及公式较多,如要阅读,请提前找一个安静场所。

从AdaBoost到GBDT

若上面的式子使用梯度下降求解,则可将式子变换为:

ps: GBDT实际上是用回归树来作为基分类器,所以用GBRT可能更合适一点。

The end.

参考资料:林轩田. 机器学习技法课程 Lecture 11.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据小魔方

R语言构建层次分析模型不看一下吗~

AHP (Analytic Hierarchy Process)层次分析法是美国运筹学家Saaty教授于二十世纪80年代提出的一种实用的多方案或多目标的决策方法...

742
来自专栏kalifaの日々

MATLAB学习笔记

who whos format long format short format bank format rat pi i exp() log() log10(...

2533
来自专栏生信技能树

一文看懂主成分分析

主成分分析法是数据挖掘中常用的一种降维算法,是Pearson在1901年提出的,再后来由hotelling在1933年加以发展提出的一种多变量的统计方法,其最主...

4473
来自专栏IT派

人脸融合?没有想象中难!

颜如玉 —— python + opencv 人脸融合程序,可实现类似天天P图疯狂换脸、face++人脸融合效果

1402
来自专栏人工智能LeadAI

计算机视觉 | Python OpenCV 3 使用背景减除进行目标检测

背景减除(Background Subtraction)是许多基于计算机视觉的任务中的主要预处理步骤。如果我们有完整的静止的背景帧,那么我们可以通过帧差法来计算...

6106
来自专栏机器学习算法与Python学习

机器学习(5)之决策树ID3及Python实现

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 ID3是什么? ID3算法是决策树的...

2645
来自专栏AI2ML人工智能to机器学习

Love Plus 矩阵

我们“拉近似”里面提到了数学应用之神Laplace, 并且讲述了他对分布的近似, 之前也在“概率估值的光滑(Smoothing)”提到Laplace研究过太阳升...

773
来自专栏一名叫大蕉的程序员

大数据计数原理1+0=1这你都不会算(七)No.59

今天的干货,不是一般的干,噎死人那种干。没下面这些准备的话直接退出吧,回去度娘啊谷哥啊弄懂是什么东西再回来。 知识储备必须有这些: BitMap知识。概率论二...

1815
来自专栏专知

【论文推荐】最新九篇目标检测相关论文—混合区域嵌入、FSSD、尺度不敏感、图像篡改检测、对抗实例、条件生成模型

3932
来自专栏机器之心

入门 | 机器学习第一课:决策树学习概述与实现

1623

扫码关注云+社区