从AdaBoost到GBDT(part 1)

标签(空格分隔): ML

注:本文假设读者已经有了AdaBoost和GBDT的背景知识。

看到网上关于AdaBoost和GBDT资料都不少,可是鲜有资料介绍他们联系,刚好之前有看过,最近复习到此,觉得有所收获,所以记录下来。此为读书笔记,若有错误,请予纠正。

前情概要:涉及公式较多,如要阅读,请提前找一个安静场所。

另一个角度看AdaBoost

我们已经知道AdaBoost每一次的样本的权重更新公式如下:

于是,我么就有了新的目标函数:

走了那么久,别忘了为什么出发,到现在还没有见到GBDT?有了上面这个式子,GBDT马上出场。请见下一部分。

参考资料: 林轩田. 机器学习课程技法部分 Lecture 11. 李宏毅. machine learning course Ensemble.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

【Python环境】数据科学的完整学习路径(Python版)

从Python菜鸟到Python Kaggler的旅程(译注:Kaggle是一个数据建模和数据分析竞赛平台) 假如你想成为一个数据科学家,或者已经是数据科学家的...

2675
来自专栏数说工作室

【温故】P值之死

100年前的今天(1918年7月8日),有位叫 Ronald Fisher 的人向外界宣读了一篇论文《Thecorrelation between relati...

592
来自专栏用户2442861的专栏

如果看了这篇文章你还不懂傅里叶变换,那就过来掐死我吧(3)

作者:Heinrich 链接:https://zhuanlan.zhihu.com/p/19763358 来源:知乎 著作权归作者所有。商业转载请联系作者...

281
来自专栏数说工作室

P值之死

有一天,我走进统计学的神殿 ,将所有谎言都装进原假设的盒子里, “P值为零”, 一个声音传来, “但你已经不能再拒绝,因为,P值已经死了” 从此,这个世界上充斥...

3277
来自专栏CDA数据分析师

数据科学的完整学习路径—Python版

从Python菜鸟到Python Kaggler的旅程(译注:Kaggle是一个数据建模和数据分析竞赛平台) 假如你想成为一个数据科学家,或者已经是数据科学家的...

2015
来自专栏来自地球男人的部落格

从AdaBoost到GBDT(part 2)

注:本文假设读者已经有了AdaBoost和GBDT的背景知识。 看到网上关于AdaBoost和GBDT资料都不少,可是鲜有资料介绍他们联系,刚好之前有看过,最近...

2085
来自专栏生信技能树

转录组数据的基因表达变化情况探索

一般来说可以用CV或者MAD来衡量某基因在某些样本的表达变化情况。 标准差与平均数的比值称为变异系数,记为C.V(Coefficient of Variance...

3476
来自专栏数据科学与人工智能

【陆勤践行】数据科学的完整学习路径—Python版

从Python菜鸟到Python Kaggler的旅程(译注:Kaggle是一个数据建模和数据分析竞赛平台) 假如你想成为一个数据科学家,或者已经是数据科学家的...

1839
来自专栏AI科技大本营的专栏

面试定心丸:AI知识点备忘录(包括ML、DL、Python、Pandas等)

【导读】本期 AI科技大本营为大家精心整理了最全面的 AI 知识点备忘清单,包含机器学习、深度学习、Python 等各个领域。为了方便大家保存和随时学习,我们还...

722
来自专栏互联网杂技

行列式的几何意义

行列式的定义: 行列式是由一些数据排列成的方阵经过规定的计算方法而得到的一个数。当然,如果行列式中含有未知数,那么行列式就是一个多项式。它本质上代表一个数值,...

28210

扫码关注云+社区