从AdaBoost到GBDT(part 1)

标签(空格分隔): ML

注:本文假设读者已经有了AdaBoost和GBDT的背景知识。

看到网上关于AdaBoost和GBDT资料都不少,可是鲜有资料介绍他们联系,刚好之前有看过,最近复习到此,觉得有所收获,所以记录下来。此为读书笔记,若有错误,请予纠正。

前情概要:涉及公式较多,如要阅读,请提前找一个安静场所。

另一个角度看AdaBoost

我们已经知道AdaBoost每一次的样本的权重更新公式如下:

于是,我么就有了新的目标函数:

走了那么久,别忘了为什么出发,到现在还没有见到GBDT?有了上面这个式子,GBDT马上出场。请见下一部分。

参考资料: 林轩田. 机器学习课程技法部分 Lecture 11. 李宏毅. machine learning course Ensemble.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

如何入门Python与机器学习

本文引自电子工业出版社《Python与机器学习实战》 本书算法与代码兼顾,理论与实践结合。很丰富:7种算法,50段实现,55个实例,总代码量5295行,全面而...

3536
来自专栏机器之心

这个GAN生成的指纹,可以破解半数手机的指纹锁

GAN 生成的指纹究竟可以多逼真?研究人员尝试使用 DeepMasterPrints 去攻击手机的指纹解锁,破解成功率为 22-78%(成功率取决于手机指纹传感...

942
来自专栏AI科技评论

学界 | François Chollet谈深度学习的局限性和未来(下)

AI 科技评论按:本篇是 Keras 作者 François Chollet 撰写的一篇博客,文中作者结合自己丰富的开发经验分享一些自己对深度学习未来发展方向的...

852
来自专栏机器之心

教程 | 深度Q学习:一步步实现能玩《毁灭战士》的智能体

选自Medium 作者:Thomas Simonini 机器之心编译 参与:Panda 近年来,深度强化学习已经取得了有目共睹的成功。机器之心也曾发布过很多介绍...

2805
来自专栏AI研习社

视频 | 10行代码,用大脑重量预测体重!硅谷AI网红亲身示范

Siraj Raval 作为深度学习领域的自媒体人在欧美可以说是无人不知、无人不晓。 凭借在 Youtube 上的指导视频,Siraj Raval 在全世界吸...

4316
来自专栏机器之心

学界 | 机器学习研究趋势分析:TensorFlow已超越Caffe成研究最常用框架

选自Medium 作者:Andrej Karpathy 机器之心编译 参与:李亚洲 开玩笑地说,现在提交论文的主题是不是应该围绕把全卷积编码器解码器BatchN...

3577
来自专栏新智元

【ICML+NIPS过去12年数据】机器学习被引次数最高作者Top 20

【新智元导读】为了研究AI研究领域的最新趋势,Kakao AI 研究小组对2005年至2016年期间ICML和NIPS发表的6163篇科学论文进行了分析,从累积...

45814
来自专栏AI科技大本营的专栏

一文教你如何用Python预测股票价格

翻译 | AI科技大本营(rgznai100) 参与 | 刘畅 编辑 | 周翔 【AI科技大本营导读】最近,A股尤其是上证指数走势凌厉,让营长有种身在牛市中的错...

4107
来自专栏PPV课数据科学社区

【技能】Python爬虫和情感分析简介

这篇短文的目的是分享我这几天里从头开始学习Python爬虫技术的经验,并展示对爬取的文本进行情感分析(文本分类)的一些挖掘结果。 不同于其他专注爬虫技术的介绍,...

2954
来自专栏数据科学与人工智能

【机器学习】有趣的机器学习:最简明入门指南

在听到人们谈论机器学习的时候,你是不是对它的涵义只有几个模糊的认识呢?你是不是已经厌倦了在和同事交谈时只能一直点头?让我们改变一下吧! 本指南的读者对象是所有对...

3018

扫码关注云+社区