Boosting 简介--A (small) introduction to Boosting

A (small) introduction to Boosting https://codesachin.wordpress.com/tag/adaboost/

这里翻译了一下这篇博客,对 boosting 介绍的很好

What is Boosting? 什么是 Boosting Boosting is a machine learning meta-algorithm that aims to iteratively build an ensemble of weak learners, in an attempt to generate a strong overall model. 下面分别对上面的定义进行逐词解析 1)weak learners 弱学习器 A ‘weak learner’ is any ML algorithm (for regression/classification) that provides an accuracy slightly better than random guessing. 就是比随机猜测好一点的一个机器学习算法。随机猜测的准确率是 50%,所以任何一个算法其准确率超过50% 都是一个弱学习器。 常用的弱学习器有 Decision Stumps or smaller Decision Trees

2) Ensemble Boosting 构建的模型最终的输出就是 所以弱学习器的 权重和 The overall model built by Boosting is a weighted sum of all of the weak learners. The weights and training given to each ensures that the overall model yields a pretty high accuracy (sometimes state-of-the-art)

3) Iteratively build 许多组合方法如 bagging/random forests ,这些模型中的弱学习器都可以并行独立训练的,因为这些弱学习器之间没有依赖性。但是 Boosting 不是这样的。 在每个步骤, Boosting 尝试评估当前已构建的模型 shortcomings ,然后生成一个 弱学习器来解决这个 shortcomings ,然后将这个弱学习器加到总体模型中去。所以整个训练过程是序列进行的。

4) Meta-algorithm 因为 Boosting 本身不是一个机器学习算法,它只是将一些基础算法构建成一个强算法,所以说它是 ‘meta’algorithm Since Boosting isn’t necessarily an ML algorithm by itself, but rather uses other (basic) algorithms to build a stronger one, it is said to be a ‘meta’ algorithm.

How does Boosting work?

通常一个基于 Boosting 框架的回归算法工作流程如下:

在 Boosting 的每个迭代步骤中,通过引入一个新的弱学习器到当前的 ensemble 中来提升当前模型的性能,这个新引入的弱学习器主要负责解决当前模型不能解决的那些样本。 这个ensemble 不仅减少 bias 也同样降低 variance

Each of the iterations in Boosting essentially tries to ‘improve’ the current model by introducing another learner into the ensemble. Having such an ensemble not only reduces the bias (which is generally pretty high for weak learners), but also the variance (since multiple learners contribute to the overall output, each with their own unique training).

Boosting 有很多种版本,其差别主要在上面算法步骤中的一些细节上。 例如 Gradient Boosting 主要的思路是 计算 Loss function 在当前步骤某一 data point 的梯度 gradient ,然后用一个新的弱学习器来学习预测这个梯度 gradient, 这个弱学习器的权重通过最小化损失函数值得到 The weight is then optimized so as to minimize the total Loss value

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏https://www.cnblogs.com/L

【机器学习】--回归问题的数值优化

回归问题求解时梯度下降由于样本数据的多样性,往往对模型有很大的影响,所以需要对样本数据做一些优化

773
来自专栏专知

【干货】KNN简明教程

【导读】本文是Devin Soni撰写的博文,主要介绍k-近邻算法(KNN)的工作原理和常见应用。KNN可以说是机器学习算法中最普遍、最简单的分类方法了,其拥有...

2835
来自专栏机器学习入门

PRML系列:1.3 Model Selection

PRML系列:1.3 Model Selection 模型选择 模型选择一般采用交叉验证,本节提到了S-fold cross-validation,原理如下,把...

1888
来自专栏ATYUN订阅号

【学术】为回归问题选择最佳机器学习算法

AiTechYun 编辑:xiaoshan 任何类型的机器学习(ML)问题,都有许多不同的算法可供选择。在机器学习中,有一种叫做“无免费午餐(No Free L...

2586
来自专栏企鹅号快讯

神经网络模型实现手写字分类求解思路

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来...

1886

调整渐变下降的学习率

在大多数监督性机器学习问题中,我们需要定义一个模型并基于训练数据集预估其参数。计算这些参数的广泛且容易使用的一个技术是通过梯度下降来最小化模型的误差。梯度下降通...

2088
来自专栏AI科技大本营的专栏

哪个才是解决回归问题的最佳算法?线性回归、神经网络还是随机森林?

编译 | AI科技大本营 参与 | 王珂凝 编辑 | 明 明 【AI科技大本营导读】现在,不管想解决什么类型的机器学习(ML)问题,都会有各种不同的算法可以供你...

3137
来自专栏人工智能LeadAI

CNN卷积神经网络分析

CNN最大的优势在特征提取方面。由于CNN的特征检测层通过训练数据进行学习,避免了显示的特征抽取,而是隐式地从训练数据中进行学习;再者由于同一特征映射面上的神经...

871
来自专栏杨熹的专栏

为什么要用交叉验证

本文结构: 什么是交叉验证法? 为什么用交叉验证法? 主要有哪些方法?优缺点? 各方法应用举例? ---- 什么是交叉验证法? 它的基本思想就是将原始数据(da...

3614
来自专栏ACM算法日常

第九篇:《机器学习之神经网络(实战篇)》

612

扫码关注云+社区