专栏首页深度学习计算机视觉机器学习Adaboost算法

机器学习Adaboost算法

相关背景概念

一个概念如果存在一个多项式的学习算法能够学习它,并且正确率很高,那么,这个概念是强可学习的;

一个概念如果存在一个多项式的学习算法能够学习它,并且学习的正确率仅比随机猜测略好,那么,这个概念是弱可学习的;

强可学习与弱可学习是等价的。

在学习中,如果已经发现了“弱学习算法”,能否将他提升为“强学习算法”。

Adaboost核心概念

Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。

其算法本身是通过改变数据分布来实现的,它根据每次训练集之中每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练,最后将每次训练得到的分类器最后融合起来,作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特征,并将关键放在关键的训练数据上面。

设训练数据集T={(x1,y1), (x2,y2)…(xN,yN)}

初始化训练数据的权值分布

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • java自定义构造二叉树及其遍历

    首先:二叉树的建立 首先,我们采用广义表建立二叉树(关于广义表的概念,请查看百科的介绍:http://baike.baidu.com/view/203611.h...

    张俊怡
  • java数组实现相关方法

    import com.sun.corba.se.impl.orbutil.graph.Node; import com.sun.corba.se.spi.pre...

    张俊怡
  • 计算A+B

    代码很冗余 时间限制:1秒空间限制:32768K热度指数:347 **算法知识视频讲解 题目描述 给定两个整数A和B,其表示形式是:从个位开始,每三位数用...

    张俊怡
  • 机器学习三人行(系列九)----千变万化的组合算法(附代码)

    上节中我们讲解了决策树的使用: 机器学习三人行(系列八)----神奇的分类回归决策树(附代码) 本文我们在决策树的基础上,更进一步的讨论由常用机器学习算法进行组...

    智能算法
  • 提升方法-Adaboost算法

    总第85篇 01|基本概念: 提升方法的基本思想:对于任何一个复杂任务来说,将多个专家的判断进行适当的综合所得出的判断,要比任何一个专家单独的判断好。 先来看...

    张俊红
  • 【机器学习】--Adaboost从初始到应用

    AdaBoost算法和GBDT(Gradient Boost Decision Tree,梯度提升决策树)算法是基于Boosting思想的机器学习算法。在Boo...

    LhWorld哥陪你聊算法
  • 机器学习三人行-千变万化的组合算法

    本文我们在决策树的基础上,更进一步的讨论由常用机器学习算法进行组合的集成算法,对集成算法最直接的理解就是三个臭皮匠赛过诸葛亮,通常我们已经建立了一些预测效果较好...

    企鹅号小编
  • 机器学习中Bagging和Boosting的区别

    Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法。即将弱分类...

    机器学习算法工程师
  • 【陆勤践行】机器学习分类器选择

    你知道如何为你的分类问题选择合适的机器学习算法吗?当然,如果你真正关心准确率,那么最佳方法是测试各种不同的算法(同时还要确保对每个算法测试不同参数),然后通过交...

    陆勤_数据人网
  • Resample方法

    核心思想在于,给定训练集,当你认为给定的训练集不能够很好地反应数据的真实分布时,可以采用重采样的方法,来增大样本.

    JNJYan

扫码关注云+社区

领取腾讯云代金券