专栏首页数据山谷机器学习|AdaBoost

机器学习|AdaBoost

01

基本思想

对于分类问题而言,给定一个训练样本集,求比较粗糙的分类规则(弱分类器)要比求精确的分类规则(强分类器)容易的多,提升方法就是从弱学习算法出发,反复学习,得到一系列弱分类器(基本分类器),然后组合这些弱分类器,构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布,针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。

对于提升方法来说,有两个问题需要回答:一是在每一轮如何改变训练数据的权值或概率分布;二是如何将弱分类器组合成一个强分类器。关于第一个问题,Adaboost的做法是,提高那些被前一轮弱分类器错误分类样本的权值,而降低那些被正确分类样本的权值。这样,那些没有得到正确分类的数据,由于其权值加大而受到后一轮的弱分类器的更大关注;对于第二个问题,Adaboost采取了加权多数表决的方法,具体的做法是加大分类误差率小的弱分类器的权值,使其在表决中起较大的作用,见效分类误差率大的弱分类器的权值,使其在表决中起较小的作用

02

AdaBoost算法

我们用一张图来展示一下最终分类器的形式:

03

数学原理

系数的设定

损失函数的设定

我们了解了系数的设定,但是系数中用到了一个损失函数,那么对于这个损失函数我们为什么这样定义呢?

若损失函数达到最小时,G(x)可以达到最佳分类效果,我们就可以解释损失函数为什么要这样去定义了。

我们先将损失函数重写为分布的形式:

所以当L(G)达到了关于G(x)的极小时,sign{G(x)}是最小错误率贝叶斯情况下的分类器。这就说明了这样选择损失函数的原因。

04

AdaBoost例子

这里拿李航博士《统计学习方法》中的例子来说明一下:

我们有下表所示的训练数据,假设弱分类器由x<v或x>v产生,其阈值v使该分类器在训练数据集上分类误差率最低,我们尝试使用Adaboost来学习一个强分类器。

序号

1

2

3

4

5

6

7

8

9

10

x

0

1

2

3

4

5

6

7

8

9

y

1

1

1

-1

-1

-1

1

1

1

-1

初始化数据权值分布:

本文分享自微信公众号 - 数据山谷(BigDataValley),作者:二师兄

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 机器学习|支持向量机(SVM)

    了解SVM之前,先让我们来思考一个问题,有下图所示的两类样本点,我们需要找到一条直线(一个平面)来把这两类样本点区分开,在图中可以看到有很多条直线都满足条件,但...

    数据山谷
  • 机器学习|朴素贝叶斯

    数据山谷
  • 机器学习|聚类(上)

    对于训练样本的标记信息是未知的情况下,我们的目标就会变成通过对无标记训练样本的学习来揭示数据的内在性质及规律,我们把这样的学习方法称之为“无监督学习”,而在此类...

    数据山谷
  • PHP运算符

    老雷PHP全栈开发
  • 实操:数据万象语音转文字

    产品文档: https://cloud.tencent.com/document/product/460/46224

    Mr.Du
  • 【玩转腾讯云】五.手把手教你用VNC搭建Ubuntu可视化界面(一)

    ②选择自定义配置——计费模式为“按量付费”——地域选择“北京”——可用区选择“随机可用区”——网络选择“默认”即可

    一只特立独行的兔先生
  • PHPStrom 关于配置Apache解析环境80端口问题

    在PHPStrom编译器中,存在着端口号为23643等等端口号,不能自己设置80端口,这个是比较尴尬的,小编在此列举该方式,望大家不要踩坑,希望能够帮助到大家。

    Debug客栈
  • 【小技巧】几个好用的Chrome DevTools配置

    在Firefox中,status显示有颜色区分,且状态、方法和地址的顺序阅读更加友好,喜欢Firefox的朋友可以试试

    Dunizb
  • WPF小坑第十三篇之HttpWebRequest问题

    大早上正在沉迷代码根本无法自拔的时刻,突然间收到了一个私信消息:关于HttpWebRequest在post的时候一个诡异的问题,然后还给我截了图如下:

    WPF程序员
  • nRF5x系列蓝牙模块DFU升级服务移植 -- 2 文件生成

    文章中所使用的工具,请参考《nRF5x系列蓝牙模块DFU升级服务移植 -- 1 工具安装》说明。

    DN

扫码关注云+社区

领取腾讯云代金券