首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >机器学习实战 - 读书笔记(07) - 利用AdaBoost元算法提高分类性能

机器学习实战 - 读书笔记(07) - 利用AdaBoost元算法提高分类性能

作者头像
绿巨人
发布2018-05-17 11:39:13
1K0
发布2018-05-17 11:39:13
举报
文章被收录于专栏:绿巨人专栏绿巨人专栏

前言

最近在看Peter Harrington写的“机器学习实战”,这是我的学习笔记,这次是第7章 - 利用AdaBoost元算法提高分类性能。

核心思想

在使用某个特定的算法是,有时会发现生成的算法f(x)的错误率比较高,只使用这个算法达不到要求。 这时f(x)就是一个弱算法。 在以前学习算法的过程中,我们认识到算法的参数很重要,所以把公式改写成这样: f(x,arguments) \\ where \\ \qquad x \text{ : calculated data} \\ \qquad arguments \text{ : function arguments} 一个思路是通过多个弱算法组合形成一个强算法来满足需求。 训练多个弱算法的思路如下:

  • 根据样本数据,求出f(x,arguments_1)
  • 调整样本数据:将满足匹配f(x,arguments_1)的样本数据的权重调低,将不满足匹配f(x,arguments_1)的样本数据的权重调高。
  • 重复以上步骤,训练出多个弱算法算法f(x,arguments_1), ..., f(x,arguments_n),直到这些弱算法组合的错误率等于0,或者小于指定值为止。

这个思路称之为Adaboost算法,是对其它算法组合的一种方式。 我们可以看出弱算法是同类的算法,也就是说,它们是基于相同的算法,只不过参数不同。这样元算法在训练算法的步骤中就好容易控制。 注:也有其它的的元算法,可以针对不同算法的。

基本概念

  • 元算法(meta-algorithm),是对其它算法组合的一种方式。也称为集成方法(ensemble method)。
  • 弱算法:准确度较低的算法。元算法通过组合多个弱算法来提高准确率。
  • 强算法:可以认为是组合后的算法。
  • boosting : 是一种元算法,将多个弱算法变成强算法的算法族。除了AdsBoost,还有LPBoost, TotalBoost, BrownBoost, xgboost, MadaBoost, LogitBoost, and others.
  • Adaboost : Adaptive Boosting的简称。一个具体的boosting算法。本章就是介绍这个算法。

详解Adaboost

说明:书中弱算法是一个单层决策树算法,返回的是一个二类分类结果(-1, 1)。所以书中Adaboost也是一个二类分类算法。

Adaboost训练算法

  • 输入
    • 样本数据
    • 弱算法的数量
  • 输出
    • 一个弱算法数组(弱算法参数,弱算法权重\(\alpha_i\))
  • 逻辑 在一个迭代中(弱算法数量) 计算当前算法的参数 计算当前算法的错误率 计算当前算法的权重 计算下次样本数据的权重 计算当前的样本数据错误数,如果是0,退出。
  • 核心数学公式
    • 训练算法 - 计算弱算法f_i(x)的权重\alpha_i: \alpha_i = \begin{cases} \frac{1}{2}ln \left (\frac{1 - \epsilon_i}{\epsilon_i} \right), & \text{if} \epsilon_i > C \\ \frac{1}{2}ln \left (\frac{1 - \epsilon_i}{C} \right), & \text{if} \epsilon_i \leqslant C \end{cases} \\ where \\ \qquad \epsilon_i = \frac{count(\text{wrong classified samples})}{count(\text{all samples})} \text{ : error rate of function i} \\ \qquad C \text{ : constant }\ e^{-16} 解释:为什要用自然对数? 个人认为在权重方面,自然对数和log_2,log_{10}性质上是一样的,它们的结果是等比例的。 数学家倾向于使用自然对数。 求对数是可以将数据关系线性化。比如log_{10}1000 = 3, log_{10}100 = 2, log_{10}10 = 1.
    • 训练算法 - 调整样本数据:每条样本数据的权重D_1 D_i^{'(t)} = \begin{cases} D_i^{(t)}e^{-\alpha}, & \text{if the sample is classified correctly} \\ D_i^{(t)}e^{\alpha}, & \text{if the sample is not classified correctly} \end{cases} \\ D_i^{(t+1)} = \frac{D_i^{'(t)}}{\textstyle \sum_{j=1}^n D_j^{'(t)}} \\ where \\ \qquad \alpha \text{ : weight of current weak function} \\ \qquad D \text{ : is a vector, the length is the length of samples data} \\ \qquad D_i \text{ : is weight value of sample data i} \\ \qquad D_i^{(t)} \text{ : is weight value of sample i for this function} \\ \qquad D_i^{(t+1)} \text{ : is weight value of sample i for next week function} 解释: 假如有1000个sample,有100个sample被分错类,则: \begin{array}{lcl} \epsilon & =\frac{100}{1000} \\ \alpha & = \frac{1}{2}ln \left(\frac{1 - \frac{100}{1000}}{\frac{100}{1000}} \right) \\ & = \frac{1}{2}ln(9) \\ D_{correct}^{'} & = 1 * e^{-\frac{1}{2}ln(9)} \\ & = \frac{1}{e^{\frac{1}{2}} * 9} \\ D_{incorrect}^{'} & = 1 * e^{\frac{1}{2}ln(9)} \\ & = e^{\frac{1}{2}} * 9 \\ \frac{D_{incorrect}^{'}}{D_{correct}^{'}} & = e * 9 ^ 2 \end{array} 可以看出错误的sample占的比例越小,下次的权重是二次方级数增大。

Adaboost分类算法

  • 输入
    • 分类数据
    • 弱算法数组
  • 输出
    • 分类结果
  • 逻辑 在一个迭代中(弱算法数量) 用当前弱算法计算分类结果$classified_i$ 计算强分类结果(使用下面的公式) 返回分类结果
  • AdaBoost分类器中计算公式 \textstyle \sum_{i=1}^n \alpha_if_i(x) \\ where \\ \qquad \alpha_i \text{ : weight of weak function i} \\ \qquad f_i(x) \text{ : weak function i}

参考

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2016-07-21 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 核心思想
  • 基本概念
  • 详解Adaboost
    • Adaboost训练算法
      • Adaboost分类算法
      • 参考
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档