机器学习(二十五) ——adaboost算法与实现

机器学习(二十五)——adaboost算法与实现

(原创内容,转载请注明来源,谢谢)

一、概述

当进行监督学习时,除了使用某个分类器外,还可以将各个分类器结合起来使用,或者多次使用某个分类器,也可以是数据集分给不同的分类器后进行集成。本文主要介绍基于同一种分类器多个不同实例的方法,基础算法基于单层决策树。

二、bagging

首先,先介绍bagging算法,这个算法是一种自举汇聚法,方法如下:

1)获取数据源

假设样本容量为m,则进行m次放回抽样(即每次抽到样本后再将样本放回),获取一个新的样本集,这个样本集可能用重复数据。

接着,进行S次上述操作,获取S个样本集。

2)分类器

把某种分类器(如决策树)作用于这S个样本集,得到S个分类器。

3)使用

当需要分类的时候,则把新的数据给这S个分类器进行分类,会得到S个分类结果,并返回这S个分类结果中出现次数最多的分类(又称为票数最多的分类结果)。

三、boosting

boosting和bagging非常类似,唯一的区别在于,bagging中,每个分类器的投票权重是一样的,而boosting则会根据上一次的分类结果,对下一次的分类调整分类器对不同样本的权重。

boosting集中关注被已有分类器错分的那些数据,并主要用这些数据来训练新的分类器。多种boosting版本中,最流行的就是adaboosting。

主要步骤如下:

1)权重

对于训练数据的每个样本,赋予一个权重,这个权重代表上一轮迭代的成功度,上一轮成功的降低权重,上一轮错误的增加权重。

2)在训练数据上训练一个弱分类器,并计算该分类器的错误率,然后在同一数据集上再次训练弱分类器。

3)在分类器的二次训练中,会重新调整每个样本的权重。

4)公式

错误率e=未正确分类样本数/所有样本数,α=0.5ln((1-e)/e)。

上一轮该样本正确分类,则该轮样本Di(t+1)=Di(t)e-α/sum(D);若错误分类,则Di(t+1)=Di(t)eα/sum(D)。

四、python实现adaboost

1、获取数据

这里有两种方式,一个是固定一个数据集,用于小范围的测试;另一个是载入一个文件,从文件中获取样本和分类结果。

2、构建单层决策生成树

1)阈值比较

首先需要一个辅助函数,可以通过比较阈值,来进行预测,这里预测的分类结果不是0和1,而是-1和1。

2)构建树

这里通过三层的循环,来构建一个单层的最佳的树,第一层是遍历所有特征,第二层是遍历所有样本,第三层是遍历大于和小于。

对照之前的决策树,是通过信息熵的大小来确定选择哪个节点最好,而这里不考虑信息熵,而是通过选择单层决策树的错误率,错误率最低的作为最佳的决策树,返回构建决策树的样本的第i个特征值、阈值、大于或是小于、最低错误率、最低错误率情况下的预测分类结果。

3、完整adaboost算法

上面有了构建决策树后,就可以来实现完整的adaboost了。实现方式主要基于上面的公式,如下:

错误率e=未正确分类样本数/所有样本数,α=0.5ln((1-e)/e)。

上一轮该样本正确分类,则该轮样本Di(t+1)=Di(t)e-α/sum(D);若错误分类,则Di(t+1)=Di(t)eα/sum(D)。

整个过程比较简单,代码如下图所示:

唯一不一样的,是α的计算,不是直接除以e,是为了防止e=0时发生除以0的异常。

测试分类结果是否正常的代码如下:

一共迭代10次,实现10层的单层决策树。

结果如下(部分):

可以看到,虽然每次的错误率都在0.5左右,但是最终的错误率在0.35,且这里返回了每层决策树的分类依据、阈值等数据。

4、使用adaboost进行分类

使用过程,即不断的获取单层的树,并且动态的加权后,将结果进行sign的运算即可。

五、总结

adaboost算法,可以理解为一个算法的大合集,里面可以放各种的内容,这里是以单层决策树为例,实际上可以放各种函数,有点类似svm的核函数的意义。

由于每次训练完,有反馈和权重,故多层的叠加后,效果会更好。

——written by linhxx 2018.01.30

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2018-01-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

线性神经网络

自适应线性元件也是早期的神经网络模型之一,其学习算法称为LMS(Least Mean Squares)算法。Adaline网络与感知器网络非常相似,只是神经元的...

1868
来自专栏开心的学习之路

神经网络体系搭建(一)——神经网络

本篇是神经网络体系搭建的第一篇,解决体系搭建的前四个问题,详见神经网络体系搭建(序) 神经网络 ? 最简单的神经网络 神经网络的定义就不再赘述,直接从最简单的神...

31410
来自专栏人工智能头条

卷积神经网络一些问题总结

1244
来自专栏瓜大三哥

线性神经网络

自适应线性元件也是早期的神经网络模型之一,其学习算法称为LMS(Least Mean Squares)算法。Adaline网络与感知器网络非常相似,只是神经元的...

2187
来自专栏PPV课数据科学社区

【算法】什么是神经网络?

本文结构: 什么是神经网络 什么是神经元 神经网络的计算和训练 代码实现 1. 什么是神经网络 神经网络就是按照一定规则将多个神经元连接起来的网络 例如全连接(...

4029
来自专栏计算机视觉战队

经典的全连接前馈神经网络与BP

神经网络分类: ? 机器学习的四要素 ? 讨论:线性模型与广义线性模型 对于部分数据来说,其本身就是稀疏,可以通过线性模型直接优化求解,但是实际生活中大多...

2985
来自专栏ATYUN订阅号

新手,你需要了解的关于神经网络的所有知识

这篇文章将带你了解什么是人工智能,机器学习和深度学习。 ? 神经元(Node)  – 它是神经网络的基本单位。它获得一定数量的输入和一个偏置值。当信号(值)到...

3397
来自专栏奇点大数据

卷积神经网络对图片分类-下

接上篇:卷积神经网络对图片分类-中 9 ReLU(Rectified Linear Units) Layers 在每个卷积层之后,会马上进入一个激励层,调用一种...

27312
来自专栏杨熹的专栏

什么是神经网络

本文结构: 什么是神经网络 什么是神经元 神经网络的计算和训练 代码实现 ---- 1. 什么是神经网络 神经网络就是按照一定规则将多个神经元连接起来的网络 例...

3245
来自专栏机器学习算法与理论

《白话深度学习与Tensorflow》学习笔记(3)HMM RNN LSTM

RNN:循环神经网络 与CNN最大的不同是记忆暂存功能,可以把过去输入的内容所产生的远期影响量化后与当前时间输入内容一起反应到网络中参与训练。尤其是对时间序列、...

3097

扫描关注云+社区