前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Bagging算法

Bagging算法

作者头像
企鹅号小编
发布2018-01-19 09:14:37
2K0
发布2018-01-19 09:14:37
举报
文章被收录于专栏:人工智能

Bagging算法(bootstrap aggregation)由Leo Breiman提出。是一种在每个自助样本集上建立基分类器,通过投票指派得到测试样本最终类别的方法。

Bagging算法

从数据集有放回的随机抽取样本,生成多个自助样本集,每个自助样本集大小与原数据集一致,因此一些样本可能在同一个自助样本集中出现多次。对每个自助样本集训练一个基学习器,常用的基学习器为二元决策树,因为对于有复杂决策边界的问题,二元决策树性能不稳定,这种不稳定可以通过组合多个决策树模型来客服。最终,对于回归问题,结果为基学习器均值,对于分类问题,结果是从不同类别所占的百分比引申出来的各类别概率或均值。

算法流程

step1

k=自助样本集个数

N=原数据集大小

step2

step3

for i=1 to k{

生成大小为N的自助样本集D[i]

D[i]上训练一个基分类器C[i]

}

计算C[i](x)=y,根据投票或概率,

得到最终C*(x)值

R语言实现

adabag包中的bagging()函数可以实现Bagging算法,此函数中选取的基分类器为树。选取线性分类器与性能评价(R语言)中的数据来进行Bagging算法的实例演示,并展示了基分类器个数与误差变化关系图。

导入包与数据,以7:3比例将数据分为训练集与测试集。

library(adabag)

library(ggplot2)

target.url

data

#divide data into training and test sets

set.seed(210)

index

train

test

用bagging()函数对训练集进行训练。首先定义基分类器个数为1,通过循环依次增加基分类器个数,直至达到20。基分类器个数通过bagging()中的mfinal参数进行设置。

#Bagging algorithm with different numbers of classifiers

error

for(i in 1:20){

data.bagging

data.predbagging

error[i]

}

对于预测后的结果data.predbagging,输入data.predbagging$confusion可以看到预测值与真实结果的混淆矩阵,输入data.predbagging$error可以看到预测误差。下面,用ggplot2画出误差随基分类器个数变化图像。

error

p

geom_line(colour="red", linetype="dashed",size = 1)+

geom_point(size=3, shape=18)+

ylim(0.13,0.4) +

xlab("the number of basic classifiers")+

theme_bw()+

theme(panel.grid = element_blank())+

theme(axis.title = element_text(face = "bold"))

p

图像结果为:

可以看出,随着基分类器增加,误差虽有波动,但有减小趋势,逐渐趋向于0.22左右。

优缺点

1,Bagging增强了目标函数的表达功能。

2,由于放回抽样每个样本被选中概率相同,Bagging不侧重于训练数据集中的任何特定实例。因此对于噪声数据,不太受过分拟合影响。

3,性能依赖基分类器稳定性,基分类器不稳定,Bagging有助于降低训练数据的随机波导致的误差,如果基分类器稳定,则组合分类器的误差主要为基分类器偏倚所引起的,此时Bagging对基分类器性能可能没有显著改善,甚至会降低。

本文来自企鹅号 - 机器学习养成记媒体

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文来自企鹅号 - 机器学习养成记媒体

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档