机器器学习算法系列列(1):随机森林随机森林原理随机森林的生成随机采样与完全分裂随机森林的变体

随机森林原理

顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决 策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每 一棵决策树分别进行一下判断,看看这个样本应该属于哪一类(对于分类算法),然后看看哪一 类被选择最多,就预测这个样本为那一类。 我们可以这样⽐比喻随机森林算法:每一棵决策树就是一个精通于某一个窄领域的专家(因为我们 从M个特征中选择m个让每一棵决策树进行行学习),这样在随机森林中就有了了很多个精通不不同领 域的专家,对一个新的问题(新的输⼊入数据),可以用不不同的角度去看待它,最终由各个专家, 投票得到结果。 随机森林算法有很多优点:

在数据集上表现良好 在当前的很多数据集上,相对其他算法有着很⼤大的优势 它能够处理理很高维度(feature很多)的数据,并且不不用做特征选择 在训练完后它能够给出哪些feature比较重要 在创建随机森林的时候,对generlization error使用的是无偏估计 训练速度快 在训练过程中,能够检测到feature间的互相影响 容易易做成并行行化方法 实现比较简单

随机森林的生成

2.1 生成步骤

步骤如下: 1)如果训练集大小为 N,对于每棵树而言,随机且有放回地从训练集中抽取N个训练样本(bootstrap抽样方法),作为该树的训练集;每棵树的训练集都是不不同的,但里面包含重 复的训练样本 2)如果每个样本的特征维度为M ,指定一个常数m ,且 m< M,随机地从 个特征中选取m个特征子集,每次树进行分裂时,从这m个特征中选择最优的; 3)每棵树都尽可能最大程度地生长,并且没有剪枝过程。

2.2 影响分类效果的参数

随机森林的分类效果(即错误率)与以下两个因素有关: 1)森林中任意两棵树的相关性:相关性越大,错误率越大 2)森林中每棵树的分类能力:每棵树的分类能力越强,整个森林的错误率越低 减小特征选择个数m,树的相关性和分类能力也会相应的降低;增大m,两者也会随之增大。所以关键问题是如何选择最优的m(或者是范围),这也是随机森林唯一的一个参数。

2.3 袋外误差率

如何选择最优的特征个数m,要解决这个问题,我们主要依据计算得到的袋外错误率oob error(out-of-bag error)。 随机森林有一个重要的优点就是,没有必要对它进行交叉验证或者用一个独立的测试集来获得误差的一个无偏估计。它可以在内部进行评估,也就是说在生成的过程中就可以对误差建立一个无偏估计。 我们知道,在构建每棵树时,我们对训练集使用了了不不同的bootstrap sample(随机且有放回地抽 取)。所以对于每棵树而言,部分训练实例例没有参与这棵树的生成,它们称为第k棵树的oob样 本。

袋外错误率(oob error)计算⽅方式如下: 1)对每个样本计算它作为oob样本的树对它的分类情况 2)以简单多数投票作为该样本的分类结果 3)最后用误分个数占样本总数的比率作为随机森林的oob误分率

随机采样与完全分裂

在建立每一棵决策树的过程中,有两点需要注意,分别是采样与完全分裂。

3.1 随机采样

首先是两个随机采样的过程,random forest对输入的数据要进行、列的采样。对于行采样,采用有放回的方式,也就是在采样得到的样本集合中,可能有重复的样本。假设输入样本为N个,那么采样的样本也为N个。这样使得在训练的时候,每一棵树的输入样本都不是全部的样本,使得相对不不容易易出现over-fitting。然后进⾏列采样,从M个feature中,选择m个(m << M)。

  • 有放回抽样的解释 如果不是有放回的抽样,那么每棵树的训练样本都是不不同的,都是没有交集的,这样每棵树都 是"有偏的",都是绝对"片面的"(当然这样说可能不对),也就是说每棵树训练出来都是有很大的差异的;而随机森林最后分类取决于多棵树(弱分类器)的投票表决,这种表决应该是"求同",因此使用完全不同的训练集来训练每棵树这样对最终分类结果是没有帮助的,这样无异于 是"盲人摸象"。
  • 对Bagging的改进 随机森林对Bagging的改进就在于随机采用的不同,即以下两点: 1)Random forest是选与输入样本的数目相同多的次数(可能一个样本会被选取多次,同时 也会造成一些样本不会被选取到),而bagging一般选取比输入样本的数目少的样本; 2)bagging是用全部特征来得到分类器器,而Random forest是需要从全部特征中选取其中的一部分来训练得到分类器器;一般Random forest效果比bagging效果好!

3.2 完全分裂

之后就是对采样之后的数据使用完全分裂的方式建立出决策树,这样决策树的某一个叶子节点要么是无法继续分裂的,要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤 - 剪枝,但是这里不这样干,由于之前的两个随机采样的过程保证 了随机性,所以就算不剪枝,也不会出现over-fitting。 按这种算法得到的随机森林中的每一 棵都是很弱的,但是组合起来就很厉害了。

随机森林的变体

也可以使用SVM、Logistic回归等其他分类器,习惯上这些分类器器组成的“总分类器器”,仍然叫 做随机森林。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习与计算机视觉

Object Detection系列(四) Faster R-CNN

Object Detection系列(一) R-CNN Object Detection系列(二) SPP-Net Object Detection系列...

3365
来自专栏机器学习、深度学习

目标检测中的尺度--An Analysis of Scale Invariance in Object Detection – SNIP

An Analysis of Scale Invariance in Object Detection – SNIP Code will be made ...

6396
来自专栏机器学习养成记

k折交叉验证(R语言)

“ 机器学习中需要把数据分为训练集和测试集,因此如何划分训练集和测试集就成为影响模型效果的重要因素。本文介绍一种常用的划分最优训练集和测试集的方法——k折交叉验...

2.5K9
来自专栏算法修养

文本分类学习 (八)SVM 入门之线性分类器

SVM 和线性分类器是分不开的。因为SVM的核心:高维空间中,在线性可分(如果线性不可分那么就使用核函数转换为更高维从而变的线性可分)的数据集中寻找一个最优的超...

641
来自专栏AI研习社

前Twitter资深工程师详解YOLO 2与YOLO 9000目标检测系统

AI研习社按:YOLO是Joseph Redmon和Ali Farhadi等人于2015年提出的第一个基于单个神经网络的目标检测系统。在今年CVPR上,Jose...

5556
来自专栏机器学习原理

深度学习——目标检测(1)什么是目标检测?RCNNRCNN的检测流程:Bounding-box回归

前言:深度学习在图像的应用中目标检测是最基本也是最常用的,下面介绍几种常见的目标检测算法或者模型

1772
来自专栏杂七杂八

matlab留出法实现

留出法(hold-out) 方法:直接将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另一个作为测试集T,即.在S上训练出模型后,用T来评估其作为测...

7139
来自专栏磐创AI技术团队的专栏

一文彻底搞懂BP算法:原理推导+数据演示+项目实战(上篇)

一文彻底搞懂BP算法:原理推导+数据演示+项目实战(上篇) 反向传播算法(BackpropagationAlgorithm,简称BP算法)是深度学习的重要思想...

4194
来自专栏AI科技评论

深度 | 详解CVPR2017最佳论文提名的 YOLO 2与 YOLO 9000物体检测系统

AI 科技评论按:YOLO是Joseph Redmon和Ali Farhadi等人于2015年提出的第一个基于单个神经网络的目标检测系统。在今年CVPR上,Jo...

5047
来自专栏计算机视觉战队

干货——线性分类(上)

图像分类的任务,就是从已有的固定分类标签集合中选择一个并分配给一张图像。我们还介绍了k-Nearest Neighbor (k-NN)分类器,该分类器的基本思想...

1312

扫码关注云+社区

领取腾讯云代金券