分类-回归树模型(CART)在R语言中的实现

CART模型 ,即Classification And Regression Trees。它和一般回归分析类似,是用来对变量进行解释和预测的工具,也是数据挖掘中的一种常用算法。如果因变量是连续数据,相对应的分析称为回归树,如果因变量是分类数据,则相应的分析称为分类树。 决策树是一种倒立的树结构,它由内部节点、叶子节点和边组成。其中最上面的一个节点叫根节点。 构造一棵决策树需要一个训练集,一些例子组成,每个例子用一些属性(或特征)和一个类别标记来描述。构造决策树的目的是找出属性和类别间的关系,一旦这种关系找出,就能用它来预测将来未知类别的记录的类别。这种具有预测功能的系统叫决策树分类器。其算法的优点在于:

1)可以生成可以理解的规则。

2)计算量相对来说不是很大。

3)可以处理多种数据类型。

4)决策树可以清晰的显示哪些变量较重要。 下面以一个例子来讲解如何在R语言中建立树模型。为了预测身体的肥胖程度,可以从身体的其它指标得到线索,例如:腰围、臀围、肘宽、膝宽、年龄。 #首先载入所需软件包 library(mboost) library(rpart) library(maptree) #读入样本数据 data('bodyfat') #建立公式 formular=DEXfat~age+waistcirc+hipcirc+elbowbreadth+kneebreadth #用rpart命令构建树模型,结果存在fit变量中 fit=rpart(formula,method='avova',data=bodyfat) #直接调用fit可以看到结果 n= 71 node), split, n, deviance, yval * denotes terminal node 1) root 71 8535.98400 30.78282 2) waistcirc< 88.4 40 1315.35800 22.92375 4) hipcirc< 96.25 17 285.91370 18.20765 * 5) hipcirc>=96.25 23 371.86530 26.40957 10) waistcirc< 80.75 13 117.60710 24.13077 * 11) waistcirc>=80.75 10 98.99016 29.37200 * 3) waistcirc>=88.4 31 1562.16200 40.92355 6) hipcirc< 109.9 13 136.29600 35.27846 * 7) hipcirc>=109.9 18 712.39870 45.00056 * #也可以用画图方式将结果表达得更清楚一些 draw.tree(fit)

#建立树模型要权衡两方面问题,一个是要拟合得使分组后的变异较小,另一个是要防止过度拟合,而使模型的误差过大,前者的参数是CP,后者的参数是Xerror。所以要在Xerror最小的情况下,也使CP尽量小。如果认为树模型过于复杂,我们需要对其进行修剪 #首先观察模型的误差等数据 printcp(fit) Regression tree: rpart(formula = formula, data = bodyfat) Variables actually used in tree construction: [1] hipcirc waistcirc Root node error: 8536/71 = 120.23 n= 71 CP nsplit rel error xerror xstd 1 0.662895 0 1.00000 1.01364 0.164726 2 0.083583 1 0.33710 0.41348 0.094585 3 0.077036 2 0.25352 0.42767 0.084572 4 0.018190 3 0.17649 0.31964 0.062635 5 0.010000 4 0.15830 0.28924 0.062949 #调用CP(complexity parameter)与xerror的相关图,一种方法是寻找最小xerror点所对应的CP值,并由此CP值决定树的大小,另一种方法是利用1SE方法,寻找xerror+SE的最小点对应的CP值。 plotcp(fit)

#用prune命令对树模型进行修剪(本例的树模型不复杂,并不需要修剪) pfit=prune(fit,cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"]) #模型初步解释:腰围和臀围较大的人,肥胖程度较高,而其中腰围是最主要的因素。 #利用模型预测某个人的肥胖程度 ndata=data.frame(waistcirc=99,hipcirc=110,elbowbreadth=6,kneebreadth=8,age=60) predict(fit,newdata=ndata)


(本文出自:www.tuicool.com )

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-09-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

干货:基于树的建模-完整教程(R & Python)

来源:“数盟社区” 原文链接:http://dataunion.org/23697.html 简介 基于树的学习算法被认为是最好的方法之一,主要用于监测学习方...

3277
来自专栏AI科技评论

学界 | Yann LeCun新作,中日韩文本分类到底要用哪种编码?

AI科技评论按:前几天,Yann LeCun与其学生 张翔在arXiv上发表了一篇新作「Which Encoding is the Best for Text ...

3294
来自专栏数据科学与人工智能

【算法】决策树与ID3算法

小编邀请您,先思考: 1 如何构建决策树? 2 决策树适合解决什么问题? 1. 什么是决策树/判定树(decision tree)? 决策树(Decision ...

3355
来自专栏人工智能头条

递归神经网络不可思议的有效性(上)

1874
来自专栏AI科技评论

学界 | AAAI 2018 Oral论文首次提出利用深度增强学习自动解数学题

AI 科技评论按:增强学习和人类学习的机制非常相近,DeepMind 已经将增强学习应用于 AlphaGo 以及 Atari 游戏等场景当中。作为智能教育领域的...

3768
来自专栏人工智能

用Pandas在Python中可视化机器学习数据

您必须了解您的数据才能从机器学习算法中获得最佳结果。

3076
来自专栏人工智能LeadAI

BAT机器学习面试1000题系列(第1~75题)

今17年,近期和团队整理BAT机器学习面试1000题系列,侧重机器学习、深度学习。我们将通过这个系列索引绝大部分机器学习和深度学习的笔试面试题、知识点,它将更是...

5335
来自专栏机器学习算法全栈工程师

如何利用深度学习写诗歌(使用Python进行文本生成)

翻译:李雪冬 编辑:李雪冬 前 言 从短篇小说到写5万字的小说,机器不断涌现出前所未有的词汇。在web上有大量的例子可供开发人员使...

5687
来自专栏AI科技大本营的专栏

【AAAI Oral】利用深度增强学习自动解数学题,准确率提升15%

【AI科技大本营导读】增强学习和人类学习的机制非常相近,DeepMind已经将增强学习应用于AlphaGo以及Atari游戏等场景当中。作为智能教育领域的引领者...

2707
来自专栏desperate633

小白也能看懂的BP反向传播算法之Towards-Backpropagation

想要理解backpropagation反向传播算法,就必须先理解微分!本文会以一个简单的神经元的例子来讲解backpropagation反向传播算法中的微分的概...

731

扫码关注云+社区