总结:机器学习面试之常见决策树异同

历史回顾:1984年提出的cart,1986年提出的ID3,1993年提出的c4.5

理论上总的来说, C4.5是基于ID3优化后产出的算法,主要优化了关于节点分支的计算方式,优化后解决了ID3分支过程中总喜欢偏向取值较多的属性 ID3是信息增益分支:

而CART一般是GINI系数分支:

C4.5一般是信息增益率分支:

工程上总的来说: CART和C4.5之间主要差异在于分类结果上,CART可以回归分析也可以分类,C4.5只能做分类;C4.5子节点是可以多分的,而CART是无数个二叉子节点; 以此拓展出以CART为基础的“树群”random forest , 以回归树为基础的“树群”GBDT

样本数据的差异: ID3只能对分类变量进行处理,C4.5和CART可以处理连续和分类两种自变量 ID3对缺失值敏感,而C4.5和CART对缺失值可以进行多种方式的处理 只从样本量考虑,小样本建议考虑c4.5、大样本建议考虑cart。c4.5处理过程中需对数据集进行多次排序,处理成本耗时较高,而cart本身是一种大样本的统计方法,小样本处理下泛化误差较大

目标因变量的差异: ID3和C4.5只能做分类,CART(分类回归树)不仅可以做分类(0/1)还可以做回归(0-1) ID3和C4.5节点上可以产出多叉(低、中、高),而CART节点上永远是二叉(低、非低)

样本特征上的差异: 特征变量的使用中,多分的分类变量ID3和C4.5层级之间只单次使用,CART可多次重复使用

决策树产生过程中的优化差异: C4.5是通过枝剪来修正树的准确性,而CART是直接利用全部数据发现所有树的结构进行对比

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏重庆的技术分享区

3吴恩达Meachine-Learing之线性代数回顾-(Linear-Algebra-Review)

17440
来自专栏懒人开发

(10.1)James Stewart Calculus 5th Edition:Curves Defined by Parametric Equations

有的时候,有些曲线不符合 the Vertical Line Test 竖线检测 例如:

14110
来自专栏趣学算法

动态规划算法秘籍

动态规划是1957年理查德·贝尔曼在《Dynamic Programming》一书中提出来的,八卦一下,这个人可能有同学不知道,但他的一个算法你可能听说过,他和...

19820
来自专栏机器学习专栏

机器学习:基于层次的聚类算法

尽管基于划分的聚类算法能够实现把数据集划分成指定数量的簇,但是在某些情况下,需要把数据集划分成不同层上的簇:比如,作为一家公司的人力资源部经理,你可以把所有的雇...

4.9K10
来自专栏机器之心

教程 | 无监督学习中的两个非概率模型:稀疏编码与自编码器

机器之心整理 作者:Ruslan Salakhutdinov 参与:Smith 「无监督学习」(Unsupervised Learning)现在已经成为深度学习...

36170
来自专栏大数据挖掘DT机器学习

分类-回归树模型(CART)在R语言中的实现

CART模型 ,即Classification And Regression Trees。它和一般回归分析类似,是用来对变量进行解释和预测的工具,也是数据挖掘中...

80940
来自专栏大数据挖掘DT机器学习

Python数据分析笔记:聚类算法之K均值

我们之前接触的所有机器学习算法都有一个共同特点,那就是分类器会接受2个向量:一个是训练样本的特征向量X,一个是样本实际所属的类型向量Y。由于训练数据必须指定其真...

408100
来自专栏贾志刚-OpenCV学堂

详解对象检测网络性能评价指标mAP计算

上次我写了一篇关于mAP计算的文章,发布之后得到很多网友的反馈,有感于此,觉得有必要重写一篇,目的有两个,一个是告诉大家你们的意见我收到了,另外一个是细化了我对...

30120
来自专栏机器之心

专栏 | 云脑科技-实习僧文本匹配模型及基于百度PaddlePaddle的应用

22040
来自专栏Hadoop数据仓库

HAWQ + MADlib 玩转数据挖掘之(十二)——模型评估之交叉验证

一、交叉验证概述         机器学习技术在应用之前使用“训练+检验”的模式,通常被称作“交叉验证”,如图1所示。 ? 图1 1. 预测模型的稳定性    ...

1.7K70

扫码关注云+社区

领取腾讯云代金券