决策树模型概述

1. 决策树模型概述


1.1 决策树模型

决策树模型 是一个模拟人类决策过程思想的模型,以找对象为例,一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话:

女儿:多大年纪了?(年龄)
母亲:26
女儿:长得帅不帅?(长相)
母亲:挺帅的
女儿:收入高不?(收入情况)
母亲:不算很高,中等情况
女儿:是公务员不?(是否公务员)
母亲:是,在税务局上班呢。
女儿:那好,我去见见

简单,逻辑清晰,可解释性好

决策树基于结构进行决策

  • 那个内部结点对应于某个属性上的测试
  • 每个分支对应于该测试的一种可能结果 即该属性的某个取值
  • 每个叶结点对应于一个预测结果

学习过程:通过对训练样本的分析来确定划分属性(即内部节点所对应的属性)

预测过程:将测试示例从根节点开始,沿着划分属性所构成的判定测试序列下行,直到叶结点

1.2 决策树简史

第一个决策树算法:CLS(Concept Learning System)

使决策树受到关注了,成为机器学习主流技术的算法:ID3

最常用的决策树算法:C4.5

J.R.Quinlan

可以用于回归任务的决策树算法:CART (Classification and Regression Tree)

基于决策树的最强大算法: RF (Random Forest)

L.Breiman

要点总结

  • 决策树模型
    • 基于树的结构进行决策
      • 属性,测试预测结果
    • 训练过程
      • 分析训练样本,确定划分属性
    • 预测过程
      • 沿着树结构根据属性进行下行判断
  • 决策树简史
    • CLS
    • J.R.Quinlan 1979 ID3
    • J.R.Quinlan 1993 C4.5
    • L.Breiman 1984 CART
    • L.Breiman 2001 RandomForest

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习自然语言处理

【论文笔记】中文词向量论文综述(二)

一、Improve Chinese Word Embeddings by Exploiting Internal Structure

643
来自专栏AI科技大本营的专栏

如果你还没搞懂LSTM 网络,那本文绝对值得一看

本文作者Christopher Olah是Google Brain的研究科学家,她在文中图文并茂地解释了什么是LSTM网络,为什么要用LSTM网络,以及LSTM...

2807
来自专栏张耀琦的专栏

【机器学习入门系列】Regression 回归:案例研究

本文通过预测 Pokemon Go 的 Combat Power (CP) 值的案例介绍机器学习的回归模型,举例介绍了操作步骤,通过方程的好坏最终确定了最好的损...

1.2K1
来自专栏UAI人工智能

[译] 理解 LSTM 网络

1705
来自专栏量化投资与机器学习

【Python机器学习】信息熵和在决策树中的运用(附源码)

之前在【Python机器学习】系列五决策树非线性回归与分类(深度详细附源码)一期中, 我们提到了用熵来度量信息的不确定性和信息增益。今天我们来详细解读一下什么是...

2047
来自专栏大数据挖掘DT机器学习

如何上手深度学习中的图像领域?有这个资源库就够了

本页面收集了大量深度学习项目图像处理领域的代码链接。包括图像识别,图像生成,看图说话等等方向的代码,以便大家查阅使用。 图像生成 绘画风格到图片的转换:Neur...

3386
来自专栏机器之心

专栏 | 监督&强化学习模型在金融市场的应用

2664
来自专栏量化投资与机器学习

【深度】监督&强化学习算法在A股中的应用

2994
来自专栏塔奇克马敲代码

ECEF和大地坐标系的相互转化

1202
来自专栏AI科技评论

科普|机器学习中决策树的原理与算法

AI科技评论按:本文作者栗向滨,中科院自动化所复杂系统国家重点实验室研究生毕业,机器学习与计算机视觉方向算法工程师。雷锋网首发文章。 我们知道,在机器学习中有两...

3456

扫码关注云+社区