决策树模型概述

1. 决策树模型概述


1.1 决策树模型

决策树模型 是一个模拟人类决策过程思想的模型,以找对象为例,一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话:

女儿:多大年纪了?(年龄)
母亲:26
女儿:长得帅不帅?(长相)
母亲:挺帅的
女儿:收入高不?(收入情况)
母亲:不算很高,中等情况
女儿:是公务员不?(是否公务员)
母亲:是,在税务局上班呢。
女儿:那好,我去见见

简单,逻辑清晰,可解释性好

决策树基于结构进行决策

  • 那个内部结点对应于某个属性上的测试
  • 每个分支对应于该测试的一种可能结果 即该属性的某个取值
  • 每个叶结点对应于一个预测结果

学习过程:通过对训练样本的分析来确定划分属性(即内部节点所对应的属性)

预测过程:将测试示例从根节点开始,沿着划分属性所构成的判定测试序列下行,直到叶结点

1.2 决策树简史

第一个决策树算法:CLS(Concept Learning System)

使决策树受到关注了,成为机器学习主流技术的算法:ID3

最常用的决策树算法:C4.5

J.R.Quinlan

可以用于回归任务的决策树算法:CART (Classification and Regression Tree)

基于决策树的最强大算法: RF (Random Forest)

L.Breiman

要点总结

  • 决策树模型
    • 基于树的结构进行决策
      • 属性,测试预测结果
    • 训练过程
      • 分析训练样本,确定划分属性
    • 预测过程
      • 沿着树结构根据属性进行下行判断
  • 决策树简史
    • CLS
    • J.R.Quinlan 1979 ID3
    • J.R.Quinlan 1993 C4.5
    • L.Breiman 1984 CART
    • L.Breiman 2001 RandomForest

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【资源】17个最受欢迎的机器学习应用标准数据集

【新智元导读】学好机器学习的关键是用许多不同的数据集来实践。本文介绍了10个最受欢迎的标准机器学习数据集和7个时间序列数据集,既有回归问题也有分类问题,并提供了...

67415
来自专栏大数据文摘

利用 Scikit Learn的Python数据预处理实战指南

4166
来自专栏人工智能头条

LSTM实现详解

2033
来自专栏人工智能

Python&机器学习之项目实践

文章节选自《机器学习——Python实践》 文末评论赠送本书,欢迎留言! 机器学习是一项经验技能,经验越多越好。在项目建立的过程中,实践是掌握机器学习的最佳手段...

2578
来自专栏从流域到海域

Feature Selection For Machine Learning in Python (Python机器学习中的特征选择)

Feature Selection For Machine Learning in Python 原文作者:Jason Brownlee 原文地址:http...

3916
来自专栏人工智能头条

Python机器学习之项目实践 | 赠书

1762
来自专栏FreeBuf

基于机器学习的web异常检测

Web防火墙是信息安全的第一道防线。随着网络技术的快速更新,新的黑客技术也层出不穷,为传统规则防火墙带来了挑战。传统web入侵检测技术通过维护规则集对入侵访问进...

6215
来自专栏量子位

如何捕获一只彩色卓别林?黑白照片AI上色教程很友好 | 哈佛大触

1642
来自专栏机器学习算法工程师

Logistic回归实战篇之预测病马死亡率(三)

作 者:崔家华 编 辑:李文臣 四、使用Sklearn构建Logistic回归分类器 开始新一轮的征程,让我们看下Sklearn的Logistic回归分类器! ...

4619
来自专栏机器学习算法与Python学习

长文 | LSTM和循环神经网络基础教程(PDF下载)

目录: 前言 前馈网络回顾 循环网络 时间反向传播BPTT 梯度消失与梯度爆炸 长短期记忆单元(LSTM) 多时间尺度和远距离依赖 门控循环单元GRU LSTM...

48310

扫码关注云+社区