决策树模型概述

1. 决策树模型概述

1.1 决策树模型

决策树模型 是一个模拟人类决策过程思想的模型,以找对象为例，一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：

女儿：多大年纪了？（年龄）
母亲：26
女儿：长得帅不帅？（长相）
母亲：挺帅的
女儿：收入高不？（收入情况）
母亲：不算很高，中等情况
女儿：是公务员不？（是否公务员）
母亲：是，在税务局上班呢。
女儿：那好，我去见见

简单,逻辑清晰,可解释性好

决策树基于树结构进行决策

• 那个内部结点对应于某个属性上的测试
• 每个分支对应于该测试的一种可能结果 即该属性的某个取值
• 每个叶结点对应于一个预测结果

学习过程：通过对训练样本的分析来确定划分属性（即内部节点所对应的属性）

预测过程：将测试示例从根节点开始，沿着划分属性所构成的判定测试序列下行，直到叶结点

1.2 决策树简史

第一个决策树算法：CLS(Concept Learning System)

使决策树受到关注了，成为机器学习主流技术的算法：ID3

最常用的决策树算法：C4.5

J.R.Quinlan

可以用于回归任务的决策树算法:CART (Classification and Regression Tree)

基于决策树的最强大算法: RF (Random Forest)

L.Breiman

要点总结

• 决策树模型
  • 基于树的结构进行决策
    • 属性,测试预测结果
  • 训练过程
    • 分析训练样本,确定划分属性
  • 预测过程
    • 沿着树结构根据属性进行下行判断
• 决策树简史
  • CLS
  • J.R.Quinlan 1979 ID3
  • J.R.Quinlan 1993 C4.5
  • L.Breiman 1984 CART
  • L.Breiman 2001 RandomForest