连续值和缺省值的处理

1. 连续值和缺省值的处理

决策树模型

决策树基于“树”结构进行决策

• 每个“内部结点”对应于某个属性上的“测试”
• 每个分支对应于该测试的一种可能结果(即该属 性的某个取值)
• 每个“叶结点”对应于一个“预测结果”

学习过程: 通过对训练样本的分析来确定“划分属性”(即内部结点所对应的属性)

预测过程: 将测试示例从根结点开始，沿着划分属性所构成的“判定测试序列”下行，直到叶结点

总体流程: “分而治之”(divide-and-conquer)

• 自根至叶的递归过程
• 在每个中间结点寻找一个“划分”(split or test)属性

三种停止条件:

1. 当前结点包含的样本全属于同一类别，无需划分;
2. 当前属性集为空, 或是所有样本在所有属性上取值相同，无法划分;
3. 当前结点包含的样本集合为空，不能划分.

决策树基本流程

[图片上传失败...(image-43a3a6-1530459814769)]

1.1 连续值处理

如果数据中有连续值，如何处理?

[图片上传失败...(image-58d933-1530459814769)]

基本思路: 连续属性离散化

常见做法: 二分法 (bi-partition)

• n个属性值可形成(n-1)个候选划分
• 把候选划分值当做离散属性处理，寻找最佳划分

[图片上传失败...(image-28aba0-1530459814769)]

1.2 缺省值处理

现实应用中，经常会遇到属性值“缺失”(missing)现象

只使用没有缺失值的样本/属性?

• 会造成数据的极大浪费

如果使用带缺失值的样例，需解决几个问题:

基本思路: 样本赋权，权重划分

分辨西瓜的例子

仅通过无缺失值的样例来判 断划分属性的优劣

有缺失值的西瓜数据集

[图片上传失败...(image-93c06c-1530459814769)]

学习开始时，根结点包 含样例集 D 中全部17个样例，权重均为 1

以属性“色泽”为例，该属性上无缺失值的样例子集 包含14个样本，信息熵为

分辨西瓜的例子

[图片上传失败...(image-4303ae-1530459814769)]

[图片上传失败...(image-fec195-1530459814769)]

[图片上传失败...(image-72d0ac-1530459814769)]

从树到规则

• 一棵决策树对应于一个“规则集”
• 每个从根结点到叶结点的分支路径对应于一条规则

[图片上传失败...(image-4e3b3e-1530459814769)]

好处:

• 改善可理解性
• 进一步提升泛化能力

要点总结

• 连续值处理
  • 二分思路
    • n 个属性值可形成 n-1 个候选划分，当做离散值来处理
• 缺失值处理
  • 样本赋权，权重划分