【商务智能】数据预处理

商务智能系列文章目录

【商务智能】数据预处理

文章目录

• 商务智能系列文章目录
• 前言
• 一、数据预处理主要任务
• 二、数据规范方法
• ​
  • 1、z-score 规范化
  • 2、最小-最大规范化
• 三、数据离散方法
• ​
  • 1、分箱离散化
  • 2、基于熵的离散化
• 总结

前言

在进行数据分析之前 , 先要对数据进行预处理操作 , 本篇博客简要介绍常用的数据预处理方法 ;

一、数据预处理主要任务

数据预处理主要任务 :

① 数据离散化 : 分箱离散化 , 基于熵的离散化 , ChiMerge 离散化 ;

② 数据规范化 : 又称数据标准化 , 统一 样本数据的 取值范围 , 避免在数据分析过程中 , 因为属性取值范围不同 , 在数据分析过程中导致分析结果出现误差 ; 如 : 时间属性的数值 , 有用秒作为单位的 , 有用小时作为单位的 , 必须统一成同一个时间单位 ;

③ 数据清洗 : 识别 和 处理 数据缺失 , 噪音数据 , 数据不一致 等情况 ; 如 : 某样本某属性数据缺失 , 将 同类样本的该属性的平均值 赋值给该缺失属性的样本 ;

④ 特征提取与特征选择 : 面向分类的特征选择方法 , 有效的特征选择 , 既可以 降低数据量 , 又能 提高分类模型的构建效率 , 还能 提高分类准确率 ;

二、数据规范方法

1、z-score 规范化

z-score : 也称为 标准分 ; z-score 值为

;

其中

是本次要规范的属性值 ,

是均值 ,

是标准差 , 该公式的含义是 计算当前属性值

偏离均值

的距离是多少个标准差

;

z-score 规范化 又称为 零均值规范化 ( Zero-Mean Normalization ) , 给定属性

, 均值为

, 标准差为

, 属性

的取值

规范后的值

;

年收入平均值

万 , 标准差

, 年收入

万使用 z-score 规范化后的值为 :

2、最小-最大规范化

样本属性原来取值范围

, 现在需要将样本属性映射到

区间内 , 根据等比例映射原理 , 属性值

映射到新区间后的值计算方法如下 :

某样本属性为年收入 , 取值范围

, 将其映射到

区间内 , 则

映射到新区间后的值为 :

三、数据离散方法

1、分箱离散化

分箱离散化 分为 等距离分箱 , 等频率分箱 ;

等距离分箱 : 又称为 等宽度分箱 , 将属性的每个取值映射到等大小区间的方法 ;

如 : 学生考试分数 ,

~

分 , 以

分为一档 , 分为

档 ,

分处于

~

档 ,

分处于

~

档 ;

等距离分箱 , 可能导致某些取值多 , 某些取值少 , 如

~

这一档很多 ,

~

这一档几乎没有 ;

等频率分箱 : 又称为 等深度分箱 , 将每个取值映射到一个区间 , 每个区间包含的取值个数相同 ;

2、基于熵的离散化

分箱离散化 是 无监督 离散化方法 , 基于熵的离散化 是 有监督 离散化方法 ;

给定数据集

及其分类属性 , 类别集合为

, 数据集

的信息熵

计算公式如下 :

的值是

,

是指

在数据集

中出现的次数 ,

表示数据样本个数 ;

信息熵

取值越小 , 类别分步越纯 ;

属性 信息熵 计算参考 【数据挖掘】决策树中根据 信息增益 确定划分属性 ( 信息与熵 | 总熵计算公式 | 每个属性的熵计算公式 | 信息增益计算公式 | 划分属性确定 ) 博客 ;

总结

本博客主要讲解数据预处理需要进行的操作 , 数据规范化 , 数据离散化 , 数据清洗 , 特征提取与特征选择 ;

数据规范化涉及 最小-最大规范化 和 z-score 规范化 ;

数据离散化涉及 分箱离散化 和 基于熵的离散化 , 分箱离散化分为 等距离分箱 和 等频率分箱 ;