【V课堂】数据挖掘知识脉络与资源整理(五)–缺失值处理

简介:

缺失值是指粗糙数据中由于缺少信息而造成的数据的聚类，分组，删失或截断。它指的是现有数据集中某个或某些属性的值是不完全的。数据挖掘所面对的数据不是特地为某个挖掘目的收集的，所以可能与分析相关的属性并未收集（或某段时间以后才开始收集），这类属性的缺失不能用缺失值的处理方法进行处理，因为它们未提供任何不完全数据的信息，它和缺失某些属性的值有着本质的区别。

产生的原因:

缺失值的产生的原因多种多样，主要分为机械原因和人为原因。机械原因是由于机械原因导致的数据收集或保存的失败造成的数据缺失，比如数据存储的失败，存储器损坏，机械故障导致某段时间数据未能收集（对于定时数据采集而言）。人为原因是由于人的主观失误、历史局限或有意隐瞒造成的数据缺失，比如，在市场调查中被访人拒绝透露相关问题的答案，或者回答的问题是无效的，数据录入人员失误漏录了数据,调查者忘记回答了,拒绝回答,不完整的问卷,有意而为之等等.

缺失值分类

◆完全随机缺失(MCAR):某个变量的观测值缺失与自身其他观测,以及其他数据集中的变量无关. eg:工作人员忘记填了

◆随机缺失(MAR):某个变量的观测值有缺失,与自身其他观测无关,但与数据集中其他变量有关.

◆非随机缺失(NMAR) 数据缺失不属于以上两种.处理此类缺失非常复杂. eg:去调查人们的收入情况这一变量,那么缺失值往往是比较小的值和比较大的值,因为可能穷人不好意思说,富人不愿意说.

处理缺失值的步骤(使用工具R软件)

1

识别缺失数据

is.na 或complete.cases 或数据量大时用mice包的md.pattern 与VIM包的许多函数.

第一列表示此种情况的缺失的观测数据有多少行.最后一列表示此种情况的缺失有几个列变量是包含缺失的.

aggr(sleep,prop=F,number=T)

#缺失图红色表示缺失.右边的数目表示此种缺失情况的数目

matrixplot(sleep) #缺失矩阵图,红色表示缺失,颜色越深越大

marginplot(sleep[,c(7,4)],col=c("gray","red","blue")) #缺失散点图,红色点表示另外一个变量观测值缺失

另外一种探索缺失值模式的方法,叫做影子矩阵,如下

2

检查导致数据缺失的原因

我们做这么多探索,缺失值的数目,以及分布模式主要为了,分析缺失数据的潜在机制,评价缺失数据对分析 目标的影响.也即需要搞清楚:缺失数据比例多大;缺失数据分布情况,缺失是随机的吗,缺失数据间的相关性

3

删除包含缺失值的实例或用合理的数值代替

(1)均值插补。数据的属性分为定距型和非定距型。如果缺失值是定距型的，就以该属性存在值的平均值来插补缺失的值；如果缺失值是非定距型的，就根据统计学中的众数原理，用该属性的众数(即出现频率最高的值)来补齐缺失的值。

(2)利用同类均值插补。同均值插补的方法都属于单值插补，不同的是，它用层次聚类模型预测缺失变量的类型，再以该类型的均值插补。假设X= (X1,X2…Xp)为信息完全的变量，Y为存在缺失值的变量，那么首先对X或其子集行聚类，然后按缺失个案所属类来插补不同类的均值。如果在以后统计分析中还需以引入的解释变量和Y做分析，那么这种插补方法将在模型中引入自相关，给分析造成障碍。

(3)极大似然估计（Max Likelihood ,ML）。在缺失类型为随机缺失的条件下，假设模型对于完整的样本是正确的，那么通过观测数据的边际分布可以对未知参数进行极大似然估计（Little and Rubin）。这种方法也被称为忽略缺失值的极大似然估计，对于极大似然的参数估计实际中常采用的计算方法是期望值最大化(Expectation Maximization，EM）。该方法比删除个案和单值插补更有吸引力，它一个重要前提：适用于大样本。有效样本的数量足够以保证ML估计值是渐近无偏的并服从正态分布。但是这种方法可能会陷入局部极值，收敛速度也不是很快，并且计算很复杂。

多重插补(MI):从含缺失的数据集上,产生多个模拟数据集,不包含缺失,缺失的用蒙特卡诺模拟填补,然后对模拟数据集进行统计分析,得到结果再进行分析.填补的方法有用均值,用逻辑回归填补二值变量,多元逻辑回归填补多值变量,还包括贝叶斯线性回归,判别分析,两水平正太插补,以及随机抽样,下面是mice包的实现与原理。

t<-mice(sleep,seed = 123)

model<-with(t,lm(Dream~Span+Gest))

pooled<-pool(model)

summary(pooled)

一起看看它到底怎么插补的:其中

1.是每个变量的缺失情况

2,各变量的插补方法

3,为预测平均 上面的矩阵说明每个变量的插补参考了哪些变量.具体插补的值是多少我们也可以看看. 分别是5次模拟数据集中,dream的缺失插补值.完整的模拟数据的第2个就是。

4

看看其他的方法,以及用R软件实现