数据咖小课堂：R语言十八讲--(补充)处理缺失值

缺失值处理在数据分析中是关键的一步,而且是开始的关键一步,我们对于数据的缺失处理直接影响模型的准确性.

1.产生的原因:

调查者忘记回答了,拒绝回答,不完整的问卷,设备出故障,网络连接失效,数据误记,有意而为之等等.

2.处理缺失值的步骤

识别缺失数据:is.na 或complete.cases 或数据量大时用mice包的md.pattern 与VIM包的许多函数

第一列表示此种情况的缺失的观测数据有多少行.最后一列表示此种情况的缺失有几个列变量是包含缺失的.

aggr(sleep,prop=F,number=T) #缺失图

红色表示缺失.右边的数目表示此种缺失情况的数目

matrixplot(sleep) #缺失矩阵图,红色表示缺失,颜色越深越大

marginplot(sleep[,c(7,4)],col=c("gray","red","blue")) #缺失散点图,红色点表示另外一个变量观测值缺失

检查导致数据缺失的原因. 我们做这么多探索,缺失值的数目,以及分布模式主要为了,分析缺失数据的潜在机制,评价缺失数据对分析 目标的影响.也即需要搞清楚: 缺失数据比例多大;缺失数据分布情况,缺失是随机的吗,缺失数据间的相关性

删除包含缺失值的实例或用合理的数值代替 行删除法:na.omit

多重插补(MI):从含缺失的数据集上,产生多个模拟数据集,不包含缺失,缺失的用蒙特卡诺模拟填补,然后对模拟数据集进行统计分析,得到结果再进行分析.填补的方法有用均值,用逻辑回归填补二值变量,多元逻辑回归填补多值变量,还包括贝叶斯线性回归,判别分析,两水平正太插补,以及随机抽样,下面是mice包的实现与原理

一起看看它到底怎么插补的:其中1.是每个变量的缺失情况 2,各变量的插补方法 3,为预测平均 下面的矩阵说明每个变量的插补参考了哪些变量.

具体插补的值是多少我们也可以看看. 分别是5次模拟数据集中,dream的缺失插补值.

完整的模拟数据集中的第2个就是:

其他方法:

3,缺失值分类

完全随机缺失(MCAR):某个变量的观测值缺失与自身其他观测,以及其他数据集中的变量无关. eg:工作人员忘记填了

随机缺失(MAR):某个变量的观测值有缺失,与自身其他观测无关,但与数据集中其他变量有关.

非随机缺失(NMAR) 数据缺失不属于以上两种.处理此类缺失非常复杂. eg:去调查人们的收入情况这 一变量,那么缺失值往往是比较小的值和比较大的值,因为可能穷人不好意思说,富人不愿意说.

PPV原创文章,未经允许严禁转载.