我们对于数据的缺失处理直接影响模型的准确性.
1.产生的原因:
调查者忘记回答了,拒绝回答,不完整的问卷,设备出故障,网络连接失效,数据误记,有意而为之等等.
2.处理缺失值的步骤
识别缺失数据:is.na...或complete.cases 或数据量大时用mice包的md.pattern 与VIM包的许多函数
第一列表示此种情况的缺失的观测数据有多少行.最后一列表示此种情况的缺失有几个列变量是包含缺失的....行删除法:na.omit
多重插补(MI):从含缺失的数据集上,产生多个模拟数据集...,不包含缺失,缺失的用蒙特卡诺模拟填补,然后对模拟数据集进行统计分析,得到结果再进行分析.填补的方法有用均值,用逻辑回归填补二值变量,多元逻辑回归填补多值变量,还包括贝叶斯线性回归,判别分析,两水平正太插补...,以及随机抽样,下面是mice包的实现与原理
一起看看它到底怎么插补的:其中1.是每个变量的缺失情况 2,各变量的插补方法 3,为预测平均 下面的矩阵说明每个变量的插补参考了哪些变量.