基础知识 | R语言数据管理之缺失值
基础知识 | R语言数据管理之缺失值
R语言数据管理之缺失值
在做任何数据分析的第一步，是根据个人需求创建数据集，存储数据的结构是多样的，包括向量，矩阵、数据框、因子以及列表等。其实，以上几个R语言的独特术语，在C++中也会经常用到，导致很多人都会认为自己很熟悉的错觉，然而在实际的应用中，却经常出现错误。最近在处理一波量大的数据，在运行程序的过程中，因为前期数据处理错误却出现各种bug，经过检查数据集发现是数据管理的问题，为了巩固R语言的基本数据管理，特地重新基础知识。
01
缺失值
NA（Not Available，不可用）表示缺失值；NaN（Not a Number，非数值）表示不可能出现的值。
#创建数据框
我们来创建一份关于某央企组织新员工的体检报告数据框吧
> PatientID<-c(1,2,3,4,5,6)
> Data<-c("03/20/20","03/21/20","03/22/20","03/23/20","03/24/20","03/25/20")
> Age<-c(18,25,26,35,48,50)
> Gender<-c("M","F","F","M","F","M")
> City<-c("福州","厦门","泉州","龙岩","漳州","三明")
> Pr1<-c("69","57","67","65","72","55")
> Pr2<-c("180","155","159","184","167","175")
> Pr3<-c("11","14","34","23","35","12")
> Pr4<-c("6","7","5","8","6","9")
> Pr5<-c("20","34","35","56","47","19")
> S1<-c(88,78,NA,56,45,60)
> S2<-c(67,87,45,25,NA,96)
> mydata<-data.frame(PatientID,Data,Age,Gender,City,Pr1,Pr2,Pr3,Pr4,Pr5,S1,S2)
> mydata
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87
3 3 03/22/20 26 F 泉州 67 159 34 5 35 NA 45
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25
5 5 03/24/20 NA F 漳州 72 167 35 6 47 45 NA
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 9602
缺失值的识别
is.na()函数检测缺失值是否存在,如果存在缺失值，相应的位置会标上TRUE,否则FALSE。
> is.na(S1)
[1] FALSE FALSE TRUE FALSE FALSE FALSE
> is.na(mydata[,11:12])
S1 S2
[1,] FALSE FALSE
[2,] FALSE FALSE
[3,] TRUE FALSE
[4,] FALSE FALSE
[5,] FALSE TRUE
[6,] FALSE FALSE03
缺失值的计算
计算S1和S2的和,可以看到缺失值是无法使用比较运算符计算或识别的，只能用is.na()函数识别，而且含有缺失值的算术表达式和函数计算结果也是缺失值。
> attach(mydata)
> mydata$SumS<-S1+S2
> mydata
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
3 3 03/22/20 26 F 泉州 67 159 34 5 35 NA 45 NA
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
5 5 03/24/20 48 F 漳州 72 167 35 6 47 45 NA NA
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156#确定缺失值之后，删除这些缺失值,可以考虑在函数计算之前去除缺失值，再使用剩余值进行计算
> S1<-c(88,78,NA,56,45,60)
> S3<-sum(S1,na.rm=TRUE)
> S3
[1] 32704
编码某些数值为缺失值
编码某些数值为缺失值是很有必要的，在数据处理的过程中，能够通过na.omit()函数删除某个值所在的行。往期文章gganimate动画GIF | 让你的图形跳动起来！！！的data_province2就是通过给data_province1中的Hubei赋值为缺失值，而后用na.rm()移除缺失值所得。
> mydata$Age[mydata$Age==48]<-NA
> mydata
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
3 3 03/22/20 26 F 泉州 67 159 34 5 35 NA 45 NA
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
5 5 03/24/20 NA F 漳州 72 167 35 6 47 45 NA NA
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156#删除缺失值所在的行
方法1:na.omit()函数
> mydata1<-na.omit(mydata)
> mydata1
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156方法2:tidyr::drop_na()
> mydata2<-tidyr::drop_na(mydata,S1,S2)
> mydata2
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156#使用邻近的元素填充NA
处理前数据框mydata：
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
3 3 03/22/20 26 F 泉州 67 159 34 5 35 NA 45 NA
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
5 5 03/24/20 NA F 漳州 72 167 35 6 47 45 NA NA
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156tidyr::fill()处理后数据框：
>tidyr::fill(mydata,S1,S2,SumS)
PatientID Data Age Gender City Pr1 Pr2 Pr3 Pr4 Pr5 S1 S2 SumS
1 1 03/20/20 18 M 福州 69 180 11 6 20 88 67 155
2 2 03/21/20 25 F 厦门 57 155 14 7 34 78 87 165
3 3 03/22/20 26 F 泉州 67 159 34 5 35 78 45 165
4 4 03/23/20 35 M 龙岩 65 184 23 8 56 56 25 81
5 5 03/24/20 NA F 漳州 72 167 35 6 47 45 25 81
6 6 03/25/20 50 M 三明 55 175 12 9 19 60 96 156小结
R语言最大的优势是绘图，学R的初心就是为了绘制实验过程产生的数据图，然而随着深度学习，会发现，R语言的数据分析也很重要，常常会在绘制图形的过程中，因为数据框中存在格式不统一，字符或者缺失值等原因导致绘图失败。对于非数学专业又喜欢R语言的人来说，学R之路漫漫其修远，没有极客基因是不行的，打好基础是进阶的前提！