R语言数据分布检验的小例子
今天在B站看了毕导的《我给自己发了2亿个红包，才发现先抢和后抢的差距这么大！》的视频，非常有意思，大家感兴趣也可以到B站观看。
视频地址
https://www.bilibili.com/video/av84581638?from=search&seid=2721954210688527324
娱乐之余，记录一下视频中涉及到的统计学知识点。
首先是试验设计
5个人，发150次红包，每次50块，为了排除其他变量的干扰比如人品等因素，每抢30次调换一下顺序。然后对数据进行统计。
第一步对数据可视化展示，观察数据的规律
因为没有原始数据，看完整个视频后根据毕导总结的规律模拟数据 数据的基本规律是
- 第一个抢红包的金额符合0.01~20的均匀分布
- 第二个抢红包的金额符合0.01~24.99的均匀分布
- 第三个抢红包的金额符合0.01~33.32的均匀分布
- 第四五个抢红包的金额符合0.01~49.96的均匀分布
df<-data.frame(Group=c(rep("A",150),rep("B",150),rep("C",150),rep("D",150),rep("E",150)),
Money=c(runif(150,0.01,20),runif(150,0.01,24.99),
runif(150,0.01,33.32),runif(150,0.01,49.96),
runif(150,0.01,49.96)))
df
library(ggplot2)
library(RColorBrewer)
ggplot(df,aes(x=Group,y=Money,color=Group))+
geom_jitter(width=0.15,size=1.5)+
theme_bw()+
scale_color_manual(values=rainbow(5))+
scale_x_discrete(labels=c("First","Second","Third","Fourth","Fifth"))+
labs(x="")+
theme(legend.position = "None")
image.png
- 第一个小知识点：R语言里产生符合均匀分布的随机数的函数是
runif()https://stat.ethz.ch/R-manual/R-devel/library/stats/html/Uniform.html
通过散点图观察第一个抢红包的人的金额分布可以初步推断数据符合0~20的均匀分布
df1<-df[1:150,]
ggplot(df1,aes(x=Group,y=Money))+
geom_point(color="red",alpha=0.6)+
theme_bw()
image.png
为了验证这个想法使用Kolmogorov-Smirnov Test检验（简称K-S检验）验证数据是否符合均均分布
- 第二个知识点：R语言只中K-S检验的函数是
ks.test()https://stat.ethz.ch/R-manual/R-devel/library/stats/html/ks.test.html
假设检验的原假设H0是数据符合指定分布，P值小于0.05拒绝原假设
> ks.test(df1$Money,"punif")
One-sample Kolmogorov-Smirnov test
data: df1$Money
D = 0.96667, p-value = 1.221e-15
alternative hypothesis: two-sided
这里不知道什么原因计算出来的P值竟然小于0.05，说明结果不符合均匀分布
搜索原因的时候找到了 https://stats.stackexchange.com/questions/137408/low-p-value-in-test-of-uniformity-of-uniformly-distributed-data 暂时还没看懂
也找到了一个函数
install.packages('swfscMisc')
library('swfscMisc')
uniform.test(hist(runif(100,0.01,20)), B = 1000)
这个函数计算出来的P值是大于0.05的。
接下来是k样本Anderson-Darling检验
主要作用是检验几个样本是否来自同一总体
R语言里的实现函数是ad.test()
install.packages("nortest")
library(nortest)
ad.test(rnorm(100))
输入一个参数可以检验数据是否符合正态分布，原假设是数据符合正态分布 https://www.statology.org/how-to-conduct-an-anderson-darling-test-in-r/
多样本检验 https://rdrr.io/cran/kSamples/man/ad.test.html
x<-rnorm(10)
y<-rnorm(10)
z<-rnorm(10)
install.packages("kSamples")
kSamples::ad.test(list(x,y,z),method="exact")
Anderson-Darling k-sample test.
Number of samples: 3
Sample sizes: 10, 10, 10
Number of ties: 0
Mean of Anderson-Darling Criterion: 2
Standard deviation of Anderson-Darling Criterion: 0.99539
T.AD = ( Anderson-Darling Criterion - mean)/sigma
Null Hypothesis: All samples come from a common population.
Based on Nsim = 10000 simulations
AD T.AD asympt. P-value sim. P-value
version 1: 6.949 4.972 0.001924 0.0013
version 2: 7.020 5.046 0.001787 0.0013
接下来的视频内容还提到了
- 贝叶斯估计
- 蒙特卡罗算法
这两个算法如何用R语言来实现可是真的不会了！