DASI_3 _CI&HT

logic

sampling variability -> central limit theorem -> statistical inference -> confidence intervals & hypothesis tests -> significance & confidence & power

sampling variability & CLT

sampling distribution

考虑m个sample,每个sample的容量为n。

mean(x⎯⎯)≈μmean(\overline{x}) \approx \mu SD(x⎯⎯)<σSD(\overline{x}) < \sigma ,前者被称为standard error,当n增加的时候,standard error减小。

衡量群体的分散情况用standard deviation 衡量样本值的分布情况,使用standard error

CLT+conditions for CLT

CLT

一般来说,如果群体正态分布,那么不论n(sample size)多大,都是符合正态分布的。当非正态也就是偏斜程度增加,需要提高n去保证sample distribution的正态分布。一般来说,n>30即适合。

10% condition

注意:抽样的话应该保证样本的独立性,因此如果是without replacement的取样的话(一般研究都这样),那么样本的数量不应该超过总体数量的10%。 我们喜欢large sample,但是也不能太大了啊。

举个例子,从一个1000人的村子抽人,如果样本是10个的话,那么抽到你和你家人的概率很小。但是如果样本是500个的话,抽到你和家人的概率就很大。这样的话,因为一家人不是相互独立的,所以会对结果造成偏差。

sample size/skew condition

如果样本分布式skew的话,那么随着样本容量n的增大。 样本mean的分布逐渐趋向于正态分布,mean(x⎯⎯)mean(\overline{x}) 逐渐趋向于μ\mu,SD(x⎯⎯)SD(\overline{x}) 逐渐变小。

others

即使知道样本的mean和sd,也不可以根据正态分布的z值计算某个区间的概率。因为群体的分布不一定是正态分布的,解决办法是求出群体的概率密度函数或者分成区间计算histogram。

confidence interval(for a mean)

what is it

使用置信区间可以更好的捕捉到population parameter,比使用单个参数的效果好。

逻辑: 我们知道sample parameter的分布是符合正态分布的,也就是说根据68-95-99.7准则,我们有95%的置信率,保证我们所选取的样本的参数是在两个sd内的。因此在样本参数的基础上,加减两个sd,便有95%的可能性保证群体的参数落在这个区间。

conditions

It’s connected to the CLM.

CI是建立在CLM的基础上。因此两者的适用条件有相似的地方。但是,对样本集的大小,CI要求更为严格。

finding and interpreting

qnorm()
pnorm()

accuracy vs. precision

accuracy:CI是否包括了population parameter precision:CI的宽度

这两个,通常是矛盾的。

confidence level

confidence level的含义是:根据CLM,sample parameter的分布是正态的。所以假设我们取了很多的样本,对每个样本都计算95%的CI。那么,在所取的样本中,大约只有95%的样本落在了2个se内,因此用95%CI估计的区间,大约只有95%的区间包括了population parameter。 简单来说,CI就是我们的confidence internal包括群体参数的概率。

CI是关于群体的,不是关于个人的,也不是关于样本的。

width of an interval

confidence level提升的话,confidence interval也会变得更宽,因此才有更大的可能性去包括群体参数值。

如果想要提高accuracy的话,那么需要提高confidence level。但是提升的同时,会带来一些cost。 具体表现在,confidence interval也变高了,引起了precision的降低。

trade-offs

提高样本大小。

required sample size for ME

一些时候,我们需要保证margin error在一定的范围之内,这样的precision才可以保证答案是有意义的。这样的话,我们需要知道sample的大小。

sample size vs. accuracy

CI examples

another introduction to inference

review simulation based inference

思路是:比较男女晋升是否有差异。可以先假设两者无差异,然后做两者差的分布。最后将两者的实际差值与理想的分布差值作比较,如果足够extreme,就表示在null hypothesis的基础上获得该数据实际结果的可能性太低,因此拒绝这个假设。

review hypothesis testing framework

hypothesis testing (for a mean)

p

HT via CI

如果H0在CI中,那么就不能拒绝H0。

这是一种很粗略的方法,因为他不能给出明确的置信度,也就是哦p-value。

formal HT using p-value

首先,根据样本的数据算出样本的参数,比如n,x⎯⎯,s,sen,\overline{x},s,se,然后假设H0是正确的,根据这些参数做出sample distribution。 接着,考虑HA对应图中的位置,如果足够偏(p值足够小),那么就可以拒绝H0的分布,也就是拒绝H0。

解释p-value

one and two-sided HT

procedure

inference for other estimators

条件

  1. estimator is unbiased
  2. which has a nearly normal sampling distribution

不同的estimator,只是SE不同

之前主要讨论了Population mean的估计。 同样,也有很多其他的estimator。

这是estimator得保证是unbiased,这样才能保证估计的准确性。

decision errors

sometimes,we make mistakes

type 1 and 2 error

balancing

significance vs. confidence level

so far, we’ve been using two inference techniques–HT and CI. 如果使用相同标准的话,他们的结果应该是相同的。

通常,significance level和confidence level是互补的。比如前者5%,后者95%。 两者是否互补为1取决于做的是单尾检定还是双尾检定。

statistical vs. practical significance

当考虑practical significance时候,主要关注effect size。

effect size定义为: difference between point estimate and null value。

如果effect size很小,也就是point estimate和null hypothesis很接近的情况下,并不能很好地保证statistical significant。但是,可以通过增加sample size,保证statistical significant。

需要先分析搜集多少数据。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 结合主动学习与迁移学习:让医学图像标注工作量减少一半

47660
来自专栏AI科技评论

深度丨贝叶斯机器学习到底是什么?看完这篇你就懂啦

AI 科技评论按:不少人都在机器学习的过程中听说过贝叶斯分类器,但它是如何与机器学习建立联系的?作者Zygmunt Zając 提供了一些基础概念,AI 科技评...

45650
来自专栏AI科技大本营的专栏

忘掉PS吧!欢迎进入修图的神经网络时代

左边是原图,右边是修图。是不是觉得美女与右边图片的背景搭在一起,更有动感和帅气。可是不会修图啊,肿么办? 今天让我们来看一个有意思的AI应用,让不会PS的你,...

45850
来自专栏机器之心

深度 | 论文解读:神经网络修剪最新研究进展

294120
来自专栏数据派THU

独家 | 一文读懂贝叶斯分类算法(附学习资源)

贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。本文首先介绍分类问题,给出分类问题的定义。随后介绍贝叶斯分类算法的基础——贝叶...

34350
来自专栏量子位

看图猜口袋妖怪属性,这个神经网络可能比你强!(教程)

△ Who’s that Pokémon王新民 编译自 博客Journal of Geek Studies 量子位·QbitAI 出品 还记得去年异常火爆,然而...

41060
来自专栏目标检测和深度学习

学界 | 结合主动学习与迁移学习:让医学图像标注工作量减少一半

选自arXiv 作者:Zongwei Zhou, Jae Y. Shin, Suryakanth R. Gurudu, Michael B. Gotway, 梁...

33950
来自专栏AI研习社

2017年领域自适应发展回顾

这篇文章原为 quora 中2017年机器学习领域最杰出的成就是什么?问题下的答案。

9710
来自专栏专知

【干货】Google GAN之父Ian Goodfellow ICCV2017演讲:解读生成对抗网络的原理与应用

【导读】当地时间 10月 22 日到10月29日,两年一度的计算机视觉国际顶级会议 International Conference on Computer V...

50850
来自专栏AI科技评论

学界 | 谷歌团队提出应用于噪声语音识别的在线序列到序列模型

近日谷歌团队发布了一篇关于语音识别的在线序列到序列模型,该模型可以实现在线实时的语音识别功能,并且对来自不同扬声器的声音具有识别功能。 以下内容是 AI 科技评...

33280

扫码关注云+社区

领取腾讯云代金券