DASI_3 _CI&HT

logic

sampling variability -> central limit theorem -> statistical inference -> confidence intervals & hypothesis tests -> significance & confidence & power

sampling variability & CLT

sampling distribution

考虑m个sample,每个sample的容量为n。

mean(x⎯⎯)≈μmean(\overline{x}) \approx \mu SD(x⎯⎯)<σSD(\overline{x}) < \sigma ,前者被称为standard error,当n增加的时候,standard error减小。

衡量群体的分散情况用standard deviation 衡量样本值的分布情况,使用standard error

CLT+conditions for CLT

CLT

一般来说,如果群体正态分布,那么不论n(sample size)多大,都是符合正态分布的。当非正态也就是偏斜程度增加,需要提高n去保证sample distribution的正态分布。一般来说,n>30即适合。

10% condition

注意:抽样的话应该保证样本的独立性,因此如果是without replacement的取样的话(一般研究都这样),那么样本的数量不应该超过总体数量的10%。 我们喜欢large sample,但是也不能太大了啊。

举个例子,从一个1000人的村子抽人,如果样本是10个的话,那么抽到你和你家人的概率很小。但是如果样本是500个的话,抽到你和家人的概率就很大。这样的话,因为一家人不是相互独立的,所以会对结果造成偏差。

sample size/skew condition

如果样本分布式skew的话,那么随着样本容量n的增大。 样本mean的分布逐渐趋向于正态分布,mean(x⎯⎯)mean(\overline{x}) 逐渐趋向于μ\mu,SD(x⎯⎯)SD(\overline{x}) 逐渐变小。

others

即使知道样本的mean和sd,也不可以根据正态分布的z值计算某个区间的概率。因为群体的分布不一定是正态分布的,解决办法是求出群体的概率密度函数或者分成区间计算histogram。

confidence interval(for a mean)

what is it

使用置信区间可以更好的捕捉到population parameter,比使用单个参数的效果好。

逻辑: 我们知道sample parameter的分布是符合正态分布的,也就是说根据68-95-99.7准则,我们有95%的置信率,保证我们所选取的样本的参数是在两个sd内的。因此在样本参数的基础上,加减两个sd,便有95%的可能性保证群体的参数落在这个区间。

conditions

It’s connected to the CLM.

CI是建立在CLM的基础上。因此两者的适用条件有相似的地方。但是,对样本集的大小,CI要求更为严格。

finding and interpreting

qnorm()
pnorm()

accuracy vs. precision

accuracy:CI是否包括了population parameter precision:CI的宽度

这两个,通常是矛盾的。

confidence level

confidence level的含义是:根据CLM,sample parameter的分布是正态的。所以假设我们取了很多的样本,对每个样本都计算95%的CI。那么,在所取的样本中,大约只有95%的样本落在了2个se内,因此用95%CI估计的区间,大约只有95%的区间包括了population parameter。 简单来说,CI就是我们的confidence internal包括群体参数的概率。

CI是关于群体的,不是关于个人的,也不是关于样本的。

width of an interval

confidence level提升的话,confidence interval也会变得更宽,因此才有更大的可能性去包括群体参数值。

如果想要提高accuracy的话,那么需要提高confidence level。但是提升的同时,会带来一些cost。 具体表现在,confidence interval也变高了,引起了precision的降低。

trade-offs

提高样本大小。

required sample size for ME

一些时候,我们需要保证margin error在一定的范围之内,这样的precision才可以保证答案是有意义的。这样的话,我们需要知道sample的大小。

sample size vs. accuracy

CI examples

another introduction to inference

review simulation based inference

思路是:比较男女晋升是否有差异。可以先假设两者无差异,然后做两者差的分布。最后将两者的实际差值与理想的分布差值作比较,如果足够extreme,就表示在null hypothesis的基础上获得该数据实际结果的可能性太低,因此拒绝这个假设。

review hypothesis testing framework

hypothesis testing (for a mean)

p

HT via CI

如果H0在CI中,那么就不能拒绝H0。

这是一种很粗略的方法,因为他不能给出明确的置信度,也就是哦p-value。

formal HT using p-value

首先,根据样本的数据算出样本的参数,比如n,x⎯⎯,s,sen,\overline{x},s,se,然后假设H0是正确的,根据这些参数做出sample distribution。 接着,考虑HA对应图中的位置,如果足够偏(p值足够小),那么就可以拒绝H0的分布,也就是拒绝H0。

解释p-value

one and two-sided HT

procedure

inference for other estimators

条件

  1. estimator is unbiased
  2. which has a nearly normal sampling distribution

不同的estimator,只是SE不同

之前主要讨论了Population mean的估计。 同样,也有很多其他的estimator。

这是estimator得保证是unbiased,这样才能保证估计的准确性。

decision errors

sometimes,we make mistakes

type 1 and 2 error

balancing

significance vs. confidence level

so far, we’ve been using two inference techniques–HT and CI. 如果使用相同标准的话,他们的结果应该是相同的。

通常,significance level和confidence level是互补的。比如前者5%,后者95%。 两者是否互补为1取决于做的是单尾检定还是双尾检定。

statistical vs. practical significance

当考虑practical significance时候,主要关注effect size。

effect size定义为: difference between point estimate and null value。

如果effect size很小,也就是point estimate和null hypothesis很接近的情况下,并不能很好地保证statistical significant。但是,可以通过增加sample size,保证statistical significant。

需要先分析搜集多少数据。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习之tensorflow实战篇

因子分析与主成分分析之间爱恨离愁。FA与FCA

主成分分析和因子分析无论从算法上还是应用上都有着比较相似之处,本文结合以往资料以及自己的理解总结了以下十大不同之处,适合初学者学习之用。 1.原理不同 主成分分...

3509
来自专栏机器学习算法与Python学习

机器学习(37)之矩阵分解在协同过滤推荐中的应用

微信公众号 关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 前言 在协同过滤推荐算法...

41313
来自专栏量子位

刘铁岩的对偶监督学习新论文亮相:入选ICML2017

李林 编译整理 量子位 报道 | 公众号 QbitAI 继NIPS2016上提出对偶学习,微软亚洲研究院副院长刘铁岩等又在Arxiv上发布了一篇相关论文:对偶监...

2426
来自专栏量化投资与机器学习

特征重要性在量化投资中的深度应用【系列56】

2194
来自专栏机器学习算法与Python学习

基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量软测量建模

今天跟大家分享一篇之前发表的文章,《基于稀疏化鲁棒LS-SVR与多目标优化的铁水硅含量软测量建模 》。 摘要: 针对高炉炼铁过程的关键工艺指标——铁水硅含量[...

3558
来自专栏机器学习算法与Python学习

机器学习(12)之决策树总结与python实践(~附源码链接~)

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 前言 在(机器学习(9)之ID3算法...

70511
来自专栏机器学习养成记

基于随机森林识别特征重要性(翻译)

博主Slav Ivanov 的文章《Identifying churn drivers with Random Forests 》部分内容翻译。博主有一款自己的...

4778
来自专栏智能算法

降维方法知多少?

有关降维的研究源远流长,对目前仍广泛使用的经典主分量分析,最早可追溯到1901年。此外还有线性判别分析、典型相关分析、因素分析(Factor Analysis...

3747
来自专栏机器之心

数据科学家必须了解的六大聚类算法:带你发现数据之美

32511
来自专栏利炳根的专栏

学习笔记CB008:词义消歧、有监督、无监督、语义角色标注、信息检索、TF-IDF、

词义消歧,句子、篇章语义理解基础,必须解决。语言都有大量多种含义词汇。词义消歧,可通过机器学习方法解决。词义消歧有监督机器学习分类算法,判断词义所属分类。词义消...

42624

扫码关注云+社区