概率论基础 - 3 - 方差

本文介绍方差。

方差

定义

数学期望(mean)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。 ——百度百科

• 对随机变量X，若\mathbb{E}\left[(X-\mathbb{E}[X])^{2}\right]存在，则称它为X的方差，记作 Var[X]。
• X的标准差为方差的开平方：\sigma=\sqrt{\operatorname{Var}[X]} 方差度量了随机变量X与期望值偏离的程度，衡量了X取值分散程度的一个尺度。
• 对于一个期望为\mu ， 方差为\sigma^2的随机变量X ，随机变量X^{}=\frac{X-\mu}{\sigma}的数学期望为0，方差为1。 称

为X的标准化变量

性质

• 常数的方差恒为 0
• 对常数C，有：

• 对两个随机变量X,Y，有：

• 当X,Y相互独立时，有：

• 可以推广至任意有限多个相互独立的随机变量之和的情况。

样本方差的均值估计

假设X为独立同分布的一组随机变量，总体为M，随机抽取N个随机变量构成一个样本，\mathrm{E}\left(\mathrm{X}_{\mathrm{i}}\right)=\mu和\mathrm{D}\left(\mathrm{X}_{\mathrm{i}}\right)=\sigma^{2}是总体的均值和方差, 是常数。 \overline{\mathrm{X}}, \mathrm{S}^{2}是样本的均值和方差，由于样本是随机抽取的，\overline{\mathrm{X}}, \mathrm{S}^{2}也是随机的。 实际工作中，总体均数难以得到时，应用样本统计量代替总体参数。 我们接下来讨论用样本统计量代替总体样本参数会得到什么样的均值和方差结果。

样本均值$\overline{\mathrm{X}}$

• 考虑\overline{\mathrm{X}}的均值：

• 考虑\overline{\mathrm{X}}的方差：

样本方差$S^2$

• 考虑S^2的均值：

• 根据样本方差计算公式：

• 得：

• 根据\overline{\mathrm{X}}的方差推导结果：

• 将上述结果带入E(S^2)计算过程：

• 也就是说样本方差的期望并不等于总体样本的方差，这个估计E(S^2)被称为样本方差的有偏估计
• 如果想求样本方差的无偏估计，需要乘上一个系数：

• 其中：n-1为自由度，就是说，在一个容量为n的样本里，当确定了n-1个变量以后，第n个变量就确定了，因为样本均值是无偏的。

参考资料

• http://www.huaxiaozhuan.com/数学基础/chapters/2_probability.html
• http://blog.sina.com.cn/s/blog_c96053d60101n24f.html