数据科学基础(五) 数理统计的基本概念

📚 文档目录 随机事件及其概率 随机变量及其分布 期望和方差 大数定律与中心极限定理 数理统计的基本概念 参数估计 假设检验 多维 回归分析和方差分析 降维

5.1. 总体与样本

5.2. 常用统计量

定义

• 样本均值: \overline{X}=\displaystyle\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i
• 修正后的样本方差: \begin{aligned}S^{2}=\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}\end{aligned}

样本均值和样本方差的性质

• 定理: 设总体X的均值为EX=\mu,方差为DX=\sigma^2,样本{X_1,X_2,\ldots ,X_n} 来自总体X ,则: E\overline{X}=\mu \displaystyle D\overline{X} = \frac{1}{n}\sigma^2 ES^2=\sigma^2
• 前两者证明略. ES^2=\sigma^2 的证明:
• \begin{aligned} & \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}=\sum_{i=1}^{n}\left[\left(X_{i}-\mu\right)-(\bar{X}-\mu)\right]^{2} \\=& \sum_{i=1}^{n}\left[\left(X_{i}-\mu\right)^{2}-2\left(X_{i}-\mu\right)(\bar{X}-\mu)+(\bar{X}-\mu)^{2}\right] \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2(\bar{X}-\mu) \sum_{i=1}^{n}\left(X_{i}-\mu\right)+\sum_{i=1}^{n}(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2(\bar{X}-\mu)\left(\sum_{i=1}^{n} X_{i}-\sum_{i=1}^{n} \mu\right)+n(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2(\bar{X}-\mu)(n \bar{X}-n \mu)+n(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2 n(\bar{X}-\mu)^{2}+n(\bar{X}-\mu)^{2} \\=& \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\bar{X}-\mu)^{2} \end{aligned}

有:

\begin{aligned} \text { } & \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}=\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\bar{X}-\mu)^{2} \\ & E S^{2}=E\left[\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}\right] \\ &=\frac{1}{n-1} E\left[\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\bar{X}-\mu)^{2}\right] \\ &=\frac{1}{n-1}\left\{E\left[\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}\right]-n E(\bar{X}-\mu)^{2}\right\} \\ &=\frac{1}{n-1}\left[\sum_{i=1}^{n} E\left(X_{i}-\mu\right)^{2}-n D \bar{X}\right] \\ &=\frac{1}{n-1} [ \sum_{i=1}^{n} D X_{i}-n D \bar{X} ] \\ &=\frac{1}{n-1}\left(n \sigma^{2}-n \frac{1}{n} \sigma^{2}\right)=\sigma^{2} \end{aligned}

5.3. 抽样分布

5.3.1. 三种重要分布

1. 卡方分布($\chi^2$分布)

• 定理: 设随机变量 X_{1}, X_{2}, \ldots, X_{n} 相互独立,且服从标准正态分布,则他们的平方和 \chi^{2}=X_{1}^{2}+X_{2}^{2}+\ldots+X_{n}^{2} 服从的分布称为自由度为 n 的卡方分布.记作: X \sim \chi^2(n).其中自由度表示独立的随机变量的个数.
• 密度函数: f(x)=\left\{\begin{array}{ll}\frac{1}{2^{\frac{n}{2}} \Gamma\left(\frac{n}{2}\right)} e^{-\frac{x}{2}} x^{\frac{n}{2}-1},&x>0 \text { } \\ 0 &,x \leq 0 \text {}\end{array}\right.
• 结论:若X \sim \chi^2(n) 则:EX = n, DX = 2n
• 定理:若X \sim \chi^2(m),Y \sim \chi^2(n),则X+Y \sim \chi^2{(m+n)} 推论: 若 X_{i} \sim \chi^{2}\left(n_{i}\right), \quad i=1,2, \ldots, n, 且相互独立, 则

\left(\sum_{i=1}^{n} X_{i}\right) \sim \chi^{2}\left(\sum_{i=1}^{n} n_{i}\right)

若 X_{1}, X_{2}, \ldots, X_{n} 相互独立，同服从于正态分布 N\left(\mu_{i}, \sigma_{i}^{2}\right), 则

\sum_{i=1}^{n}\left(\frac{X_{i}-\mu_{i}}{\sigma_{i}}\right)^{2} \sim \chi^{2}(n)

2.$t$ 分布

• 定理:X \sim N(0,1), Y \sim \chi^{2}(n), X,Y, 独立，则 称随机变量

T=\frac{X}{\sqrt{Y} / n}=\frac{X}{\sqrt{Y}} \sqrt{n}

服从的分布为自由的为 n 的 t- 分布.当自由度很大时,t 分布无限趋近于标准正态分布.

• 性质:因为该分布是对称的, t_{1-\alpha}(n)=-t_{\alpha}(n)

3. $F$ 分布

• 定理:若 X \sim \chi^{2}\left(n_{1}\right), Y \sim \chi^{2}\left(n_{2}\right), X, Y 独立,则 随机变量 \quad F=\frac{X} / n_{1}{\mathbf{Y} / n}_{2} \quad 所服从的分布为自由度是(n_1,n_2) 的 F 分布,n_1,n_2 分别为第一自由度,第二自由度.

5.3.2. 正态总体下的抽样分布

• 总体是正态分布, 抽样本, 构造统计量的分布.
• 定理: X\sim N(\mu , \sigma^2) ,\{X_1\ldots X_n\} 为样本,则(1) \bar{X} \sim N(\mu, \frac{\sigma^2}{n})(2) \displaystyle \frac{(n-1) S^{2}}{\sigma^{2}}=\frac{1}{\sigma^{2}} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2} \sim \chi ^{2}(n-1) 证明较复杂,略(3) \overline{X} 与 S^2 独立
• 定理: (前提与上面的相同)(1) \displaystyle \sum^{n}_{i=1}(\frac{X_i-\mu}{\sigma})^2= \frac{1}{\sigma^{2}} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2} \sim \chi ^{2}(n) 上面的自由度为 n-1 下面的为 n ,可借助”多一个方程,自由未知量少一个来理解”(2) \displaystyle\frac{\bar{X}-\mu}{S} \sqrt{n} \sim t(n-1) 证明:

\begin{aligned} &\displaystyle\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)...①,\\&\frac{(n-1) S^{2}}{\sigma^{2}}\sim\chi^2(n-1)...② \\ \therefore &\frac{①}{\sqrt{② /(n-1)}}=\displaystyle\frac{\bar{X}-\mu}{S} \sqrt{n} \sim t(n-1) \end{aligned}

定理: 两个正态总体 X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2),X 取了n_1 个,Y 取了 n_2 个,\bar{X},\bar{Y},S_1^2,S_2^2,则 \displaystyle\bar{X}-\bar{Y} \sim N\left(\mu_{1}-\mu_{2}, \frac{\sigma^2_{1}}{n_{1}}+\frac{\sigma_{2}^2}{n_{2}}\right)

\displaystyle\frac{S_{1}^{2} / \sigma_{1}^{2}}{S_{2}^{2} / \sigma_{2}^{2}} \sim F\left(n_{1}-1 , n_{2}-1\right)