【概率论与数理统计(研究生课程)】知识点总结7(参数估计)

矩估计

$$ \begin{aligned} EX^l &= \mu_l, \quad l=1,2,... \ A_l &= \frac{1}{n}\sum\limits_{i=1}^{n}X_i^l \ make \quad \mu_l &=A_l \end{aligned} $$

例如，当只有一个参数时，l取1，则EX=\bar{X}

解题步骤：

1. 用EX^l找到参数与\mu_l的关系；
2. 带入\mu_l=A_l，用样本表示参数；
3. 解方程（组）得到参数的矩估计值。

极大似然估计

似然函数($\theta$为待求参数)

• 离散型

• 连续型

解题步骤：

1. 先求密度函数（连续型），或者分布律（离散型）【==针对题目中只给分布函数的题型==】
2. 构造似然函数【必须是样本x_1,x_2,\cdots,x_n的函数，而不是X_1,X_2,\cdots,X_n的函数】
3. 对似然函数取对数【视情况而定，如果似然函数复杂，则取对数】
4. 【取对数后的似然函数或者原似然函数】对参数求导（只含有一个参数）或分别对参数求偏导（含有多个参数）
5. 令导数值为零，求解参数值。【如果有解，则这个值就是极大似然估计值；如果没有解，则判断导数值正负情况，以推断似然函数的单调性，从而根据单调性取得参数的极大似然估计值使似然函数最大】

估计量评选标准

无偏性

满足：

则称

1. \bar{X}是\mu的无偏估计
2. S^2=\frac{1}{n-1}\sum\limits_{i=1}^{n}(X_i-\bar{X})^2=\frac{1}{n-1}\sum\limits_{i=1}^{n}X_i^2-n\bar{X}^2是\sigma^2的无偏估计
3. \frac{1}{n}\sum\limits_{i=1}^{n}(X_i-\mu)^2是\sigma^2的无偏估计
4. E(\bar{X})=EX
5. E(S^2)=DX

一致性

\hat{\theta}\xrightarrow{P} \theta

有效性

\hat{\theta_1}和\hat{\theta_2}都是\theta的无偏估计量，若D\hat{\theta_1}<D\hat{\theta_2}\hat{\theta_1}比\hat{\theta_2}有效。

优效估计量（有效估计量）

当估计量\hat{\theta}的方差D\hat{\theta}达到罗—克拉美下界：

有效率：e(\hat{\theta})=\frac{I_R}{D\hat{\theta}}

区间估计

置信概率、置信度、置信水平 1-\alpha P{\underline{\theta} \le \theta \le \bar{\theta}}=1-\alpha,\theta置信度为1-\alpha的置信区间(\underline{\theta}, \bar{\theta})。

==常用统计量：==

1. Z=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \sim N(0,1), \quad P{|Z|>Z_{\frac{\alpha}{2}}}=\alpha
2. T=\frac{\bar{X}-\mu}{S/\sqrt{n}} \sim t(n-1), \quad P{|T|>t_{\frac{\alpha}{2}}(n-1)}=\alpha
3. \chi^2=\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1), \quad P({\chi^2<\chi^2_{1-\frac{\alpha}{2}}(n-1)}\cup {\chi^2>\chi^2_{\frac{\alpha}{2}}(n-1)})=\alpha
4. F=\frac{S_1^2/\sigma_1^2}{S^2_2/\sigma_2^2} \sim F(n_1-1,n_2-1), \quad P({F<F_{1-\frac{\alpha}{2}}(n_1-1,n_2-1)}\cup {F>F_{\frac{\alpha}{2}}(n_1-1,n_2-1)})=\alpha

正态总体均值的区间估计

单个正态总体$X_1,X_2,\cdots,X_n, \quad X\sim N(\mu,\sigma^2)$，求$\mu$置信度$1-\alpha$的置信区间$(\underline{\theta},\bar{\theta})$。

1. 方差已知 \sigma^2=\sigma_0^2，估计均值 构造统计量：Z=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \sim N(0,1) P{-Z_{\frac{\alpha}{2}}<\frac{\bar{X}-\mu}{\sigma_0/\sqrt{n}} <Z_{\frac{\alpha}{2}}}=1-\alpha[\bar{X}\pm Z_{\frac{\alpha}{2}}\frac{\sigma_0}{\sqrt{n}}]
2. 方差未知，估计均值，用S^2代替\sigma^2 构造统计量：T=\frac{\bar{X}-\mu}{S/\sqrt{n}} \sim t(n-1) P{-t_{\frac{\alpha}{2}}(n-1)<\frac{\bar{X}-\mu}{S/\sqrt{n}} <t_{\frac{\alpha}{2}}(n-1)}=1-\alpha[\bar{X}\pm t_{\frac{\alpha}{2}}(n-1)\frac{S}{\sqrt{n}}] 当n>50\frac{\bar{X}-\mu}{S/\sqrt{n}} \sim N(0,1)(近似)，则区间估计为[\bar{X}\pm Z_{\frac{\alpha}{2}}\frac{S}{\sqrt{n}}]

两个正态总体均值差$\mu_1-\mu_2$的置信区间

1. 方差已知，\sigma_1^2, \sigma_2^2 构造统计量：\frac{\bar{X}-\bar{Y}-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}} \sim N(0,1) 推得：[\bar{X}-\bar{Y}\pm Z_{\frac{\alpha}{2}}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}]
2. 方差未知但\sigma_1^2=\sigma_2^2=\sigma^2，用S_1^2,S_2^2代替\sigma_1^2,\sigma_2^2 构造统计量：\frac{\bar{X}-\bar{Y}-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}},S_w=\sqrt{\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}} 推得：[\bar{X}-\bar{Y}\pm t_{\frac{\alpha}{2}}(n_1+n_2-2)S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}]

大子样对两正态总体均值差的区间估计

方差已知，\frac{\bar{X}-\bar{Y}-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}} \sim N(0,1)【大子样近似】

推得： [\bar{X}-\bar{Y}\pm Z_{\frac{\alpha}{2}}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}]

方差未知，用S_1^2,S_2^2代替\sigma_1^2,\sigma_2^2，当n_1,n_2都很大时，\frac{\bar{X}-\bar{Y}-(\mu_1-\mu_2)}{\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}} \sim N(0,1) 【大子样近似】

推得： [\bar{X}-\bar{Y}\pm Z_{\frac{\alpha}{2}}\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}]

正态总体方差的区间估计

单个正态总体

1. \mu已知 构造统计量：\chi^2=\frac{\sum\limits_{i=1}^{n}(X_i-\mu)^2}{\sigma^2} \sim \chi^2(n) P{\chi^2_{1-\frac{\alpha}{2}}(n) \le \frac{\sum\limits_{i=1}^{n}(X_i-\mu)^2}{\sigma^2} \le\chi^2_{\frac{\alpha}{2}(n)} }=1-\alpha 推得： [\frac{\sum\limits_{i=1}^{n}(X_i-\mu)^2}{\chi^2_{\frac{\alpha}{2}}(n-1)},\frac{\sum\limits_{i=1}^{n}(X_i-\mu)^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)}]
2. \mu未知 构造统计量：\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1) P{\chi^2_{1-\frac{\alpha}{2}}(n-1) \le \frac{(n-1)S^2}{\sigma^2} \le\chi^2_{\frac{\alpha}{2}(n-1)} }=1-\alpha 推得： [\frac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)},\frac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)}]

两个正态总体方差比$\frac{\sigma_1^2}{\sigma_2^2}$的区间估计

构造统计量：F=\frac{\sigma_1^2/\sigma_2^2}{S_1^2/S_2^2} \sim F(n_2-1,n_1-1)

P{F_{1-\frac{\alpha}{2}}(n_2-1,n_1-1)\le \frac{\sigma_1^2/\sigma_2^2}{S_1^2/S_2^2} \le F_{\frac{\alpha}{2}}(n_2-1,n_1-1) }=1-\alpha

推得：[\frac{S1^2}{S_2^2}F_{1-\frac{\alpha}{2}}(n_2-1,n_1-1),\frac{S1^2}{S_2^2}F_{\frac{\alpha}{2}}(n_2-1,n_1-1)]=[\frac{S1^2}{S_2^2}\frac{1}{F_{\frac{\alpha}{2}}(n_1-1,n_2-1)},\frac{S1^2}{S_2^2}F_{\frac{\alpha}{2}}(n_2-1,n_1-1)]

单侧置信区间

单侧置信区间在统计量的构造上与双侧的一致，在求区间时\frac{\alpha}{2}换成\alpha。