无偏估计

无偏性

尽管在一次抽样中得到的估计值不一定恰好等于待估参数的真值，但在大量重复抽样时，所得到的估计值平均起来应与待估参数的真值相同。

换句话说，希望估计量的均值（数学期望）应等于未知参数的真值，这就是所谓无偏性（Unbiasedness）的要求。

数学期望等于被估计的量的统计估计量称为无偏估计量。

定义：

实际意义：

有效性

打靶的时候，越靠近中心肯定更优秀。进行估计的时候也是，估计量越靠近目标，效果越“好”。这个“靠近”可以用方差来衡量。

比如，仍然对μ进行估计，方差越小，估计量的分布越接近μ。

有效估计和无偏估计是不相关的：

举个例子，从N(μ,σ^2)中抽出10个样本：{x1, x2, ..., xn}下面两个都是无偏估计量：

但是后者比前者方差小，后者更有效。

并且在现实中不一定非要选无偏估计量，比如：

如果能接受点误差，选择右边这个估计量更好。

一致性

之前说了，如果用以下式子去估计方差σ^2：

会有一个偏差：σ^2/n。

可以看到，随着采样个数n的增加，这个偏差会越来越小。那么这个估计就是“一致”的。

如果样本数够多，其实这种有偏但是一致的估计量也是可以选的。

总结

判断一个估计量“好坏”，至少可以从以下三个方面来考虑：

1. 无偏
2. 有效
3. 一致

实际操作中，要找到满足三个方面的量有时候并不容易，可以根据情况进行取舍。