坦克问题的频率及贝叶斯解释

在统计学理论的估计中,用不放回抽样来估计离散型均匀分布最大值问题在英语世界中是著名的德国坦克问题(German tank problem),它因在第二次世界大战中用于估计德国坦克数量而得名。本文将从频率以及贝叶斯的角度探索坦克问题。

背景

假设所有的德国坦克是从1开始按自然数递增编号的,坦克的总数为N,也就是说坦克的最大编号为N。盟军在战斗中共随机俘获/击毁了k辆坦克,且这些坦克的最大编号为m,那么应当如何对N的大小进行估计?

盟军利用统计理论做的的估计取得了很棒的结果,与德军真实数据非常接近,如下表所示:

月份

统计估计

情报估计

德国记录

1940-06

169

1000

122

1941-06

244

1550

271

1942-08

327

1550

342

上面的问题,转化为数学问题是:用不放回抽样来估计离散型均匀分布最大值。 已知样本数量k和样本最大值m,求群体最大值N

频率解释

推导

定义样本最大值随机变量M,那么

M的期望为:

因此,

问题转化为了求μM

因为实验只进行了一次(实际上也无法进行多次),因此以单词实验的值作为μM的估计值,即μM= m。所以有:

直观理解

直观理解如上,群体最大值的估计值等于样本最大值加上样本观测值之间的平均距离。

置信区间

假定抽样后放回以简化计算,记k次抽样都集中在分位数p内,

那么该k次抽样出现的的概率为

。 设两个概率p1,p2p1,p2,那么其对应的分位数为[p11/k,p21/k][p1^{1/k},p2^{1/k}],其对应样本的抽样区间的最大值为[N∗p11/k,N∗p21/k][N*p1^{1/k},N*p2^{1/k}]。 那么,已知样本最大值m,估计群体最大值的置信区间为[m/p21/k,m/p11/k][m/p2^{1/k},m/p1^{1/k}]。

例如,k=5,p1=2.5%,p2=97.5%。那么置信区间大约为

更一般地,若选择95%置信区间

对于一系列的k,可得下表:

k

点估计值

置信区间

1

2m

[m,20m]

2

1.5m

[m,4.5m]

5

1.2m

[m,1.82m]

10

1.1m

[m,1.35m]

20

1.05m

[m,1.16m]

贝叶斯解释

贝叶斯法,在给定m,k的情况下使用贝叶斯公式计算N的概率分布,然后再求期望和方差。

对于P(n|k),表示的是在收集到k量坦克信息(仅知道收集了k辆坦克而不知其数字)的条件下对群体数n的先验估计。假定其为某种离散均匀分布:

所以,上式可化简为:

这样便根据m,k的信息求出了n的后验概率分布。一些信息如下:

  • 当k ≥ 1时,敌方坦克数量分布的众数为m。
  • 当k ≥ 3时, N的均值有限:
  • 当k ≥ 4时, N的标准差有限:
  1. wiki
  2. Tony blog

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习实践二三事

机器学习基本概念-2

Capacity 上篇博客说过,ML的central challenge就是model的泛化能力,也就是generalization. The abilit...

1879
来自专栏SIGAI学习与实践平台

生成式对抗网络模型综述

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

1605
来自专栏企鹅号快讯

《教育统计与SPSS应用》学习笔记(8)

第8讲 回归分析 主要内容 回归分析简介 一元线性回归分析 多元线性回归分析 第一部分 回归分析简介 一、回归分析的意义 表示变量之间的不确定性关系以...

2248
来自专栏Brian

熵的理解

---- 熵 熵在信息论中代表随机变量不确定度的度量。一个离散型随机变量X的熵H(X)定义为: image.png 明确定义的科学名词且与内容无关,而且不随信息...

2846
来自专栏算法channel

1个例子解释 隐马尔科夫模型(HMM) 的 5 个基本要素

隐马尔可夫模型(Hidden Markov Model,HMM)是一个寻找事物在一段时间里的变化模式的统计学方法,它用来描述一个含有隐含未知参数的马尔可夫过程。...

1472
来自专栏机器之心

综述 | 一文帮你发现各种出色的GAN变体

选自Guimperarnaublog 作者:Guim Perarnau 机器之心编译 参与:赵华龙、黄小天 你是否曾经想了解生成对抗网络(GAN)?也许你只是想...

3737
来自专栏斜述视角

自然语言处理 | 隐马尔可夫模型(1)

马尔可夫链(Markov chain),又称离散时间马尔可夫链,因俄国数学家安德烈·马尔可夫得名,为状态空间中经过从一个状态到另一个状态转换的随机过程。该过程要...

974
来自专栏SIGAI学习与实践平台

生成式对抗网络模型综述

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

1724
来自专栏美图数据技术团队

科普 | 贝叶斯概率模型一览

机器学习狭义上是指代统计机器学习,如图 1 所示,统计学习根据任务类型可以分为监督学习、半监督学习、无监督学习、增强学习等。

1114
来自专栏新智元

【经典】机器学习可视化演示

【新智元导读】机器学习应用统计学习技术,自动识别数据集内的模式。这些技术可以用来作出准确性很高的预测。决策树是机器学习作预测的常见方法之一,本文以一个房屋资料数...

3878

扫码关注云+社区