贝叶斯定理是以英国统计学家和哲学家托马斯·贝叶斯(1701-1761)的名字命名的,他正式证明了新的证据可以用来更新信念。法国数学家皮埃尔·西蒙·拉普拉斯(1749-1827)进一步发展了这种形式主义,他在1812年的《概率分析》中首次发表了贝叶斯定理的传统表述。(9.4):
贝叶斯定理的传统表述:
利用贝叶斯定理,可以从条件p(y|x)计算出逆条件p(x|y)。然而,贝叶斯定理的这种传统表达隐藏了一些与基础利率相关的微妙之处,如下所述。那些有基本的
有概率论知识,但不熟悉贝叶斯定理的人,在第一次面对它时,很容易产生困惑。
假设例如购买中奖概率低的彩票的情况,表示为条件概率p(y|x)= 0.001,其中状态为x:“购买的彩票”和y:“中奖”。进一步假设你实际上买了一张票,这样p(x)= 1.0,实际中奖了,这样p(y)= 1.0。贝叶斯定理的一个直观但错误的解释是p(x|y)= (0.001 × 1.0)/1.0 = 0.001,也就是说,在中奖的情况下购买彩票的概率只有0.001,这显然是错误的。显而易见的正确答案是,如果你中奖了,那么你肯定买了一张票,用p(x|y)= 1.0表示。
熟悉贝叶斯定理的人都知道p(x)和p(y)是底数率(先验概率),但这通常不会在教科书中解释。只有当实际例子出现时,人们才明白,贝叶斯定理需要x和y的基本概率(先验),而不是x和y的依赖于情况的概率
为了避免x的基本速率和x的概率之间的混淆,我们使用术语a(x)来表示x的基本速率。类似地,术语a(y)表示y的基本速率。使用这种约定,贝叶斯定理可以更加形式化
直观地说,如定理9.1所示。
证明。形式上,条件概率定义如下:
条件句表示语句之间的一般依赖关系,所以等式右边的p(x/\y)和p(x)项。(9.6)必须表示一般的先验概率,而不是例如特定目标的概率
服务。如第2.6节所述,一般先验概率与基本概率相同。因此,更明确的版本方程。(9.6)可以表示为
贝叶斯定理可以很容易地从方程的条件概率的定义中推导出来。(9.7)用基本利率表示p(y|x)和p(x|y)的条件概率:
然而,方程形式的贝叶斯定理。(9.5)隐藏了基本速率a(y)是边际基本速率(MBR)的事实,边际基本速率必须表示为基本速率a(x)的函数[56]。这个要求在定理9.2中实现。
(9.4)是不必要的模糊,因为它没有区分基本率(先验)和概率(后验),也因为它没有表明x和y的基本率是依赖的。贝叶斯定理的MBR用公式(9.9)通过将y的MBR表示为基本速率a(x)的函数来纠正这个问题。
让我们再来看一下彩票的例子,其中购买彩票中奖的概率是p(y|x)= 0.001,直觉告诉我们已经购买彩票中奖的概率必须是p(x|y)= 1。我们假设给定无票中奖概率为零,用p(y|x)= 0表示。正确的答案直接出现在Eq中。(9.9),表示为
事实上,无论是中奖的基本比率,还是买了票的基本比率,对结果都没有任何影响,因为在没有票的情况下,中奖的概率总是零。
参考:
新概率书 Structured Probabilistic Reasoning