PRML 读书笔记之二：概率论（上）

3 概率论

模式识别领域中的一个重要概念就是不确定性（uncertainty），其产生于测量的噪声，以及数据集的有限大小。概率论（probability theory）提供了一种量化和处理不确定性的统一框架。通过将概率论与决策论（之后介绍）相结合，我们就可以基于已有的信息作出最优预测。

3.1 基本法则

我们将通过一个简单的例子介绍概率论的基本概念。假设我们有一红一蓝两个盒子，红色盒子中有两个苹果六个橘子，而蓝色盒子中有三个苹果一个橘子，如下图所示。假定我们随机选择一个盒子，并在其中随机选择一个水果，再将其放回。假定重复多次上述过程，我们有 40% 的时候选择了红色盒子，而有 60% 的时候选择了蓝色盒子，而选择每个水果的可能性是相同的。

上式即为概率的乘法法则（the product rule）。

3.4 贝叶斯概率

到目前为止，我们都是基于随机、重复事件的频率来考察概率，这种观点也被称为经典（classical）的或频率学家（frequentist）的观点。现在我们将转向更加通用的贝叶斯（Bayesian）观点，其通过概率来量化不确定性。

对于某些不确定事件，例如北极冰盖是否会在世纪末消失，我们无法通过多次重复试验来计算其概率。不过，我们可以通过一些证据来量化这种不确定性，如北极冰盖融化的速度，同时基于新证据（如人造卫星观察到的修正信息）来对不确定性进行修正，以便之后做出最优决策。上述思想可以通过贝叶斯观点的概率来实现，科学家们证明了使用概率来表达不确定性是不可避免的。