[机器学习算法]朴素贝叶斯

以二分类问题为例，我们假设特征集合为

x

,样本所属类别为

c

,后验概率

P(c|x)

为：

P(c|x)=\frac{P(c)P(x|c)}{P(x)}

其中

P(c)

是类的先验概率；

P(x|c)

是样本

x

相对于类标记

c

的类条件概率；

P(x)

代表样本x出现的概率，但是给定样本x，

P(x)

与类标记无关。因此我们只需要计算先验概率

P(c)

和类条件概率

P(x|c)

。计算方法如下：

P(c)

表示样本空间中各类别样本所占的比例，根据大数定律，当训练集包含充分的独立同分布样本时，因此

P(c)

可以根据各类样本出现的频率来进行估计。

P(x|c)

设计到关于

x

所有属性的联合概率，如果直接根据样本出现的频率来估计会遇到极大的困难(比如假设样本的

d

个属性都是二值的，那么样本空间就有

2^d

种可能的取值，这个值往往远大于训练样本数，因此很多样本取值在训练中可能根本不会出现)，因此我们直接用频率来估计

P(x|c)

是不可行的。 为解决这个问题，朴素贝叶斯提出了“属性条件独立性假设”：对已知类别，假设所有属性相互独立。于是贝叶斯公式可以改写成：

P(c|x)=\frac{P(c)P(x|c)}{P(x)}=\frac{P(c)}{P(x)}\prod_{i=1}^{d}P(x_i|c)

其中我们用样本频率估计

P(c)

和

P(x_i|c)

：

P(c)=\frac{|D_c|}{|D|},P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}

其中

|D_c|

表示类别为

c

的样本数，

|D|

表示训练集总样本数，

|D_{c,x_i}|

表示类别

c

样本中在第

i

个特征值取值为

x_i

的样本数。 求出所有类别的

P(c|x)

后取后验概率最大的类别

c

为最近预测类别。