《统计学习方法》极简笔记P4：朴素贝叶斯公式推导

朴素贝叶斯基本方法

通过训练数据集

学习联合概率分布P(X,Y)，即学习先验概率分布

条件概率分布

假设条件独立

然后根据学习到的模型计算后验概率分布，根据贝叶斯定理

条件概率带入，得

于是，朴素贝叶斯分类器可表示为

又，分母对所有

都相同，so

假设采用0-1损失函数，期望风险函数为

同样的，条件期望

期望风险最小,只需对X=x逐个极小化

这即为朴素贝叶斯采用的原理

朴素贝叶斯算法

输入： 训练数据

,

为第i个样本的第j个特征，

是第j个特征可能取得第

个值，j=1,2,...,n,

,

输出：实例

的分类 (1)计算先验概率及条件概率,此处取极大似然估计

(2)对于给定的实例，

，计算

(3)确定实例

的类

贝叶斯估计

极大似然估计存在的问题是会出现概率为0的情况，解决之道是贝叶斯估计