朴素贝叶斯 贝叶斯方法

朴素贝叶斯 贝叶斯方法

背景知识

• 贝叶斯分类：贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。
• 先验概率：根据以往经验和分析得到的概率。我们用

来代表在没有训练数据前假设Y拥有的初始概率

• 后验概率：根据已经发生的事件来分析得到的概率。以

代表假设X 成立的情下观察到Y数据的概率，因为它反映了在看到训练数据X后Y成立的置信度。

• 联合概率:指在多元的概率分布中多个随机变量分别满足各自条件的概率。X与Y的联合概率表示为

或

（假设X和Y都服从正态分布，那么P(X < 5,y < 0.5)就是一个联合概率，表示 X < 5,y <0.5两个条件同时成立的概率。表示两个事件共同发生的概率。）

贝叶斯公式

• 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布

，然后求得后验概率分布

。具体来说，利用训练数据学习

(似然度）和

(先验概率)的估计，得到联合概率分布