简单易学的机器学习算法——朴素贝叶斯

一、贝叶斯定理

    1、条件概率

        条件概率是指在事件B发生的情况下，事件A发生的概率，用

表示。

    2、全概率公式

含义是：如果

和

构成样本空间的一个划分，那么事件B的概率，就等于

和

的概率分别乘以B对这两个事件的条件概率之和。

    3、贝叶斯推断

其中

称为先验概率，即在事件B发生之前，我们对事件A的概率的一个判断。

称为后验概率，即在事件B发生之后，我们对事件A的概率的重新估计。

称为调整因子，使得预估概率更接近真实概率。

    贝叶斯推断告诉我们，先预估计一个“先验概率”，然后加入实验结果，看这个实验到底是增强还是削弱了“先验概率”，由此得到更接近事实的“后验概率”。

二、朴素贝叶斯

    1、朴素贝叶斯的概述

        朴素贝叶斯是基于贝叶斯决策理论的分类方法，朴素贝叶斯之所以成为“朴素”，是因为在整个过程中都假设特征之间是相互独立的以及每一个特征都是同等重要的。

    2、朴素贝叶斯的原理

        朴素贝叶斯是使用条件概率来分类的，假设有一个二分类问题，二分类是指分成两个类的问题，如

类和

类。假设样本有两个特征

和

，则需要分别求解条件概率

和

。而

可以表述为

由于特征之间是相互独立的的，所以

。

此时要做分类，贝叶斯分类准则为：

    如果

，那么属于

类；

    如果

，那么属于

类。