朴素贝叶斯python代码实现（西瓜书）

朴素贝叶斯python代码实现（西瓜书）

摘要：

朴素贝叶斯也是机器学习中一种非常常见的分类方法，对于二分类问题，并且数据集特征为离散型属性的时候， 使用起来非常的方便。原理简单，训练效率高，拟合效果好。

朴素贝叶斯

贝叶斯公式：

朴素贝叶斯之所以称这为朴素，是因为假设了各个特征是相互独立的，因此假定下公式成立：

则朴素贝叶斯算法的计算公式如下：

在实际计算中，上面的公式会做如下略微改动：

1. 由于某些特征属性的值P(Xi|Ci)可能很小，多个特征的p值连乘后可能被约等于0。可以公式两边取log然后变乘法为加法，避免类乘问题。
2. P(Ci) 和P(Xi|Ci) 一般不直接使用样本的频率计算出来，一般会使用拉普拉斯平滑。

上面公式中，Dc为该类别的频数，N表示所有类别的可能数。

上面公式中，Dc,xi为该特征对应属性的频数，Dc为该类别的频数，Ni表示该特征的可能的属性数。

对应的西瓜书数据集为

python实现

输出

总结：

• 贝叶斯分类器是一种生成式模型，不是直接拟合分类结果，而是拟合出后验概率公式计算对应分类的概率。
• 本文只介绍了二分类，也可以用来处理多分类问题。
• 对于小规模数据集，表现良好。
• 建立在特征相互独立的假设上。
• 这是我的github主页https://github.com/fanchy，有些有意思的分享。