朴素贝叶斯法

皮大大

发布于 2021-03-02 14:28:15

3820

发布于 2021-03-02 14:28:15

文章被收录于专栏：机器学习/数据可视化

概率和统计

概率和统计是两个相近的概率，研究的内容不同：

概率：已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等）
统计：有已知的数据，要利用这堆数据去反推出合适的模型和参数

概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。

贝叶斯理论是统计学中一个非常重要的也是出名的理论。贝叶斯学派强调的是概率的“主观性”。

频率学派强调频率的“自然属性”，认为应该使用事件在重复试验中发生的频率作为事件发生的概率估计
贝叶斯学派认为事件是具有随机性的，随机性的根源在于不同的人对事件的认知状态不同。

栗子：一个人掷硬币，迅速将硬币捂住，他本人是知道正面朝上，由近及远的3个人看到了模糊的信息，坐的越远，信息越少。

频率派：该硬币出现正、反的概率各是50%
贝叶斯派：掷硬币的人知道正面朝上的概率是100%，对离他最近的人来说是80%，最远的人是50%

贝叶斯决策论

行动空间A：实际工作中可能采取的各种行动所构成的集合。
决策\delta(x)：样本空间X到行动空间A的一个映射
损失函数：L(\theta,a)=L(\theta,\delta(\hat X))，表示的是参数是\theta时采取行动a所造成的损失
，它是损失函数的期望

R(\theta,\delta)=EL(\theta,\delta(\hat X))

先验分布：描述的是参数\theta在已知样本\hat X中的分布
平均风险：决策风险在先验分布下的期望

\rho(\delta)=E_\varepsilon R(\theta, \delta)

贝叶斯决策满足：

\rho(\delta^*)=\inf_\delta \rho(\delta)

贝叶斯公式

条件几率的公式

P(B|A)=\frac {P(B\cap A)}{P(A)}

解释为：A发生的前提下，B发生的概率 = AB交集发生的概率 / A发生的概率，另写作：

{P(B\cap A)}= P(B|A){P(A)}

看下贝叶斯公式：

P(A|B)=\frac {P(B|A)P(A)} {P(B)}

极大似然估计(MLE)

极大似然估计Maximum likelihood estimation就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值，属于统计问题。提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”

一文搞懂极大似然估计

详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解

满足：

p(\hat X|\theta)=\prod_{i=1}^N p(x_i|\theta)

满足

\hat \theta= \mathop {arg max}\limits_{\theta}p(\hat X|\theta)=\mathop {arg max}\limits_{\theta}{\prod_{i=1}^N p(x_i|\theta)}

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2019-9-21，如有侵权请联系 cloudcommunity@tencent.com 删除

机器学习

神经网络

深度学习

人工智能

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度