前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >机器学习(15)——贝叶斯网络贝叶斯小结

机器学习(15)——贝叶斯网络贝叶斯小结

作者头像
DC童生
发布2018-04-27 17:50:07
1.9K0
发布2018-04-27 17:50:07
举报
文章被收录于专栏:机器学习原理

前言:

当多个特征属性之间存在着某种相关关系的时候,使用朴素贝叶斯算法就没法解 决这类问题,那么贝叶斯网络就是解决这类应用场景的一个非常好的算法。在贝叶斯网络的应用中,隐马可夫模型最常用。

一般而言,贝叶斯网络的有向无环图中的节点表示随机变量,可以是可观察到的 变量,或隐变量,未知参数等等。连接两个节点之间的箭头代表两个随机变量之 间的因果关系(也就是这两个随机变量之间非条件独立),如果两个节点间以一个 单箭头连接在一起,表示其中一个节点是“因”,另外一个是“果”,从而两节 点之间就会产生一个条件概率值。 注意:每个节点在给定其直接前驱的时候,条件独立于其后继。

简单贝叶斯网络

贝叶斯网络的关键方法是图模型,构建一个图模型我们需要把具有因果联系的各 个变量用箭头连在一起。贝叶斯网络的有向无环图中的节点表示随机变量。连接 两个节点的箭头代表此两个随机变量是具有因果关系的。

贝叶斯网络是模拟人的认知思维推理模式的,用一组条件概率以及有向无环图对 不确定性因果推理关系建模

如下图所示只是简单的表示

image.png

上图贝叶斯网络用公式表示为:

也有全连接贝叶斯,如下图所示:

image.png

和正常贝叶斯网络。

叶斯网络判定独立条件

1)在C给定的条件下,a和b被阻断(blocked)是独立的。

条件独立:tail - to -tail。如下图所示:

以上可以表示为:

2)在C给定的条件下,a和b被阻断(blocked)是独立的。

条件独立:head- to -tail

image.png

公式同上

2)在 C未知的情况下,a和b被阻断(blocked),是独立的

条件独立:head - to - head

image.png

公式如下:

贝叶斯小结

朴素贝叶斯的主要优点有: 1)朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。 2)对小规模的数据表现很好,能个处理多分类任务,适合增量式训练,尤其是数据量超出内存时,我们可以一批批的去增量训练。 3)对缺失数据不太敏感,算法也比较简单,常用于文本分类。 朴素贝叶斯的主要缺点有:    1) 理论上,朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此,这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立,这个假设在实际应用中往往是不成立的,在属性个数比较多或者属性之间相关性较大时,分类效果不好。而在属性相关性较小时,朴素贝叶斯性能最为良好。对于这一点,有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。 2)需要知道先验概率,且先验概率很多时候取决于假设,假设的模型可以有很多种,因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。 3)由于我们是通过先验和数据来决定后验的概率从而决定分类,所以分类决策存在一定的错误率。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018.04.05 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 简单贝叶斯网络
  • 叶斯网络判定独立条件
  • 贝叶斯小结
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档