机器学习(15)——贝叶斯网络贝叶斯小结

前言:

当多个特征属性之间存在着某种相关关系的时候,使用朴素贝叶斯算法就没法解 决这类问题,那么贝叶斯网络就是解决这类应用场景的一个非常好的算法。在贝叶斯网络的应用中,隐马可夫模型最常用。

一般而言,贝叶斯网络的有向无环图中的节点表示随机变量,可以是可观察到的 变量,或隐变量,未知参数等等。连接两个节点之间的箭头代表两个随机变量之 间的因果关系(也就是这两个随机变量之间非条件独立),如果两个节点间以一个 单箭头连接在一起,表示其中一个节点是“因”,另外一个是“果”,从而两节 点之间就会产生一个条件概率值。 注意:每个节点在给定其直接前驱的时候,条件独立于其后继。

简单贝叶斯网络

贝叶斯网络的关键方法是图模型,构建一个图模型我们需要把具有因果联系的各 个变量用箭头连在一起。贝叶斯网络的有向无环图中的节点表示随机变量。连接 两个节点的箭头代表此两个随机变量是具有因果关系的。

贝叶斯网络是模拟人的认知思维推理模式的,用一组条件概率以及有向无环图对 不确定性因果推理关系建模

如下图所示只是简单的表示

image.png

上图贝叶斯网络用公式表示为:

也有全连接贝叶斯,如下图所示:

image.png

和正常贝叶斯网络。

叶斯网络判定独立条件

1)在C给定的条件下,a和b被阻断(blocked)是独立的。

条件独立:tail - to -tail。如下图所示:

以上可以表示为:

2)在C给定的条件下,a和b被阻断(blocked)是独立的。

条件独立:head- to -tail

image.png

公式同上

2)在 C未知的情况下,a和b被阻断(blocked),是独立的

条件独立:head - to - head

image.png

公式如下:

贝叶斯小结

朴素贝叶斯的主要优点有: 1)朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。 2)对小规模的数据表现很好,能个处理多分类任务,适合增量式训练,尤其是数据量超出内存时,我们可以一批批的去增量训练。 3)对缺失数据不太敏感,算法也比较简单,常用于文本分类。 朴素贝叶斯的主要缺点有:    1) 理论上,朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此,这是因为朴素贝叶斯模型给定输出类别的情况下,假设属性之间相互独立,这个假设在实际应用中往往是不成立的,在属性个数比较多或者属性之间相关性较大时,分类效果不好。而在属性相关性较小时,朴素贝叶斯性能最为良好。对于这一点,有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。 2)需要知道先验概率,且先验概率很多时候取决于假设,假设的模型可以有很多种,因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。 3)由于我们是通过先验和数据来决定后验的概率从而决定分类,所以分类决策存在一定的错误率。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

最小二乘支持向量回归机(LS-SVR)

前面连续的七篇文章已经详细的介绍了支持向量机在二分类中的公式推导,以及如何求解对偶问题和二次规划这个问题,分类的应用有很多,如电子邮箱将邮件进行垃圾邮件与正常邮...

7429
来自专栏IT技术精选文摘

深入浅出谈人脸识别技术

在深度学习出现后,人脸识别技术才真正有了可用性。这是因为之前的机器学习技术中,难以从图片中取出合适的特征值。轮廓?颜色?眼睛?如此多的面孔,且随着年纪、光线、拍...

4916
来自专栏SIGAI学习与实践平台

神经网络的激活函数总结

激活函数在神经网络中具有重要的地位。在SIGAI之前的公众号文章“理解神经网络的激活函数”中,我们回答了3个关键的问题:

1460
来自专栏大数据挖掘DT机器学习

深度学习实战(可视化部分)——使用keras识别猫咪

在近些年,深度学习领域的卷积神经网络(CNNs或ConvNets)在各行各业为我们解决了大量的实际问题。但是对于大多数人来说,CNN仿佛戴上了神秘的面纱。我经...

6408
来自专栏SIGAI学习与实践平台

机器学习算法地图

很多同学在学机器学习和深度学习的时候都有一个感受:所学的知识零散、不系统,缺乏整体感,这是普遍存在的一个问题。在这里,SIGAI对常用的机器学习和深度学习算法进...

3993
来自专栏新智元

周志华最新论文挑战深度学习 | 深度森林:探索深度神经网络以外的方法

【新智元导读】西瓜书《机器学习》作者、南京大学周志华日前发表论文,提出了一种基于树的方法,挑战深度学习。在设置可类比的情况下,新方法 gcForest 取得了和...

38411
来自专栏自然语言处理

谈谈学习模型的评估1

李航《统计学习方法》一书:统计学习方法是由模型、策略和算法构成的,即统计学习方法的三要素构成,简化:方法=模型+策略+算法

892
来自专栏IT派

机器学习面试题目总结

如果你觉得好的话,不妨分享到朋友圈。 1.机器学习中特征的理解 def:特征选择和降维 特征选择:原有特征选择出子集,不改变原来的特征空间 降维:将原有的特征...

4495
来自专栏老秦求学

Deep Learning Tutorial 李宏毅(一)深度学习介绍

大纲 深度学习介绍 深度学习训练的技巧 神经网络的变体 展望 深度学习介绍 深度学习介绍 深度学习属于机器学习的一种。介绍深度学习之前,我们先大致了解一下机器学...

46010
来自专栏SIGAI学习与实践平台

机器学习中的目标函数总结

几乎所有的机器学习算法最后都归结为求解最优化问题,以达到我们想让算法达到的目标。为了完成某一目标,需要构造出一个“目标函数”来,然后让该函数取极大值或极小值,从...

7621

扫码关注云+社区

领取腾讯云代金券