终极入门 马尔可夫网络——概率图模型

今天我们把注意力放到无向图模型,以及马尔可夫网络 (Markov Networks)。 事实上之所以叫做无向图模型,只是因为概率图中的边可以是双向的:

在这里,就是所有可能性值的求和:

唯一与马尔可夫网络不同的是,这里每个factor中的Di可以是多元的。

所有可以总结,

最后我还要介绍一种非常常用的马尔可夫网络变形:条件随机场(CRF)

与马尔可夫网络唯一不同的是,条件随机场(CRF)求partition function的时候是仅仅对一个变量求和的,最后求的是在X情况下的条件概率,而不是联合概率:

这就在建模时有许多有意思的结果:

CRF是很不错的判别模型, 对数几率回归就是其中一种。

CRF可以把整个图模型的局部特征函数转化为全局特征函数,从而写成条件随机场的权重向量和特征向量的内积形式。这就可以每次只关心一个特征。再把所有全局特征集中起来一起考虑。

如判别上图中的动物是奶牛,我们首先把整个图“切”成一块块的“小图”。

如果用贝叶斯网络或者朴素贝叶斯构建这些“小图”,就需要把每个“小图”的所有特征都考虑进去,这在最终求联合概率时将会非常复杂。而条件随机场解决了这个问题,我们不需要费力考虑每个小块之间的关系。

相反,我们可以先关注所有小块的颜色亮暗比的分布,再关注所有小块纹理粗糙度的分布,然后考虑动物边界是不是明显有4只脚,最后把这些因素都合起来,判别这个动物是不是奶牛?这样,是不是在数学上更好处理了?

同样的,在自然语言处理中使用CRF:

我们判别一篇文章是不是科技类文章,不需要详细理解每个相邻word直接的关系。

我们可以先找出所有动词的在这篇文章的分布 , 然后,找出所有专业名词在文章中的分布, 接着找出所有陈述句在文章中的分布(我们知道科技文章程序句非常多)。最后把这些分布结合在一起看,是不是很容易判读这篇文章是不是科技文章?

这里就是我们这一讲马尔可夫网络 (Markov Networks)的所有内容了哦~

博客地址:http://nooverfit.com/

参考文献:

https://www.coursera.org/learn/probabilistic-graphical-models

维基百科: 马尔可夫网络

https://en.wikipedia.org/wiki/Graphical_model

http://baike.baidu.com/item/%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B

http://blog.csdn.net/zdy0_2004/article/details/44248083

欢迎关注公众号学习交流~

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180209G00TZ000?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动