机器学习算法之条件随机场

标题

概率图模型

成对马尔可夫性

局部马尔可夫性

全局马尔可夫性

团与最大团

条件随机场

简介

例子

条件随机场参数化形式

概率图模型

概率图模型又叫做马尔可夫随机场，是一个可以用无线图表示的联合概率分布。在这个无线图中结点表示随机变量，边表示两个随机变量依赖关系。给定一个概率分布及其无向图，首先定义无向图表示随机变量之间存在的马尔可夫性。

成对马尔可夫性

成对马尔可夫性是指概率无向图中任意两个结点u和v，如果这两个结点没有边向量，则该这两个结点对应的随机变量在给定其余结点（对应其余随机变量）的前提下条件独立。

局部马尔可夫性

局部马尔可夫性是指概率无向图中的任一结点v，W表示与之相连结点的集合，O表示没有与v直接连接的结点的集合，v与O在给定结点集合W的前提下独立。

全局马尔可夫性

全局马尔可夫性是指对于结点集A和B，如果存在结点集C使得两个结点集A B没有边相连，则结点集A对应的随机变量与结点集B对应的随机变量是独立的。

因此概率无向图的定义为，设有联合概率分布P(Y)，如果一个无向图的结点表示随机变量，边表示随机变量之间的依赖关系，如果联合概率分布P(Y)满足成对马尔可夫性、局部马尔可夫性、全局马尔可夫性，则该无向图为概率无向图模型，又称条件随机场。概率无向图最大的特点就是易于因子分解。

团与最大团

在无向图，一个团表示的是一个结点集，并且结点集任意两个结点有边相连。如果一个团不可再增加一个结点，则该团为最大团。{Y1，Y2}{Y1，Y3}{Y2，Y3}{Y2，Y4}

如上图所示，上面可以分解为多个团 ，最大团有两个 。