机器学习25：概率图--条件随机场(CRF)

1，条件随机场(ConditionalRandom Field)：

条件随机场是给定随机变量X条件下，随机变量Y的马尔可夫随机场。

条件随机场与马尔科夫随机场均使用团上的势函数定义概率，两者在形式上没有显著区别；但条件随机场处理的是条件概率，而马尔可夫随机场处理的是联合概率，这是两者的本质差异。

对于上图链式条件随机场来讲，使用势函数和图结构上的团来定义条件概率P(y|x)。如下：

其中，Z为规范化因子（也称为归一化项）：

另外，sk (x, yt)为状态特征，依赖于当前位置，一般和位置t相关；tj (x, yt,yt+1)为转移特征，一般可以简化为f2(yt, yt+1)并使用状态转移矩阵来表示，依赖于当前和前一个位置。

2，特征函数：

要使用条件随机场，需要定义合适的特征函数。特征函数通常是实值函数，以刻画数据的一些很可能成立或期望成立的经验特征。

以上图词性标注任务为例，若采用转移特征函数如下：

则表示第i个观测值xi为单词“knock”时，相应的标记yi和yi+1很可能分别为[V]和[P]。

若采用状态特征函数如下：

则表示观测值xi为单词“knock”时，它所对应的标记很可能为[V]。

条件随机场是一种判别式无向图模型。我们知道生成式模型是直接对联合分布进行建模，而判别式模型则是对条件分布进行建模。前面介绍的隐马尔可夫模型和马尔可夫随机场都是生成式模型，而条件随机场则是判别式模型。

3，条件随机场的三个问题：概率计算、学习、预测

3.1，概率计算问题：前向后向算法

3.2，预测问题：Viterbi算法

3.3，学习问题：IIS算法

4，code：

# https://github.com/Jesselinux/Mining-Algorithms/blob/master/Machine%20Learning-025-概率图--条件随机场模型(CRF--命名实体识别).ipynb