一文详解深度学习在命名实体识别中的应用

近几年来，基于神经网络的深度学习方法在计算机视觉、语音识别等领域取得了巨大成功，另外在自然语言处理领域也取得了不少进展。在NLP的关键性基础任务—命名实体识别（NamedEntityRecognition，NER）的研究中，深度学习也获得了不错的效果。最近，笔者阅读了一系列基于深度学习的NER研究的相关论文，并将其应用到达观的NER基础模块中，在此进行一下总结，与大家一起分享学习。

图1：NER发展趋势在基于机器学习的方法中，NER被当作序列标注问题。利用大规模语料来学习出标注模型，从而对句子的各个位置进行标注。NER任务中的常用模型包括生成式模型HMM、判别式模型CRF等。条件随机场（ConditionalRandomField，CRF）是NER目前的主流模型。它的目标函数不仅考虑输入的状态特征函数，而且还包含了标签转移特征函数。在训练时可以使用SGD学习模型参数。

图2：一种线性链条件随机场近年来，随着硬件计算能力的发展以及词的分布式表示（wordembedding）的提出，神经网络可以有效处理许多NLP任务。

图3：传统RNN结构LSTM同样是这样的结构，但是重复的单元拥有一个不同的结构。不同于普通RNN单元，这里是有四个，以一种非常特殊的方式进行交互。

图4：LSTM结构LSTM通过三个门结构（输入门，遗忘门，输出门），选择性地遗忘部分历史信息，加入部分当前输入信息，最终整合到当前状态并产生输出状态。

图5：LSTM各个门控结构应用于NER中的biLSTM-CRF模型主要由Embedding层（主要有词向量，字向量以及一些额外特征），双向LSTM层，以及最后的CRF层构成。实验结果表明biLSTM-CRF已经达到或者超过了基于丰富特征的CRF模型，成为目前基于深度学习的NER方法中的最主流模型。

图6：biLSTM-CRF结构示意图2.2IDCNN-CRF对于序列标注来讲，普通CNN有一个不足，就是卷积之后，末层神经元可能只是得到了原始输入数据中一小块的信息。而对NER来讲，整个输入句子中每个字都有可能对当前位置的标注产生影响，即所谓的长距离依赖问题。为了覆盖到全部的输入信息就需要加入更多的卷积层，导致层数越来越深，参数越来越多。

图8：一个最大膨胀步长为4的idcnn块IDCNN对输入句子的每一个字生成一个logits，这里就和biLSTM模型输出logits完全一样，加入CRF层，用Viterbi算法解码出标注结果。在biLSTM或者IDCNN这样的网络模型末端接上CRF层是序列标注的一个很常见的方法。biLSTM或者IDCNN计算出的是每个词的各标签概率，而CRF层引入序列的转移概率，最终计算出loss反馈回网络。

图9：BiLSTM-CRF的训练曲线

图10：IDCNN-CRF的训练曲线3.3实例以下是用BiLSTM-CRF模型的一个实例预测结果。