「自然语言处理（NLP）论文解读」【复旦】中文命名实体识别（Lattice-LSTM模型优化）

ShuYini

发布于 2019-08-29 18:15:27

1.9K0

发布于 2019-08-29 18:15:27

文章被收录于专栏：自然语言处理(NLP)论文速递自然语言处理(NLP)论文速递

引言

今天主要和大家分享一篇关于中文命名实体识别的文章，本文分析Lattice-LSTM模型，并针对该方法的弊端提出将字符符号信息合并到字符向量表示中，提高了模型的性能（计算量、效果）。

Os：为什么又是一篇？今天九点……，不对！应该昨天晚上9点40接到带教电话，立马打车出门十二点才回来，我也是醉了~

本文概要

1First Blood

2Aced

3Attention

正文开始

1First Blood

TILE: Simplify the Usage of Lexicon in Chinese NER

Contributor : 复旦大学（计科院）

Paper: arxiv.org/pdf/1908.0596

Code: github.com/v-mipeng/Lex

文章摘要

对于中文命名实体是识别，考虑到实际生产应用，本文主要针对Lattice-LSTM模型的弊端（复杂的模型结构和计算效率低），提出了一种简洁而有效的方法，即将字符符号信息合并到字符向量表示中。这样，我们的方法可以避免引入复杂的序列建模体系结构来对词汇信息进行建模。相反，它只需要微调神经序列模型的字符表示层。通过在四组中文基准NER数据集上的验证，可以发现该方法可以实现更快的推理速度，相对于LSTM及其衍生模型具有更好的性能。

模型的核心思想

本文的核心目标是找到一个更简单的方法来实现LSTM网格思想。即将句子中所有匹配的单词合并到基于字符的NER模型中。首要原则是实现快速的推理速度。为此，本文提出将从词典中获得的匹配词编码成字符的表示形式。与LSTM相比，该方法更加简洁，易于实现。

本文模型介绍

Lattice-LSTM模型分析

下图为Lattice-LSTM模型结构图：

优点：第一、它为每个字符保存所有可能匹配的单词。这可以通过启发式地选择与NER系统匹配的字符结果来避免错误传播。第二、它可以在系统中引入预先训练好的word嵌入，这对最终的性能有很大的帮助。

缺点：Lattice-LSTM模型的缺点是它将句子的输入形式从一个链式序列转换为一个图。这将大大增加句子建模的计算成本。

Lattice-LSTM参考论文及项目链接。

论文链接：https://arxiv.org/abs/1805.02023

项目链接：https://github.com/jiesutd/LatticeLSTM。

或直接回复： llstm 直接获取

Proposed Model

基于Lattice-LSTM的思考，本文的设计应尽量保持句子的链式输入形式，同时保持Lattice-LSTM模型的两个优点。

首先本文提出了ExSoftWord，但是通过对ExSoftword的分析，发现ExSoftword方法不能完全继承Lattice-LSTM的两个优点。首先，它不能引入预先训练过的单词嵌入。其次，虽然它试图保持现有的匹配结果为多个分割标签，但它仍然会丢失大量的信息。为此本文提出不仅保留字符可能的分割标签，而且保留它们对应的匹配词。具体地说，在这种改进的方法中，句子s的每个字符c对应于由四个分段标签“BMES”标记的四个单词集。词集B（c）由在句子s上以c开头的所有词库匹配词组成。同样，M（c）由c出现在句子s中间的所有词库匹配词组成，E（c）由以c结尾的所有词库匹配词组成，S（c）是由c组成的单个字符词。如果一个词集是空的，我们将在其中添加一个特殊单词“None”来表示这种情况。

然后是将每个字符的四个词集压缩成一个固定维向量。为了尽可能多地保留信息，我们选择将四个单词集的表示连接起来表示为一个整体，并将其添加到字符表示中。

此外，我们还尝试对每个单词的权重进行平滑处理，以增加非频繁单词的权重。

最后，基于增强字符表示，我们使用任何合适的神经序列标记模型进行序列标记，如基于LSTM的序列建模层和CRF标记推理层。