learning to remember translation history with a continous cache

论文：Incorporating Discrete Translation Lexicons into NMT

作者：Z Tu ， Y Liu ， S Shi ， T Zhang

本文提出了一个轻量级的翻译模型，增加了 key-value 的 cache memory 来存储翻译的历史信息。计算复杂度较低，同时适用于不同领域。

背景

当前大部分的翻译都是基于句子的翻译，上面的例子中可以看到，由于该句子中缺少重要的上下文信息，“机遇”被错误地翻译成了“challenge”。

对于篇章级别的翻译有两个重要问题。一个是一致性问题（consistency），比如时态问题，在历史翻译中会把“觉得”翻译成“felt”，在当前翻译中会翻译成“feel”。如果只考虑一个句子，这种时态问题就很难保持一致，但是实际应用中一致性是非常重要的。

另一个是歧义问题（ambiguity），这个是机器翻译中的经典问题，在统计机器翻译中就存在，在神经网络机器翻译中这个问题更加严重。因为在神经网络机器翻译中采用词向量来表示每个词，这种方式可以缓解词的稀疏性并学习到词之间的关系。

但是这种方式也给翻译带来了词选择的困难，比如在翻译“机遇”时就很容易将其错翻成“challenge”而不是“opportunity”，尤其在缺乏额外的上下文信息的时候。

previous work

1.

第一个是我们在 EMNLP2017 中一篇短文的工作，利用了长期的、单语料的翻译历史信息。

我们用层次化的 RNN，一个是 word-level RNN 去编码每个句子得到每个句子的向量表征，另一个是 sentence-level RNN 将上一步生成的向量再次编码成一个整个篇章的表征向量。

2.

第二个是纽约大学的工作，采用另外一套编码器和注意力机制去引入前面一个句子的信息。虽然这些工作已经被证明具有一定的有效性，但是存在一些缺点。

首先，它们的计算复杂度较高，使得其必须限定在比较小的范围内操作 。其次，由于它们只使用了单语的信息，因此有可能不适用与某些特定领域，比如在电影字幕领域，由于电影字幕很多是意译而非逐词翻译，所以只利用源端信息很难翻译正确

本文方法

我们提出了一个轻量级的翻译模型，增加了 key-value 的 cache memory 来存储翻译的历史信息。计算复杂度较低，同时适用于不同领域。

上图是我们的模型的结构，在标准的 NMT 模型上，我们引入了一个 cache memory 来存储翻译的历史信息。

所谓翻译历史信息就是在过去解码过程中的源端 context vector 和目标端状态信息，这一对信息可以较好地表达翻译历史信息。

我们将源端作为 key，目标端作为 value。在解码的过程中，我们利用当前的从 cache memory 中检索，把 value 中相关的值结合起来得到一个输出，并将该输出与 decoder 的当前状态结合得到一个新的状态。该状态中就带有翻译历史的信息从而能更好地进行翻译。

模型的细节：

首先是检索（key addressing）的方法，我们尝试了很多中实现方式比如 attention，加入转换矩阵等。我们最后选择用点积的方式，能够在保证效果的同时速度最快。

其次是值读取（value reading）的方法，采用根据检索得到的概率分布加权求和得到输出。

再次是和的结合，我们采用一个”gate”来做更新。这种方式是具有语言学含义的，因为对于一些实词和动词在翻译时需要篇章信息来进行消歧和确定时态。但对于一些虚词就不需要篇章的信息。

最后根据结合后的状态信息生成词。

实验

任务：Chinese-English translation

总结

本文提出用缓存式记忆网络来扩充NMT模型，该网络在前面的句子的解码步骤中以双语隐藏表示的形式存储翻译历史。缓存组件是一个外部键值存储结构，其中键是注意向量，并且值是从翻译历史收集的解码器状态。在每个解码步骤中，根据从当前关注矢量的查询从缓存中检索的历史信息，在线更新所生成的单词上的概率分布。仅使用用于密钥匹配的点积，该历史信息对于存储并且可以被有效地访问。总的来说，这个工作使用了一个轻量级的 memory 结构来记住双语的历史翻译信息，不仅计算复杂度较低，还可以用于不同的领域。