NLP重磅!谷歌、Facebook新研究:2.26亿合成数据训练神经机器翻译创最优!

来源:arXiv

编辑:肖琴

【新智元导读】FAIR和谷歌大脑的合作研究,专注于“反向翻译”方法,用上亿合成单语句子训练NMT模型,在WMT’14 英语-德语测试集上达到35 BLEU的最优性能。论文在EMNLP 2018发表。

机器翻译依赖于大型平行语料库,即源语和目的语中成对句子的数据集。但是,双语语料是十分有限的,而单语语料更容易获得。传统上,单语语料被用于训练语言模型,大大提高了统计机器翻译的流畅性。

进展到神经机器翻译(NMT)的背景下,已经有大量的工作研究如何改进单语模型,包括语言模型融合反向翻译(back-translation/回译)和对偶学习(dual learning)。这些方法具有不同的优点,结合起来能够达到较高的精度。

Facebook AI Research和谷歌大脑的发表的新论文Understanding Back-Translation at Scale是这个问题的最新成果。这篇论文专注于反向翻译(BT),在半监督设置中运行,其中目标语言的双语和单语数据都是可用的。

反向翻译首先在并行数据上训练一个中间系统,该系统用于将目标单语数据转换为源语言。其结果是一个平行的语料库,其中源语料是合成的机器翻译输出,而目标语料是人类编写的真实文本。

然后,将合成的平行语料添加到真实的双语语料(bitext)中,以训练将源语言转换为目标语言的最终系统。

虽然这种方法很简单,但已被证明对基于短语的翻译、NMT和无监督MT很有效。

具体到这篇论文,研究人员通过向双语语料中添加了数亿个反向翻译得到的句子,对神经机器翻译的反向翻译进行了大规模的研究。

实验基于在WMT竞赛的公共双语语料上训练的强大基线模型。该研究扩展了之前的研究(Sennrich et al. , 2016a ; Poncelas et al. , 2018) 对反译法的分析,对生成合成源句的不同方法进行了全面的分析,并证明这种选择很重要:从模型分布中采样或噪声beam输出优于单纯的beam search,在几个测试集中平均 BLEU高1.7。

作者的分析表明,基于采样或noised beam search的合成数据比基于argmax inference的合成数据提供了更强的训练信号

文章还研究了受控设置中添加合成数据和添加真实双语数据的比较,令人惊讶的是,结果显示合成数据有时能得到与真实双语数据不相上下的准确性。

实验中,最好的设置是在WMT ’14 英语-德语测试集上,达到了 35 BLEU,训练数据只使用了WMT双语语料库和2.26亿个合成的单语句子。这比在大型优质数据集上训练的DeepL系统的性能更好,提高了1.7 BLEU。在WMT ‘14英语-法语测试集上,我们的系统达到了45.6 BLEU

合成源语句子

反向翻译通常使用beam searchgreed search来生成合成源句子。这两种算法都是识别最大后验估计(MAP)输出的近似算法,即在给定输入条件下,估计概率最大的句子。Beam search通常能成功地找到高概率的输出。

然而,MAP预测可能导致翻译不够丰富,因为它总是倾向于在模棱两可的情况下选择最有可能的选项。这在具有高度不确定性的任务中尤其成问题,例如对话和说故事。我们认为这对于数据增强方案(如反向翻译)来说也是有问题的。

Beam search和greed search都集中在模型分布的头部,这会导致非常规则的合成源句子,不能正确地覆盖真正的数据分布。

作为替代方法,我们考虑从模型分布中采样,并向beam search输出添加噪声

具体而言,我们用三种类型的噪音来转换源句子:以0.1的概率删除单词,以0.1的概率用填充符号代替单词,以及交换在token上随机排列的单词。

模型和实验结果

我们使用fairseq工具包在pytorch中重新实现了Transformer 模型。所有的实验都是基于Big Transformer 架构,它的编码器和解码器都有6个block。所有实验都使用相同的超参数。

实验结果:不同反向翻译生成方法的准确性比较

实验评估首先比较了反向翻译生成方法的准确性,并分析了结果。

图1:在不同数量的反向翻译数据上训练的模型的准确性,这些数据分别通过greedy search、beam search (k = 5)和随机采样得到。

如图1所示,sampling和beam+noise方法优于MAP方法,BLEU要高0.8-1.1。在数据量最大的设置下,sampling和beam+noise方法比bitext-only (5M)要好1.7-2 BLEU。受限采样(top10)的性能优于beam 和 greedy,但不如非受限抽样(sampling)或beam+noise。

图2:对于不同的合成数据,每个epoch的Training perplexity (PPL)。

图2显示,基于greedy或beam的合成数据与来自采样、top10、 beam+noise和bitext的数据相比更容易拟合。

表1

表1展示了更广泛的测试集的结果(newstest2013-2017)。 Sampling和beam+noise 的表现大致相同,其余实验采用sampling。

资源少 vs 资源多设置

接下来,我们模拟了一个资源缺乏的设置,以进一步尝试不同的生成方法。

图3:在80K、640K和5M句子对的bitext系统中添加来自beam search和sampling的合成数据时,BLEU的变化

图3显示,对于数据量较大的设置(640K和5.2M bitext),sampling比beam更有效,而对于资源少的设置(80K bitext)则相反。

大规模的结果

最后,我们扩展到非常大的设置,使用多达226M的单语句子,并且与先前的研究进行了比较。

表4:WMT英语-法语翻译任务中,不同测试集上的Tokenized BLEU

表5:WMT英语-法语翻译任务中,不同测试集上的De-tokenized BLEU (sacreBLEU)

表6:WMT 英语-德语 (En-De)和英语-法语 (En-Fr)在newstest2014上的BLEU。

表7:WMT英语-德语newstest17和newstest18上的非标记、不区分大小写的sacreBLEU。

结论

反向翻译是一种非常有效的神经机器翻译数据增强技术。通过采样或在beam输出中添加噪声来生成合成源句子,比通常使用的argmax inference 具有更高的精度。

特别是,在newstest2013-2017的WMT英德翻译中,采样和加入噪声的beam比单纯beam的平均表现好1.7 BLEU。这两种方法都为资源缺乏的设置提供了更丰富的训练信号。

此外,这一研究还发现,合成数据训练的模型可以达到真实双语语料训练模型性能的83%。

最后,我们只使用公开的基准数据,在WMT ‘14英语-德语测试集上实现了35 BLEU的新的最优水平。

论文地址:

https://arxiv.org/pdf/1808.09381v2.pdf

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-11-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

CMU:深度学习自然语言处理,神经机器翻译与 seq2seq 模型汇总,6 大类型附部署技巧

【新智元导读】CMU 语言技术研究所助理教授 Graham Neubig 将有关神经机器翻译和 seq2seq 各种模型的概要、重点以及部署技巧整理为一篇长达6...

3525
来自专栏大数据文摘

万圣节噩梦 | MIT开发“噩梦机器” 用深度学习吓你一跳

1905
来自专栏AI科技大本营的专栏

AI技术讲座精选:NLP 模型到底选 RNN 还是 CNN?

【AI100 导读】本文系统地对比了 CNN 和 RNN 在 NLP 各大任务上的表现,包括:情感分类、关系分类、文本蕴含、答案选择、问题关系匹配、PQA、词...

3614
来自专栏量子位

干货分享 | 云脑科技核心算法工程师详解时间序列(附PPT)

云脑科技机器学习训练营以讲解时间序列收尾,详细解说了时间序列的传统模型、进阶模型、神经网络模型,量子位作为合作媒体为大家带来本期干货整理。 内容简介 主讲人:徐...

2884
来自专栏机器之心

读懂概率图模型:你需要从基本概念和参数估计开始

选自statsbot 作者:Prasoon Goyal 机器之心编译 参与:Panda 概率图模型是人工智能领域内一大主要研究方向。近日,Statsbot 团...

36111
来自专栏人工智能LeadAI

学习资料参考:从深度学习到自然语言处理

注意:本文已经更新,新版结合深度学习简介和发展历程,给出了更详尽的学习资料参考。新版链接:深度学习简介与学习资料参考(http://peteryuan.net/...

3718
来自专栏IT派

读懂概率图模型:你需要从基本概念和参数估计开始

概率图模型是人工智能领域内一大主要研究方向。近日,Statsbot 团队邀请数据科学家 Prasoon Goyal 在其博客上分两部分发表了一篇有关概率图模型的...

4114
来自专栏SIGAI学习与实践平台

学好机器学习需要哪些数学知识?

“ 随机过程,实分析。机器学习往深里做肯定需要用这种,高级的数学语言去对问题进行描述。我本人对随机和实分析,其实目前也还只是略懂,很难说,真正的彻底掌握这两门十...

1153
来自专栏机器之心

前沿 | 通用句子语义编码器,谷歌在语义文本相似性上的探索

1856
来自专栏机器之心

专访 | 监管机器翻译质量?且看阿里如何搭建翻译质量评估模型

阿里机器翻译团队在本次比赛中,参加了英语到德语和德语到英语两个语向的句子级别和词级别的七项质量评估任务,收获了六项世界冠军。其中,德语到英语的统计机器翻译评估任...

821

扫码关注云+社区