【重磅】谷歌推出商用神经网络机器翻译系统，正确率最高87%（附论文）

来源：Google Research、Science

2016年10月18日， 世界人工智能大会技术分论坛，特设“新智元智库院长圆桌会议”，重量级研究院院长 7 剑下天山，汇集了中国人工智能产学研三界最豪华院长阵容：美团技术学院院长刘江担任主持人，微软亚洲研究院常务副院长芮勇、360人工智能研究院院长颜水成、北京理工大学计算机学院副院长黄华、联想集团副总裁黄莹、Intel 中国研究院院长宋继强、新华网融媒体未来研究院院长杨溟联袂出席。

【新智元导读】今天谷歌宣布推出谷歌神经网络机器翻译系统（GNMT），采用最先进的神经网络机器翻译（NMT）技术，大幅提升机器翻译的水平，最高将翻译准确率提高到 87%，MIT TR 报道称，“几乎与人类无异”。“这……极好地展示了神经网络机器翻译的实力，” Yoshua Bengio 在接受 Science 记者采访时表示。几年前，正是 Bengio 和他在加拿大蒙特利尔大学的深度学习团队开创了 NMT。

在此前接受新智元采访时，Bengio 谈到过去让他感到自豪的研究，“说一个比较新的例子，最近在机器翻译方面取得了一些进展，其中有很大部分是得益于我们研究小组的成果，神经机器翻译（Neural Machine Translation），这是大约两年前做出来的，现在全世界的实验室都在使用，是最先进的机器翻译技术，也是神经网络首次在机器翻译领域取得重大突破——之前，神经网络在语音识别、计算机视觉这些领域都取得了巨大的突破，但是机器翻译、自然语言处理还尚处于起步阶段。因此，这是我认为我们可以自豪的一项成果。”

本次的采访中，Bengio 还谈到了他对谷歌、Facebook 等人工智能巨头的看法，以及对中国人工智能技术与市场的展望。10 月 18 日，中国自动化学会和新智元联合主办的世界人工智能大会在北京国家会议中心举行，Bengio 作为本次大会的特邀嘉宾，将在会上发表视频讲话。欢迎到现场观看 Bengio 对本次大会的寄语，以及更多精彩内容。点击阅读原文抢票参会！

正如前文所说，NMT 技术已经被用于各种机器翻译系统，并接连取得极好的表现。谷歌的 GNMT 在此基础上又进一步，实现了商业化的部署。

在 Google Research 官方博客，谷歌机器翻译团队的 Quoc V. Le、Mike Schuster 也发表了文章，题目中也强调了“商业部署”。

在十年前推出时，谷歌翻译采用的是基于词组的机器翻译（PBMT），几年前，谷歌大脑团队开始使用循环神经网络（RNN），直接学习输入序列到输出序列之间的映射。基于词组的机器翻译（PBMT）是将句子拆分成字词后单独翻译，而神经网络机器翻译（NMT）则将输入视为一个整体进行翻译。这样做的好处是翻译时需要进行的调整少了很多。

当神经网络机器翻译技术刚刚出现时，就在中等规模的公共数据集上取得了与 PBMT 不相上下的成绩。自那时起，从事机器翻译研究的人提出了很多种方设法改善 NMT，包括使用注意力将输入和输出对齐，将单词拆分成更小的单元或模仿外部对齐模型应对生僻字词。尽管如此，NMT 的表现仍是不足以成为产品被大规模部署。

下面的动图展示了 GNMT 进行汉英翻译的过程。首先，网络将汉字（输入）编码成一串向量，每个向量代表了当前读到它那里的意思（即 e3 代表“知识就是”，e5 代表“知识就是力量”）。整句话读完之后开始解码，每次生成一个作为输出的英语单词（解码器）。

要每一步生成一个翻译好的英语单词，解码器需要注意被编码中文向量的加权分布中，与生成英语单词关系最为密切的那个（上图中解码器 d 上面多条透明蓝线中颜色最深的那条），解码器关注越多，蓝色越深。

使用人类对比评分指标，GNMT 系统生成的翻译相比此前有了大幅提高。在几种重要语言中，GNMT 将翻译错误降低了 55%-58%。

此外，谷歌大脑团队还宣布 GNMT 汉英英汉试用版上线。现在，谷歌翻译汉英语言的移动版和网页版都率先使用 GNMT，每天负责 1800万次翻译任务。

谷歌大脑团队表示，GNMT 的上线得益于 TensorFlow和深度学习专用加速器张量处理单元（TPU），尤其是后者，提供了足够的计算能力来部署这些功能强大的 GNMT 系统，同时满足谷歌产品严格的延迟要求。谷歌大脑团队表示，今后的几个月里将持续推出更多的语种服务用户。

机器翻译的挑战仍然存在。GNMT 还是可能会犯一些人类绝对不会犯的错，比如漏译、误译专有名词或罕见词，翻译时没有考虑到整段话乃至全文的意思。总之，GNMT 有待改善的地方还有很多，但无论如何，GNMT 都代表了一座重大的里程碑。他们感谢过去几年中谷歌内外以各种形式参与这项工作的研究人员和工程师。

谷歌最新技术在将英语翻译为西班牙语时，最高将准确率提高到 87%

值得一提的是，很多研究者认为，这次谷歌翻译取得的“里程碑”，与其说是技术突破，不如说是工程上的胜利。神经网络机器翻译的技术是从语言和图像那里得来的灵感，是多种技术的整合。

但不管怎样，像谷歌翻译这样在支持 1 万多种语言对的商业应用，还是很了不起了。

论文：谷歌神经网络机器翻译系统

谷歌大脑团队将其工作写成论文，“Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation”。

研究人员在论文中介绍了他们如何克服种种困难，在大规模数据集上实现了对谷歌翻译系统的部署，而且延时足够低，让翻译速度能够满足商业产品的需求。

Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Łukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Macduff Hughes, Jeffrey Dean

摘要

神经网络机器翻译（NMT） 是一种用于自动翻译的端到端学习方法，有很大的潜力可以克服传统基于词组的翻译系统的缺点。遗憾的是，NMT系统的计算成本是出了名的高，不管是在训练还是在翻译推理上都是如此，有时候在大型的数据集或者大的模型上成本更是高得离谱。也有一些作者指出，NMT 系统缺乏鲁棒性，尤其是当输入的句子包含很少的单词的情况下。这些问题的存在，阻碍了NMT在实际的部署和服务中的应用，因为实际应用中，准确率和速度都是至关重要的。在这项研究中，我们提出了 GNMT（谷歌神经机器翻译系统），尝试解决以上难题。我们的模型包括了一个深度的 LSTM 网络，有8个编码层和8个解码层。从解码网络到编码网络中，既使用残差连接，也使用注意力连接。为了提升并行计算进而减少训练时间，我们的注意力机制把底层的解码器与顶层的编码器连接起来。未来加速最后的翻译速度，我们在推理计算的过程中采用了低精度的算法。为了改善棘手的单词缺乏的难题，在输入和输出中，我们都把单词分为多个有限的常见附属词单元（wordpieces）。这种方法很好地平衡了字母限定模型的灵活性与单词限制模型的有效性，从而自然地处理了少量单词的翻译情况，最终提升了系统的整体准确率。

我们的定向搜索技术采用了一个长度标准化的程序，并使用了一个coverage penalty，这种技术鼓励系统生成一个输出句子，这些句子绝大部分都会覆盖到源句子中的单词。为了直接地优化BLUE翻译BLUE的得分，我们考虑使用增强学习来修正模型，但是我们发现，在BLEU中得分的增高并不会反映在人工测评上。在WMT'14 英语到法语和英语到德语的基准中，GNMT 获得了目前最有竞争力的结果。在一个包含独立样本句子的数据集中，使用人类并行的测评，与谷歌基于词组的生成系统相比 ，神经机器翻译系统能将翻译的错误率平均减少60%。

讨论：机器翻译与语言学

Hacker News 上针对谷歌的这项工作有很多讨论。其中关注多的是机器翻译和语言学之间的关系。

这篇论文很好地展示了我认为当下NLP研究中的一个致命缺陷：全是关于数学和算法，但跟真正的语言没有任何关系。

论文花大量篇幅描述了：神经网络架构、参数更新等式、学习规则和推理算法等等。但是，却没有提及：语言的分类、关系从句、词态学、词缀或复合词、论旨准则、内容/功能区分、动词形态、一致性或者任何与真正的语音学现象相关的东西。

对我来说，这有点像亚里斯多德学派的人尝试基于纯粹的数学分析来论证物理学，没有一点实际经验。

回应：

Fred Jelinek 曾有这样一句名言：“每次我炒掉一个语言学家，系统的性能就会得到提升”。有两种假设可以解释这种现象：1）语言学知识对于NLP来说是无用的，所以，人们应该全部依赖机器学习技术。2）在理论上，语言学知识是有用的，但是语言学领域自身都没有产生高质量的理论，所以最好的方法是依赖机器学习而不是低质量的理论。

几乎所有NLP业内的人都接受第1种假设，但是我相信第2个。

回应2

这跟语言的分类、关系从句、词态学、词缀或复合词等等这些真的没有关系。你在学习母语的时候，你也不知道所有这些理论，你只是学习而已。所以，问题的根本也许就是数学和算法，而不是语言学。