洞见|如何评价谷歌刚刚上线的神经机器翻译(GNMT)系统?

Google最新宣布发布谷歌神经机器翻译(GNMT:Google Neural Machine Translation)系统,在官方博客中Google称该系统使用了当前最先进的训练技术,能够实现到当下机器翻译质量上最大的提升。

听上去十分令人激动,不是吗?

有从事翻译职业的网友甚至这样形容:

作为翻译,看到这个新闻的时候,我理解了18世纪纺织工人看到蒸汽机时的忧虑与恐惧。

真有这么可怕吗?让我们先来回顾下Google Translate的发展历程。

| Google Translate发展历程:

在2006 年Google团队改进了——统计机器翻译(statistical machine translation),并宣布上线Google Translate翻译功能。

其中,Google Translate的核心技术 “统计机器翻译”其基本思想是通过对大量平行语料进行统计分析、构建统计翻译模型、进而使用此模型进行翻译。简单来说,Google Translate 在生成译文时,会在大量人工翻译的文档中查找各种模型,进行合理的猜测,从而得到恰当的翻译。

当时之所以采用“统计翻译模型”的一个重要原因就是 Google 的云计算架构。机器翻译需要海量的数据存储空间以及高效的运算能力,而 Google 拥有 GoogleMapReduce(分布式计算系统)和 BigTable(分布式存储系统),恰好满足了这两方面需求。

几年前,Google开始使用循环神经网络来直接学习一个输入序列(如一种语言的一个句子)到一个输出序列(另一种语言的同一个句子)的映射。

其中基于短语的机器学习(PBMT)将输入句子分解成词和短语,然后对它们的大部分进行独立翻译,而神经网络机器翻译(NMT)则将整个输入句子视作翻译的基本单元。

这种方法的优点是:相比之前的基于短语的翻译系统,这种方法所需的调整更少。

首先,该网络将这句中文的词编码成一个向量列表,其中每个向量都表示了到目前为止所有被读取到的词的含义(编码器“Encoder”)。一旦读取完整个句子,解码器就开始工作——一次生成英语句子的一个词(解码器“Decoder”)。为了在每一步都生成翻译正确的词,解码器重点注意了与生成英语词最相关编码的中文向量的权重分布(注意“Attention”;蓝色连线的透明度表示解码器对一个被编码的词的注意程度)。

通过维基百科和新闻网站的例句测定发现:在多个样本的翻译中,神经网络机器翻译系统将误差降低了 55%-85%甚至以上。

| 各方对此评价:

知乎网友Jacob Wu对此评价十分正面:

这个是基于Yoshua Bengio团队两年前的研究做出的成果。目前从中文翻译到英文,线上系统已经使用了文章中所述的系统。我实际体验了一下这个系统,明显超出我的预期,非常牛!

另外一位知乎网友萧瑟则表示:

百度在1年半前就已经上线了基于attention机制的神经网络机器翻译,和google一样都是基于Yoshua Bengio组2015年的paper做的改进。 Google的方法看起来基本是这几年学术界paper的组合,包括converage,subword,residual多层等等,并没有特别明显的创新。不过google机器翻译组的迭代实验能力真心很强,这个不能不服。而且有足够多的gpu机器把8层神经网络的模型线上化,也充分体现了google有多么的土豪。

我们另外有咨询前百度主任架构师、蓦然认知创始人戴帅湘,他对此评价是:

这个方法是新的,但是应该去年还是前年论文就出来了。以前是基于短语的翻译,这个方法直接用待翻译的句子来预测目标语言中的词,去年大家就都用这个方法了,但是效果没有宣传的那么好。对于Google这次发布的新系统,个人猜测Google的语料更大了,神经网络层数和训练能力更强了,理论上应该没什么变化。 但是其在工程意义上很大,以前的方法训练起来比较辛苦,需要做很多预处理,需要分词,然后特征设置也要人为制定一些针对语言特性的,特别是词对齐本身就比较复杂;采用NN(神经网络)以后就变得比较简单的,上述那些预处理基本都没有了,甚至都不需要分词,按字做也行。 另外现在主流是NN(神经网络),既然NN也能达到效果,显然用主流方法更经济。

| 实际效果:

目前Google Translate已在中英翻译系统中上线,在实际使用过程中比传统的机翻体验好上不少。但是我们有注意到这个情况,加上语助词之后,原本的翻译效果大打折扣。

对此,蓦然认知创始人戴帅湘的观点是:

针对上面的例子,我个人是这样理解的,NMT在用平行句对训练的时候,把输入的源语言句子用向量进行描述,通过一个编码用的神经网络转成隐层的向量表示,然后对这个隐层用另外一个神经网络进行解码,得到目标语言的向量表示。这个过程纯粹是一个拟合函数的过程,即使源语言句子语义一样,而如果字面有所差异的话,通过这个“拟合函数”映射过去得到的目标语言差异也会很大,所以会出现明明意思没变,但是加了几个无关紧要的字或者词,翻译过去的句子意思就会变化很大。 如果用基于短语对齐的翻译模型,在对齐的时候通过引入一些基本的语言特性,或者词语重要性识别方法,就可以避免这个问题,这也是NMT的缺陷所在,不能很好地引入语言本身的一些特性,如构词和句法等。 我看过一些试验数据,基于短语的统计机器翻译我比较熟悉和完全基于NN的效果没有特别大的差距。同样语料训练的话基于NN的有所提升,但不很显著。

| 总结:

对于Google最新发布的神经机器翻译(GNMT)系统,我们要充分肯定其在机器翻译上的进步。在同等语料的情况下,相较于基于短语的统计机器翻译,神经机器翻译(GNMT)系统能在更少工程量的基础上实现相同的效果。但是其纯粹把输入的句子当做一个序列(理论上任意符号序列都可以),不考虑这个句子本身作为语言的特性,生成的内容可能会比较奇怪,难以控制,错误的结果也难以解释。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-09-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【震撼】这些专业级摄影作品竟然出自谷歌神经网络之手!

【新智元导读】谷歌研究人员提出利用机器学习学习“主观”概念的新方法,模仿专业摄影师的工作流程,遍览谷歌街景地图并搜索最佳作品,然后进行各种后续的处理,创造出媲美...

3198
来自专栏AI科技评论

学界 | 一窥 ACL 2018 最佳论文

AI 科技评论按:随着定于 7 月 15 日的开会日期逐渐临近,自然语言处理顶会 ACL 2018 继公开了接收论文名单之后,今天也公布了包含 3 篇长论文 与...

865
来自专栏量子位

大连理工大学在CVPR18大规模精细粒度物种识别竞赛中获得冠军

近日,引人瞩目的国际计算机视觉与模式识别大会CVPR 2018在美国盐湖城落下帷幕。在为期5天的会议中,除了有精彩的口头报告、墙报张贴以及企业展示之外,还有对极...

692
来自专栏机器之心

入门 | 学完了在线课程?如何开启深度学习论文的阅读模式

在一个 Quora 问答《I want to pursue machine learning as a career but not sure if I am ...

701
来自专栏AI科技评论

学界 | 顶会见闻系列:ICML 2018(上),表示学习、网络及关系学习

AI 科技评论按:本篇属于「顶会见闻系列」。每年这么多精彩的人工智能/机器学习会议,没去现场的自然可惜,在现场的也容易看花眼。那么事后看看别的研究员的见闻总结,...

795
来自专栏新智元

【PyTorch 挑战 TensorFlow】28303 篇 arXiv 论文看深度学习 6 大趋势

【新智元导读】本文由 Andrej Karpathy撰写,他前不久加入了特斯拉,担任AI 负责人。本文是他在 OpenAI 担任研究员期间所写,陈述了他通过分析...

3486
来自专栏自然语言处理

文本挖掘系列文章1

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机...

841
来自专栏AI科技评论

业界 | Facebook全面转为神经网络人工智能翻译

AI 科技评论按:语言翻译是一股能够让人们组建群体和使世界更加紧密的力量。 它可以帮助人们与在海外居住的家庭成员联系起来,或者可以更好地了解讲不同语言的人们的观...

3069
来自专栏企鹅号快讯

不正之风!机器学习论文里都有哪四大投机取巧的写作手法?

AI 科技评论按:由于深度神经网络的成功,机器学习的整个领域也愈发热门、愈发茁壮。机器学习的繁荣以及 arXiv 助推下的知识和技巧快速更新当然是好事,不过这也...

1935
来自专栏机器之心

深度 | Vicarious详解新型图式网络:赋予强化学习泛化能力

选自Vicarious 机器之心编译 近日,人工智能初创公司 Vicarious 在官网了发表了一篇名为《General Game Playing with S...

3577

扫码关注云+社区