观点 | 号称打败谷歌翻译的 DeepL 究竟靠不靠谱?

鉴于数据、计算力、算法等诸多门槛,自神经机器翻译(NMT)产品化以来,在很大程度上便是互联网巨头们的竞技场。

如今,又一个新的挑战者高调加入进来,直接把矛头指向堪称行业技术标杆的谷歌、微软以及 Facebook。

上周,来自德国的 DeepL 翻译上线,号称实现了 NMT 技术的新突破,打造出了“世界上最精确、语言组织最自然的机器翻译系统”;并宣布在自家组织的盲测中,打败了谷歌翻译以及微软与 Facebook 的 NMT 系统,衅意十足。

目前,DeepL 翻译已支持英德法西等 42 门欧洲语言,正在对汉、日、俄等语言进行训练,并计划在将来发布一款 API,让开发者能够将 DeepL 翻译整合入其应用中。

公司前身

首先要说,这家公司的来历并不简单。

公司的前身是运营已近十年的在线外语词典 Linguee,DeepL 翻译也完全由 Linguee 团队打造。Linguee 在国内没什么存在感,至于在海外……有谷歌翻译专美于前,存在感也不是很高,但还是有一批认可它的用户。

Linguee 的英汉、汉英词典界面

不过,Linguee 的成败现在已经不重要,毕竟都换马甲了——Linguee 在今年正式更名 DeepL,以“Deep”提醒 VC 自己是一家正儿八经的深度学习公司。

真正重要的是 Linguee 的技术积累。Linguee 由前谷歌翻译研究员 Gereon Frahling 在 2007 年离职开发,2009 年正式上线。就AI科技评论所知,Linguee 的核心优势是它的爬虫和机器学习系统,前者抓取互联网上的双语对照翻译,后者对这些翻译的质量进行评估。两者结合,使 Linguee 成为了当时“世界上首个翻译搜索引擎”。十年积累,Linguee 无论在数据和对算法的研究上都不可小觑。

去年在伦敦 Noah 上演讲的 Gereon Frahling

一年前,其研究团队着手欲实现一个新目标:利用在机器翻译领域的多年专业积累,打造一套业内最先进的 NMT 系统。这便是 8 月 29 日上线的 DeepL 翻译。

三大优势

既然底子厚实,我们来看看这些积累给 DeepL 带来了哪些资源优势。

AI科技评论要提醒,以下信息均是 DeepL 一家之言,尚无第三方背书,大家需自行判断其含金量。

  • 数据

Linguee 的数据集有逾十亿组对照翻译语句,号称是世界上最大的人工翻译数据集。 Linguee 能随时搜索近似翻译结果。

  • 计算力

DeepL 在冰岛搭建了一台超算,号称在全球 HPC 中性能排名第 23 位,浮点运算能力达到 5.1 petaFLOPS。因而能实现令 DeepL 十分自豪的计算速度:每秒处理百万量级的词语翻译。

  • 算法

采用 CNN 而不是 NMT 产品通用的 RNN。DeepL 宣称其技术积累使得它能够克服 CNN 的主要短板,因而能实现比基于 RNN 的竞品算法更精确、自然的翻译结果。

效果展示

DeepL 宣称其翻译系统的表现打败了谷歌翻译以及微软、Facebook 的 NMT 系统, 是基于两个指标:盲测反馈和 BLEU 分数。

  • 盲测

DeepL 邀请了职业翻译者,对 DeepL 翻译、谷歌翻译、微软翻译以及 Facebook 的 NMT 系统进行了盲测,要求测试者选出所认为的最好的翻译结果。测试语言为三组,分别是英德、英法、英西互译,样本为 100 个句子。DeepL 并未公布每组参与测试的职业译者数量。测试结果如下:

如图所示,在每一门测试中,选择 DeepL 的测试者都最多。 DeepL 在英译德、英译法、英译西的优势尤其明显。其官方统计是:选择 DeepL 为最佳翻译结果的次数,与选择另外三家 NMT 服务的平均比例为 3:1 。

  • BLEU

BLEU 是业内评估机器翻译质量最常用的打分算法,其得分被认为与人类的评判结果具有较大相关性。

DeepL 宣布,其英译德、英译法的 BLEU 得分超过了所有已发表的 NMT 研究,包括谷歌 Transformer。结果如下:

如图,在英译法项目上,DeepL 的 BLEU 分数超过次优方案约 3.5%。

业内观点

踏入江湖的第一日,DeepL 就自封“天下第一”。业内同行对此怎么看?

对此,AI科技评论咨询了搜狗语音交互中心总监陈伟、商鹊网 CEO 邹剑宇,以及 Facebook 机器学习工程师王杨。需要说明的是,三位老师均表示:由于缺乏关于 DeepL 算法、数据库的第一手资料,也没有来自第三方的信息,无法对其翻译水平做出客观判断。商鹊网的 CEO 邹剑宇评论道:“从相关报道中,对算法的描述并不详细,没有论文披露细节,所以并不好理解。“

因此,以下仅为这三位看到 DeepL 宣传信息后的一些个人看法。

在 Facebook从事应用机器学习的工程师王杨,听到这件事的第一反应是怀疑——单是同时胜过谷歌翻译和Facebook NMT这一点,不拿出有足够说服力的证据就难以取信于人。谷歌的NMT 积累深厚,Facebook的NMT也在快速发展。一个新的产品想要如其所宣传的那样实现大幅超越,很难。

若 DeepL 确实在技术上实现了突破,那么不排除他们有全新的多语种(multilingual)模型。

至于 DeepL 的算法模型基于 CNN 而不是 RNN,王杨表示“这从侧面支持了 Facebook 的研究”。FAIR(Facebook AI Research)一直认为 CNN 在机器翻译上的潜力远远大过 RNN,尤其是计算速度,这也是 Facebook 在 NMT 领域的主要研究方向之一。

搜狗语音交互中心总监陈伟,他们机器翻译团队刚刚在 WMT 2017评测中获得中英、英中两个翻译方向的第一名,他认为数据对 DeepL 的贡献可能远大过其它因素。而 Linguee 的数据爬取和积累,是一项不小的优势。

陈伟评论道:

“从 BLEU 对比看,提升的比较明显,感觉他们十亿量级的高质量数据对效果帮助比较大。实测大家都觉得好,这至少说明它数据的全面性还是够的。”

据一位德语专业的译员说,DeepL 德英互译的体验确实不错,这丝毫不意外——作为一家德国公司,顺理成章的,DeepL 重点关注的是德英、法英这些语种的翻译。这为 DeepL 在这几门语种的数据积累也提供了一定的聚焦和便利。

DeepL 公布的盲测、BLEU 评分,衡量的均是德、法、西这三门欧洲语言与英语之间的互译。

在算法方面,陈伟向AI科技评论表示:

“没看到他们技术的详细介绍,只了解到使用了 CNN 而没有使用 RNN,但是我感觉架构变动不会太大,应该类似于 Facebook 的 convs2s。

他并不认可“CNN 是神经机器翻译未来”的说法:

在搜狗的实验对比中,“RNN-NMT、CNN-NMT 和谷歌的 Transformer 框架。三个技术我们都认真研究和优化过,目前 Transformer 框架已经在搜狗翻译系统上线,从机器评分和人工评测来看,都领先主要竞品,较RNN-NMT、CNN-NMT提升也比较明显。 业内也没有一致观点认为 CNN 是 NMT 的未来。我觉得技术方案无论是 CNN、RNN、Transformer 都没做到极致,目前主流技术框架到底是什么没有定论,算法细节的打磨和多种技术的融合会是未来发展趋势,另外数据量会是各家公司的技术壁垒。”

最后,陈伟总结,根据 DeepL 公布的报告,目前的评测存在三个地方导致难以评估其技术:

  1. 人工评测的测试数据量仅有 100 句,而一般人工评测或者 BLEU 评测会采用几千句的数量。
  2. DeepL对比其他家并没有使用相同的训练数据集,因此性能无法很好评估。
  3. 更多的技术细节没有公布,很难把握具体的情况。

商鹊网 CEO 邹剑宇十分认同数据和计算资源对 NMT 产品的重要性:

“报道说其训练引擎是基于一台冰岛超级计算机,可以说深度学习真的很需要计算力。Linguee 本身是一个不错的语料库公司,数据积累有自己的特点,这应该是其引擎优秀表现的一个基础。 对于引擎的评测,Linguee引擎的盲测很好,BLEU 值超过其他引擎最优质 3 个百分点(行业通识是,2 个 BLEU 值的提高就可以称作‘显著’)。”

对于 BLEU 值究竟能在多大程度上客观反映翻译质量,邹剑宇强调,需要合理看待其参考价值,不可把它等同于普通人面对翻译结果的直观体验:

“翻译评测有三类对象:科研人员,译员和普通阅读用户,三者评测的目标和方法不一致。BLEU 是一个科研环境的评测参数,和人的阅读体验感受有很大的不同,不可以同类而论。”

他最后忍不住拿自家产品做对比,表示商鹊网的新引擎甚至达到了比谷歌翻译高出 6 个百分点的 BLEU 值。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-09-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

机器学习与模式识别是走在正确的路上吗?刘成林、李航、周明等这样回答

1996
来自专栏大数据文摘

Facebook研究出接近人类水平的脸部识别技术

2849
来自专栏人工智能头条

人工智能的突破需要颠覆图灵机吗?

1162
来自专栏AI科技评论

业界丨需要什么样的智能助理,是《棋魂》中的佐为还是蜡笔小新?

AI 科技评论按:本文来自袁峻峰的投稿。袁峻峰,蚂蚁金服人工智能部,复旦金融学硕士,FRM金融风险管理师。10年以上从事金融IT相关领域工作经验,包括国内银行间...

3327
来自专栏AI科技评论

动态 | 来围观 UC 伯克利和CMU的「踩高跷走梅花桩」机器人

AI 科技评论按:就像人类和大多数陆地动物一样,步行机器人需要具备在崎岖地面行走的能力。它们会被用于灾害应对和搜救工作。然而,设计一个控制算法让机器人能够适应不...

642
来自专栏数据派THU

【独家】虞晶怡:虚拟现实与视觉(附视频)

本文共4140字,阅读全文约需12分钟 本文为大家讲述了虚拟现实技术在视觉方面的应用。 [ 导读 ] 3月25日,由清华-青岛数据科学研究院和中国工业经济联合...

1689
来自专栏机器之心

CCL 2017最佳论文公布,看全国计算语言学前沿研究

机器之心报道 作者:邱陆陆 10 月 14 日、15 日,由中国中文信息学会(CIPS)举办的第十六届全国计算语言学会议(CCL 2017)暨第五届自然标注大...

3388
来自专栏大数据文摘

Podcast脱口秀重磅上线 | 听数据大咖们把枯燥的人工智能Paper花式聊出来

1673
来自专栏专知

走近Hinton:AI教父传奇人生

【导读】Geoffrey Hinton花费了30年的时间默默无闻,直到2012年,他证明了其研究的价值,并驳回了大多数其他科学家所谓的正确观点。如今,这个被称为...

3426
来自专栏大数据文摘

我们需要什么样的智能助理?

1562

扫描关注云+社区