谷歌推出基于注意机制的全新翻译框架,Attention is All You Need!

AI 科技评论消息,谷歌最近与多伦多大学等高校合作发表论文,提出了一种新的网络框架——Transformer。Transformer是完全基于注意力机制(attention mechanism)的网络框架,放弃了RNN和CNN模型。

众所周知,在编码-解码框架中,主流的序列传导模型都是基于RNN或者CNN的,其中能完美连接编码器和解码器的是注意力机制。而谷歌提出的这一新框架Transformer,则是完全基于注意力机制的。

Transformer用于执行翻译任务,实验表明,这一模型表现极好,可并行化,并且大大减少训练时间。Transformer在WMT 2014英德翻译任务上实现了28.4 BLEU,改善了现有的最佳成绩(包括超过2个BLEU的集合模型),在WMT 2014英法翻译任务中,建立了一个新的单一模式,在八个GPU上训练了3.5天后,最好的BLEU得分为41.0,这在训练成本最小的情况下达到了最佳性能。由Transformer泛化的模型成功应用于其他任务,例如在大量数据集和有限数据集中训练英语成分句法解析的任务。

注意力机制是序列模型和传导模型的结合,在不考虑输入输出序列距离的前提下允许模型相互依赖,有时(但是很少的情况),注意力机制会和RNN结合。

模型结构

编码器:编码器有6个完全的层堆栈而成,每一层都有两个子层。第一个子层是多头的self-attention机制,第二层是一层简单的前馈网络全连接层。在每一层子层都有residual和归一化。

解码器:解码器也是有6个完全相同的层堆栈而成,每一层有三个子层,在编码栈的输出处作为多头的attention机制。

注意(attention):功能是将Query和一组键-值对映射到输出,那么包括query、键、值及输出就都成为了向量。输出是值的权重加和,而权重则是由值对应的query和键计算而得。

source:arxiv

AI 科技评论了解到,谷歌这一模型在众多翻译任务中都取得了最佳成绩,其泛化模型也在其他识别任务中表现优异。谷歌对这一基于注意力机制的Transformer表示乐观,研究人员很高兴看到模型在其他任务中表现良好,谷歌计划研究Transformer的更广泛应用——其他形式的输入输出,包括图像、音频及视频等。

论文链接:https://arxiv.org/abs/1706.03762

以前的谷歌翻译是怎样的?

AI 科技评论帮大家梳理一下谷歌之前的翻译框架进化史

一)基于短语的机器翻译

2006 年Google团队改进了——统计机器翻译(statistical machine translation),并宣布上线Google Translate翻译功能。当时的核心技术 “统计机器翻译”的基本思想是通过对大量平行语料进行统计分析、构建统计翻译模型、进而使用此模型进行翻译。简单来说,你可以认为这个翻译系统是基于短语翻译的。

二)用于自动翻译的端到端的学习方法

谷歌2016年9月29日前后正式发布第一代神经翻译系统。当时谷歌在 ArXiv.org 上发表论文《Google`s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation》介绍谷歌的神经机器翻译系统(GNMT)。神经机器翻译(NMT: Neural Machine Translation)是一种用于自动翻译的端到端的学习方法,该方法有望克服传统的基于短语的翻译系统的缺点。

当时外界对这个神经翻译系统的褒贬不一,比较综合的评价是:在同等语料的情况下,相较于基于短语的统计机器翻译,神经机器翻译(GNMT)系统能在更少工程量的基础上实现相同的效果。但是其纯粹把输入的句子当做一个序列(理论上任意符号序列都可以),不考虑这个句子本身作为语言的特性,生成的内容可能会比较奇怪,难以控制,错误的结果也难以解释。

三)完全基于注意力机制(attention mechanism)的网络框架

谷歌翻译新的网络框架——Transformer是完全基于注意力机制(attention mechanism)的网络框架,如上文所说,注意力机制是序列模型和传导模型的结合,在不考虑输入输出序列距离的前提下允许模型相互依赖,相比去年9月分公布的谷歌的神经机器翻译系统(GNMT),这里的传导模型的加入极有可能是这次系统升级的关键。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-06-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

OpenAI新研究:通过非监督学习提升NLP任务表现

今天,OpenAI在其官方博客上发布了一篇题为《用非监督学习来提升语言理解》的文章,介绍了他们最近的一项研究:Improving Language Unders...

801
来自专栏AI科技评论

深度 | 微软亚洲研究院刘铁岩博士:迎接深度学习的“大”挑战(下)

AI科技评论按:本文根据刘铁岩博士在中国人工智能学会AIDL第二期人工智能前沿讲习班*机器学习前沿所作报告《迎接深度学习的“大”挑战》编辑整理而来,发文前已得到...

34010
来自专栏包子铺里聊IT

经典智能算法快速入门——神经网络概念篇

在大数据年代,各种机器学习算法的应用也日渐广泛。虽然在实际生产中只要调用各种成熟的算法库即可解决机器学习问题,但我们也需要对这些算法有概念上的了解。小编在这里就...

2696
来自专栏Hadoop数据仓库

MADlib——基于SQL的数据挖掘解决方案(1)——数据挖掘入门

一、什么是数据挖掘         数据挖掘(Data Mining),也叫数据开采、数据采掘等,是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,...

1957
来自专栏数据派THU

独家 | 一文带你读懂特征工程!

本文描述了一个典型的基于跨行业标准流程的标准机器学习管道,作为数据挖掘行业的标准过程模型。

541
来自专栏杨熹的专栏

一文了解强化学习

虽然是周末,也保持充电,今天来看看强化学习,不过不是要用它来玩游戏,而是觉得它在制造业,库存,电商,广告,推荐,金融,医疗等与我们生活息息相关的领域也有很好的应...

3376
来自专栏机器之心

学界 | 反超GPU:微软提出在CPU上高效解码的神经机器翻译模型

选自arXiv 机器之心编译 参与:黄玉胜、李泽南 在最近一次机器学习热潮中,GPU 一直是承担神经网络模型训练和处理的主要计算设备,大多数模型都是针对 GPU...

3024
来自专栏AI科技评论

学界丨MIT重磅研究:基于人工神经网络,探索抑制神经元的生物学意义

在近几年,人工神经网络——一种参照大脑运作模式而建成的计算模型——已经成为了最为炙手可热的人工智能系统,并且应用于从语音到图像的各个领域。 AI科技评论消息,M...

3285
来自专栏机器人网

家用机器人需要更出色的识别算法

MIT:家用机器人必须要面对一个现实,他们需要识别他们要处理的对象。尽管对象识别是人工智能领域最广泛的研究课题之一,即使是最好的对象探测器在大多数时候还是会失败...

2635
来自专栏云时之间

新手司机带你看神经网络

什么是神经网络 我们现在所谈论的神经网络不是动物或者人上的神经网络,而是为计算机量身定制的神经系统。 计算机神经网络是一种模仿生物的神经中枢或者动物的神经网络...

2797

扫码关注云+社区