业界 | 一窥谷歌神经机器翻译模型真面貌,其底层框架开源!

去年,谷歌发布了 Google Neural Machine Translation (GNMT),即谷歌神经机器翻译,一个 sequence-to-sequence (“seq2seq”) 的模型。现在,它已经用于谷歌翻译的产品系统。

虽然消费者感受到的提升并不十分明显,谷歌宣称,GNMT 对翻译质量带来了巨大飞跃。

但谷歌想做的显然不止于此。其在官方博客表示:“由于外部研究人员无法获取训练这些模型的框架,GNMT 的影响力受到了束缚。”

如何把该技术的影响力最大化?答案只有一个——开源。

因而,谷歌于昨晚发布了 tf-seq2seq —— 基于 TensorFlow 的 seq2seq 框架。谷歌表示,它使开发者试验 seq2seq 模型变得更方便,更容易达到一流的效果。另外,tf-seq2seq 的代码库很干净并且模块化,保留了全部的测试覆盖,并把所有功能写入文件。

该框架支持标准 seq2seq 模型的多种配置,比如编码器/解码器的深度、注意力机制(attention mechanism)、RNN 单元类型以及 beam size。这样的多功能性,能帮助研究人员找到最优的超参数,也使它超过了其他框架。详情请参考谷歌论文《Massive Exploration of Neural Machine Translation Architectures》。

上图所示,是一个从中文到英文的 seq2seq 翻译模型。每一个时间步骤,编码器接收一个汉字以及它的上一个状态(黑色箭头),然后生成输出矢量(蓝色箭头)。下一步,解码器一个词一个词地生成英语翻译。在每一个时间步骤,解码器接收上一个字词、上一个状态、所有编码器的加权输出和,以生成下一个英语词汇。雷锋网提醒,在谷歌的执行中,他们使用 wordpieces 来处理生僻字词。

除了机器翻译,tf-seq2seq 还能被应用到其他 sequence-to-sequence 任务上;即任何给定输入顺序、需要学习输出顺序的任务。这包括 machine summarization、图像抓取、语音识别、对话建模。谷歌自承,在设计该框架时可以说是十分地仔细,才能维持这个层次的广适性,并提供人性化的教程、预处理数据以及其他的机器翻译功能。

谷歌在博客表示:

“我们希望,你会用 tf-seq2seq 来加速(或起步)你的深度学习研究。我们欢迎你对 GitHub 资源库的贡献。有一系列公开的问题需要你的帮助!”

GitHub 地址:https://github.com/google/seq2seq

GitHub 资源库:https://google.github.io/seq2seq/nmt/

Via Googleblog

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-04-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏奇点大数据

DeepMind 发布新架构:让AI 边玩游戏边强化学习

本文出自:雷锋网(leiphone-sz) 论文标题:IMPALA: Scalable Distributed Deep-RL with Importance ...

3415
来自专栏AI研习社

机械臂还能这样玩?Touch & Melt : 抽象触觉和机器人热成型

这篇文章最初发表于2018年5月13日,是在卡内基梅隆大学教授的课程的一部分。 是关于的 Varun Gadh 和 Hang Wang 的项目。

312
来自专栏大数据文摘

手把手:AlphaGo有啥了不起,我也能教你做一个(附Python代码)

1515
来自专栏社区的朋友们

识别类评测之数据篇

不同的输入数据组合,得出来的评测结论也会截然不同。手机QQ浏览器探索X三地评测团队在评测数据方面积累了一些经验,特地写此文章来和大家讨论下分享。

1230
来自专栏趣学算法

《趣学算法》内容摘要及特色

本书内容按照算法策略分为7章内容,第1章从算法之美、简单小问题、趣味故事引入算法概念、时间复杂度、空间复杂度的概念和计算方法,以及算法设计的爆炸性增量问题,使读...

1102
来自专栏新智元

【TensorFlow开发者峰会】重磅发布TensorFlow.js,完全在浏览器运行机器学习

1487
来自专栏tkokof 的技术,小趣及杂念

音乐游戏&音频解析 ABC(下)

  首先我们应该先确定一下我们到底需要解析歌曲的哪些信息?歌名?作者?呵呵,都不是,我们要解析的应该是歌曲的“信号”属性(譬如歌曲的BPM)。然而歌曲的这些属性...

831
来自专栏CreateAMind

重磅!强化学习进阶,前沿算法及应用梳理一览、有视频

1033
来自专栏机器人网

17张思维导图,全面掌握机器学习的统计基础知识

原图下载:https://pan.baidu.com/s/1midnOSC 本文用一系列「思维导图」由浅入深的总结了「统计学」领域的基础知识,是对之前系列文章...

3338
来自专栏钱塘大数据

【思维导图】机器学习基础之「统计篇」

本文用一系列「思维导图」由浅入深的总结了「统计学」领域的基础知识,是对之前系列文章做的一次完整的梳理,也是我至今为止所有与统计有关的学习笔记。众所周知,「统计学...

34313

扫码关注云+社区