专栏首页AI研习社一窥谷歌神经机器翻译模型的真面貌,其底层框架终于开源!

一窥谷歌神经机器翻译模型的真面貌,其底层框架终于开源!

去年,谷歌发布了 Google Neural Machine Translation (GNMT),即谷歌神经机器翻译,一个 sequence-to-sequence (“seq2seq”) 的模型。现在,它已经用于谷歌翻译的产品系统。

虽然消费者感受到的提升并不十分明显,谷歌宣称,GNMT 对翻译质量带来了巨大飞跃。

但谷歌想做的显然不止于此。其在官方博客表示:“由于外部研究人员无法获取训练这些模型的框架,GNMT 的影响力受到了束缚。”

如何把该技术的影响力最大化?答案只有一个——开源。

因而,谷歌于昨晚发布了 tf-seq2seq —— 基于 TensorFlow 的 seq2seq 框架。谷歌表示,它使开发者试验 seq2seq 模型变得更方便,更容易达到一流的效果。另外,tf-seq2seq 的代码库很干净并且模块化,保留了全部的测试覆盖,并把所有功能写入文件。

该框架支持标准 seq2seq 模型的多种配置,比如编码器/解码器的深度、注意力机制(attention mechanism)、RNN 单元类型以及 beam size。这样的多功能性,能帮助研究人员找到最优的超参数,也使它超过了其他框架。详情请参考谷歌论文《Massive Exploration of Neural Machine Translation Architectures》,地址见文末。

上图所示,是一个从中文到英文的 seq2seq 翻译模型。每一个时间步骤,编码器接收一个汉字以及它的上一个状态(黑色箭头),然后生成输出矢量(蓝色箭头)。下一步,解码器一个词一个词地生成英语翻译。在每一个时间步骤,解码器接收上一个字词、上一个状态、所有编码器的加权输出和,以生成下一个英语词汇。在谷歌的执行中,他们使用 wordpieces 来处理生僻字词。

据 AI 研习社了解,除了机器翻译,tf-seq2seq 还能被应用到其他 sequence-to-sequence 任务上;即任何给定输入顺序、需要学习输出顺序的任务。这包括 machine summarization、图像抓取、语音识别、对话建模。谷歌自承,在设计该框架时可以说是十分地仔细,才能维持这个层次的广适性,并提供人性化的教程、预处理数据以及其他的机器翻译功能。

谷歌在博客表示:

“我们希望,你会用 tf-seq2seq 来加速(或起步)你的深度学习研究。我们欢迎你对 GitHub 资源库的贡献。有一系列公开的问题需要你的帮助!”

GitHub 地址:https://github.com/google/seq2seq

GitHub 资源库:https://google.github.io/seq2seq/nmt/

论文地址:

http://massive%20exploration%20of%20neural%20machine%20translation%20architectures/

via googleblog

本文分享自微信公众号 - AI研习社(okweiwu),作者:三川

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-04-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 云计算、人工智能、大数据等当前火热的技术,都离不开它!

    近年来,无论是互联网巨头还是创业新贵,越来越多的公司投身到大数据、人工智能以及云计算的洪流之中。随着科技的进步,全面实现生产过程和业务管理的数字化、智能化是企业...

    AI研习社
  • 问答 | 谷歌 AI 发布 BERT 模型,打破十一项 NLP 记录,会开启 NLP 新时代吗?

    日前,谷歌 AI 团队发布 BERT 模型,在机器阅读理解水平测试 SQuAD1.1 中表现出相当不错的成绩:在 11 项 NLP 任务中刷新当前最优性能记录。...

    AI研习社
  • 2018 AI最佳成长奖颁奖,共同发现人工智能与机器人领域最具成长性的创新力量 | CCF-GAIR 2018

    在6月29日的CCF-GAIR 2018全球人工智能与机器人峰会上,CCF-GAIR的承办方雷锋网联合近30家创投与资本机构、资深学者与产业界代表一起,共同为1...

    AI研习社
  • 显微镜下的webpack4的新特性:mode详解

    webpack4支持的一个新特性就是zero配置,不需要config,也可以打包,这对于懒癌患者很有诱惑力,但是这也意味着我们不清楚零配置发生了写什么,也不知道...

    小美娜娜
  • Vue项目打包部署到服务器

    首先在config/index.js中配置相对路径 找到assetsPublicPath:’/' 在’/‘前加点assetsPublicPath:’./' ...

    任我行RQ
  • 一波webpack

    pitaojin
  • 多基因风险评分1

    多基因风险评分(Polygenic Risk Score,PRS),有时也称为遗传风险评分(Genetic Risk Score,GRS),它主要用于评估个体患...

    生信与临床
  • 2-4 使用webpack的配置文件

    之所以直接执行npx webpack index.js就能打包成功,是由于webpack内置了配置文件。 尝试直接运行npx webpack会报错,因为web...

    love丁酥酥
  • 【Webpack】373- 一看就懂之 webpack 高级配置与优化

    所谓打包多页面,就是同时打包出多个 html 页面,打包多页面也是使用 html-webpack-plugin,只不过,在引入插件的时候是创建多个插件对象,因为...

    pingan8787
  • 腾讯云Linux系统盘网站数据更换至数据盘

    主要看你原网站的目录叫什么名称,如果原网站目录文件夹是用的一键安装包,也就是叫:alidata 那就不能按照第四步来了,这样可能会出错的。 今天来把腾讯云的也挂...

    速企云

扫码关注云+社区

领取腾讯云代金券