Facebook无监督机器学习翻译突破,表现优于监督模型

编译:chux

出品:ATYUN订阅号

当从一种语言到另一种语言的翻译示例没有很多时(例如从英语到乌尔都语),Facebook使用无监督的机器学习来翻译其平台上的内容。

Facebook AI Research(FAIR)巴黎实验室主任Antoine Bordes表示,该方法由FAIR设计,并在FAIR与公司应用机器学习部门的合作中在平台上使用。

该方法的表现与执行100000次翻译的监督模型一样,并且对于Facebook几乎没有示例的语言配对系统,它的表现更优。

“当你处理像英语到乌尔都语这样的案例时,翻译示例很少,我们的系统比监督系统更好。因此,训练无监督系统比没有足够数据的监督系统更好,”Bordes说。

Facebook AI研究人员Guillaume Lample和Marc’Aurelio Ranzato领导的工作成果将于今年秋季在EMNLP 2018上展出。

Bordes表示,这项研究将注意力放在翻译上,这是Facebook的一项重要任务,也是自2013年开始以来FAIR一直关注的一个问题。

“现在即使是一种没人会说的语言,甚至是外星人,我们也可以尝试对他们所说的内容进行合理的翻译,”Bordes说。“你可以去一本古老的手稿上找到尚未破译的语言,你可以真正了解它的作用,所以这就是这项工作取得的突破。”

与其他FAIR项目一样,AI系统将是开源的,可以在GitHub上下载。今年早些时候,Facebook 开源Translate,一种目前用于在Facebook上进行翻译的AI系统。

Translate等系统需要培训大量标记数据。例如,完成从法语到英语的翻译需要数百万个样本句子来创建一个能够理解这两种语言的系统。因此,当Facebook没有很多从一种特定语言到另一种语言的翻译示例时,翻译很困难。

现在用于这些案例的AI系统与三个要素相结合:逐字翻译,语言模型和反向翻译。

训练逐字翻译以基于从前面的五个单词和句子中的特定单词之后的五个单词绘制的上下文来预测单词。这个词嵌入方法是在去年秋天Lample和Ranzato共同撰写的一篇论文中提出的。

然后,用大量数据训练的语言模型(如书籍或其他书面文本)用于排列对于英语使用者或乌尔都语说话者有意义的结构中的句子。

最后,使用反向翻译来改进使用逐字翻译和语言模型进行的翻译。他说,这些方法并不新鲜,但三者的结合会产生非常好的结果。

Bordes说,“使用这两个系统并在两种语言之间来回翻译,我可以将它们一起训练以试图相互改进,所以这真的是本文的核心,使用翻译模型这个词,使用语言模型做第一次翻译,然后用反向翻译的想法试图改进。”

Facebook将在未来探索这种AI系统以进行其他形式的翻译,但需要更多数据并与专业翻译人员合作来验证结果。

代码:github.com/facebookresearch

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-09-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【学习】深入浅出——谈数据挖掘

本文对数据挖掘概念的产生,数据挖掘与常规数据分析的主要区别,所能解决的几大类问题和所应用的领域都有着非常清晰的论述。作者在此篇文章中认为数据挖掘最重要的要素是分...

2834
来自专栏机器学习算法与Python学习

机器学习类面试问题与思路总结,你需要吗?

机器学习、大数据相关岗位根据业务的不同,岗位职责大概分为: 1、平台搭建类  数据计算平台搭建,基础算法实现,当然,要求支持大样本量、高维度数据,所以可能还...

1150
来自专栏钱塘大数据

从普通程序员到AI大神,跨界的正确方式

眼下,人工智能已经成为越来越火的一个方向。普通程序员,如何转向人工智能方向,是知乎上的一个问题。本文是我对此问题的一个回答的归档版。相比原回答有所内容增加。 一...

3759
来自专栏机器之心

机器学习近年来之怪现状

总体来说,机器学习(ML)的研究人员正在致力于数据驱动算法知识的创建与传播。在一篇论文中提到,研究人员迫切地想实现下列目标的任一个:理论性阐述可学习内容、深入理...

962
来自专栏AI研习社

OpenAI 尝试打破“中文房间悖论”,让 AI 创造语言并自发交流

大规模机器学习技术已经在翻译、语言推理、语言理解、句子生成等领域取得巨大进展,而它的训练方式都大同小异: 给系统输入大量文本数据; 系统提取特征并提炼模式。 ...

36211
来自专栏新智元

DeepMind用深度学习模仿大脑推理,预测编码智能推进一大步!

【新智元导读】预测编码理论认为,大脑的感知、运动控制、记忆及其他高级功能,取决于真实经历和大脑对未来的预测之间的差异。DeepMind新推出的“生成查询网络”模...

1091
来自专栏大数据挖掘DT机器学习

干货整理:深度学习 vs 机器学习 vs 模式识别

本文我们来关注下三个非常相关的概念(深度学习、机器学习和模式识别),以及他们与2015年最热门的科技主题(机器人和人工智能)的联系。 环绕四周,你会...

4295
来自专栏祝威廉

从内容/用户画像到如何做算法研发

中午和一前同事一起用餐,发现还是有很多碰撞点的。交流了很多正在做的事情, 对方也提供了非常多的思想值得自己很好的思考。

1413
来自专栏机器人网

AI领域学习路线图:普通程序员如何转向AI方向

  眼下,人工智能已经成为越来越火的一个方向。普通程序员,如何转向人工智能方向,是知乎上的一个问题。本文是我对此问题的一个回答的归档版。相比原回答有所内容增加。

2003
来自专栏AI科技评论

学界 | OpenAI尝试打破“中文房间悖论”,让AI创造语言并自发交流

大规模机器学习技术已经在翻译、语言推理、语言理解、句子生成等领域取得巨大进展,而它的训练方式都大同小异: 给系统输入大量文本数据; 系统提取特征并提炼模式。 ...

2867

扫码关注云+社区

领取腾讯云代金券