华为诺亚加入竞争,看深度学习如何改变机器翻译

摘要:诺亚采取了一种独特的双边策略:既在传统翻译模型的架构下加入深度学习的组件,也同时尝试完全基于神经网络的深度架构。诺亚以一种以卷积神经网络(CNN)为主的架构作为其深度学习的主要工具。

机器翻译,被认为是人工智能和自然语言处理的“圣杯”。上个世纪九十年代,机器翻译刚刚经历了一次变革,完成了从以规则为基础的方法到统计方法的变迁。而许多人相信我们正在经历第二次变革,这一次则是深度学习为主的方法。

深度学习是否能够取代传统的统计方法,业界现在尚无定论。但是对于很多前沿的机器翻译研究人员来说,他们其实更关心的是这次革命如何发生以及他们能否成为这次变革中的英雄。华为在香港和深圳的诺亚方舟实验室(下文简称“诺亚”)的研究员们就是其中的一份子。

诺亚资深研究员吕正东向CSDN介绍 ,诺亚自建立以来一直致力于数据处理和自然语言理解,机器翻译是其核心任务之一,深度学习已经成为诺亚研究机器翻译技术的主要工具。

诺亚采取了一种独特的双边策略:既在传统翻译模型的架构下加入深度学习的组件,也同时尝试完全基于神经网络的深度架构。诺亚以一种以卷积神经网络(CNN)为主的架构作为其深度学习的主要工具。CNN也是FFNN的一种特定形式,其在计算机视觉特别是图像识别方面已经取得了令人瞩目的成功,但是用于机器翻译还是相对新鲜的尝试。

吕正东介绍,诺亚最近的两项工作分别把CNN用于对源端的表示和对目标端句子的生成过程。

  1. 在第一项工作中,CNN利用解码端的信号来对源端的句子进行有针对性的向量形式的总结,而这个方法在另一个FFNN的帮助下可以被直接用于解码过程。在传统机器模型中应用诺亚该CNN模型,BLEU值相对于传统模型可带来2个点的提升。【1】
  2. 与第一项工作不同,第二项工作更贴近深度神经网络,所使用的架构是一种经过巧妙设计的CNN。当这个CNN模型被用来生成目标端的自然语言句子时,在BLEU值上也取得了不亚于上一个工作的提升。不仅如此,这个CNN模型还可以被直接用来对别的翻译模型生成的候选语句进行语言模型意义上的重排序,从而提升翻译语句的质量。【2】

在诺亚之前,机器翻译已经在短短两年时间内取得了惊人的进展,包含Google Brain、Raytheon BBN Technologies (BBN)、蒙特利尔大学和百度在内的多个研究机构都在不断地推进这项研究,当然也包括这些机构对深度学习的应用。

  1. Google Brain采取了一种最为极端的策略:以一个“编码”递归神经网络(RNN)发现对待翻译句子(源端)的表示,用另一个“解码”RNN将这个表示展开成(目标端)的句子。Google的模型有三亿多的参数,同时对训练数据的数量和平台都有较高要求。【3】
  2. 蒙特利尔大学的策略和Google的接近,但是巧妙地利用一种自动对齐的策略来避免对源端的纯粹的向量表示,从而可以在较小规模的参数和数据集上也有较好的效果。【4】
  3. BBN的策略与前两者不同,他们更多的依赖传统模型而非深度的神经网络,但是在传统模型中增加了一个高效的前向神经网络(FFNN)的联合语言模型,从而大大提高了解码的效果。【5】
  4. 百度新发布的翻译系统,应用了长短时记忆(LSTM,Long Short-Term Memory)的RNN模型。该模型擅长对自然语言建模,把任意长度的句子转化为特定维度的浮点数向量,同时“记住”句子中比较重要的单词,让“记忆”保存比较长的时间。该模型能够很好地解决自然语言句子向量化的难题。

去年获得ACL(自然语言处理领域的顶会)最佳论文奖的BBN模型,被广泛认为代表了国际先进水平,该模型相比较传统模型在BLEU值(用以衡量机器翻译效果)取得了1个点的提升。

诺亚的双边策略与Google Brain、BBN、和蒙特利尔大学的单边策略显然有所不同。在传统机器模型中应用诺亚第一项工作中的CNN模型,相对于BBN的最新模型也提升了1个点。诺亚第二项工作的提升,在深度神经网络也是非常好的效果。

由此看来,随着深度学习的普及应用,机器翻译的竞赛才刚刚开始且渐趋白热化。以深度学习为基础的框架是否能够取得优于传统模型的结果,其进展和速度如何,请您随时关注CSDN人工智能社区。如果您有好的人工智能技术成果分享,也欢迎投稿(zhoujd@csdn.net)。

参考文献

【1】F. Meng, Z. Lu, M. Wang, H. Li, W. Jiang and Q. Liu. Encoding source language sentence with a convolutional neural network for machine translation. In Proceedings of ACL,2015.

【2】M. Wang, Z. Lu, H. Li, W. Jiang, and Q. Liu. genCNN: A convolutional architecture for wordsequence prediction. In Proceedings of ACL,2015.

【3】I. Sutskever, O. Vinyals, and Q. V. Le. Sequence to sequence learning with neural networks.In Advances in Neural Information Processing Systems, pages 3104-3112, 2014.

【4】D. Bahdanau, K. Cho, and Y. Bengio. Neural machine translation by jointly learning to align and translate. In Proceedings of ICLR, 2015.

【5】J. Devlin, R. Zbib, Z. Huang, T. Lamar, R. Schwartz, and J. Makhoul. Fast and robust neural network joint models for statistical machine translation. In Proceedings of ACL, 2014


【预告】中国人工智能大会(CCAI 2015)将于7月26-27日在北京友谊宾馆召开。机器学习与模式识别、大数据的机遇与挑战、人工智能与认知科学、智能机器人四个主题专家云集。人工智能产品库将同步上线,预约咨询:QQ:1192936057。欢迎关注。

大会官网:http://ccai2015.csdn.net/

原文发布于微信公众号 - 人工智能头条(AI_Thinker)

原文发表时间:2015-06-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 词嵌入2017年进展全面梳理:趋势和未来方向

375150
来自专栏量子位

Hinton号召AI革命:重头再来;李飞飞等赞成:深度学习不是唯一

李林 允中 编译整理 量子位 出品 | 公众号 QbitAI ? △ Hinton等合写的反向传播论文 1986年,39岁的Geoffrey Hinton与人合...

35150
来自专栏AI科技大本营的专栏

老司机这样讲深度学习,新手才能看得懂学得快

作者 | 张玉宏 (一)一入侯门“深”似海,深度学习深几许 【导言】目前人工智能非常火爆,而深度学习则是引领这一火爆现场的“火箭”。于是,有关“深度学习”的...

32950
来自专栏人工智能头条

机器翻译重大突破:中英翻译已达人类水平

26410
来自专栏量子位

病人还能生存多久?现在AI能给出更精准的预测

问耕 发自 LZYY 量子位 报道 | 公众号 QbitAI ? 只需要简单查看器官图片,人工智能就可以预测患者的剩余的生命长度,这是澳大利亚阿德莱德大学的最新...

34490
来自专栏新智元

5月机器学习TOP 10热文: Google Duplex,“换脸术”、网格单元(附文章地址)

19140
来自专栏企鹅号快讯

Yann LeCun力挺前AAAI主席,批判深度学习的Marcus遭怒怼

Yann LeCun、Tom Dietterich、Gary Marcus在NIPS 2015上讨论我们周围的算法,吴恩达同台 昨天,纽约大学教授、Uber A...

20480
来自专栏机器之心

前沿 | 手机运行神经网络,MIT新方法使神经网络能耗降低 73%

选自MIT News 机器之心编译 参与:Smith、路雪 麻省理工的研究人员已经设计出了一种新型的精简神经网络的方法。此方法通过给神经网络的能耗进行建模的方式...

28450
来自专栏大数据文摘

Facebook人工智能实验室负责人讲深度学习

23560
来自专栏ACM算法日常

第七篇:《机器学习之神经网络(二)》

我们之前学的,无论是线性回归还是逻辑回归都有这样一个缺点,即:当特征太多时,计算的负荷会非常大。

11810

扫码关注云+社区

领取腾讯云代金券