专栏首页AI科技大本营的专栏NLP机器翻译深度学习实战课程基础 | 深度应用

NLP机器翻译深度学习实战课程基础 | 深度应用

作者 | 小宋是呢

来源 | CSDN博客

0.前言

深度学习用的有一年多了,最近开始 NLP 自然处理方面的研发。刚好趁着这个机会写一系列 NLP 机器翻译深度学习实战课程。

本系列课程将从原理讲解与数据处理深入到如何动手实践与应用部署,将包括以下内容:(更新ing)

NLP 机器翻译深度学习实战课程·零(基础概念)

NLP 机器翻译深度学习实战课程·壹(RNN base)

NLP 机器翻译深度学习实战课程·贰(RNN+Attention base)

NLP 机器翻译深度学习实战课程·叁(CNN base)

NLP 机器翻译深度学习实战课程·肆(Self-Attention base)

NLP 机器翻译深度学习实战课程·伍(应用部署)

本系列教程参考博客:https://me.csdn.net/chinatelecom08

1.NLP机器翻译发展现状

1.1 机器翻译现状

1.1.1 什么是机器翻译?

什么是机器翻译?

说白了就是通过计算机将一种语言转化成其他语言,就是机器翻译。

这对我们同学们而言都很熟悉了,那么机器翻译背后的理论支持到底是什么呢?而且几十年前的机器翻译和现在我们天天口中说的神经网络到底有什么区别呢?

首先我们从机器翻译历史发展的角度来对它进行大致的讲述一下,机器翻译的历史大致经历了三个阶段:

  • 基于规则的机器翻译(70 年代)
  • 基于统计的机器翻译(1990 年)
  • 基于神经网络的机器翻译(2014 年)

基于规则的机器翻译(70 年代)

基于规则的机器翻译的想法第一次出现是在70年代。科学家根据对翻译者工作的观察,试图驱使计算机同样进行翻译行为。这些翻译系统的组成部分包括:

双语词典(俄语->英文)

针对每种语言制定一套语言规则(例如,名词以特定的后缀 -heit、-keit、-ung 等结尾)

如此而已。如果有必要,系统还可以补充各种技巧性的规则,如名字、拼写纠正、以及音译词等。

感兴趣的同学可以去网上仔细查看一下相关的资料,这里就贴上一个大致的流程图,来表示基于规则的机器翻译的实现流程。

根据规则调整句子结构,然后去字典中查找对应的词片段的意思,重新组成新的句子,最后利用一些方法来对生成的句子进行语法调整。

基于统计的机器翻译( 1990 年)

在 1990 年早期,IBM 研究中心的一台机器翻译系统首次问世。它并不了解整体的规则和语言学,而是分析两种语言中的相似文本,并试图理解其中的模式。

统计模型的思路是把翻译当成机率问题。原则上是需要利用平行语料,然后逐字进行统计。例如,机器虽然不知道“知识”的英文是什么,但是在大多数的语料统计后,会发现只要有知识出现的句子,对应的英文例句就会出现“Knowledge”这个字。如此一来,即使不用人工维护词典与文法规则,也能让机器理解单词的意思。

这个概念并不新,因为最早 Warren Weave 就提出过类似的概念,只不过那时并没有足够的平行语料以及限于当时计算机的能力太弱,因此没有付诸实行。现代的统计机器翻译要从哪里去找来“现代的罗赛塔石碑”呢?最主要的来源其实是联合国,因为联合国的决议以及公告都会有各个会员国的语言版本,但除此之外,要自己制作平行语料,以现在人工翻译的成本换算一下就会知道这成本高到惊人。

现在我们自己的系统使用的 2000 万语料有一大部分是来自联合国的平行语料。

https://cms.unov.org/UNCorpus/zh#format

在 14 年之前,大家所熟悉的 Google 翻译都是基于统计机器翻译。听到这,应该大家就清楚统计翻译模型是无法成就通天塔大业的。在各位的印像中,机器翻译还只停留在“堪用”而非是“有用”的程度。

基于神经网络的机器翻译(2014 年)

神经网络并不是新东西,事实上神经网络发明已经距今 80 多年了,但是自从2006 年 Geoffrey Hinton (深度学习三尊大神之首)改善了神经网络优化过于缓慢的致命缺点后,深度学习就不断地伴随各种奇迹似的成果频繁出现在我们的生活中。在 2015 年,机器首次实现图像识别超越人类;2016 年,Alpha Go 战胜世界棋王;2017 年,语音识别超过人类速记员;2018 年,机器英文阅读理解首次超越人类。当然机器翻译这个领域也因为有了深度学习这个超级肥料而开始枝繁叶茂。

Yoshua Bengio 在 2014 年的论文中,首次奠定了深度学习技术用于机器翻译的基本架构。他主要是使用基于序列的递归神经网络( RNN ),让机器可以自动捕捉句子间的单词特征,进而能够自动书写为另一种语言的翻译结果。此文一出,Google 如获至宝。很快地,在 Google 供应充足火药以及大神的加持之下,Google 于 2016 年正式宣布将所有统计机器翻译下架,神经网络机器翻译上位,成为现代机器翻译的绝对主流。

简单介绍一下基于神经网络的机器翻译的通用框架:编码器-解码器结构。

用通俗的话来讲,编码器是将信息压缩的过程,解码器就是将信息解码回人能够理解的过程,这种过程信息的损失越少越好。

结构如下图所示:

图1 gnmt机器翻译框架

这个是 16 年谷歌发表的 gnmt 框架的结构,使用 lstm+attention 的机制实现,感兴趣的同学可以去查看论文或者百度相关的博客。

图2 transformer机器翻译框架

Transformer是谷歌在17年的一篇论文( https://arxiv.org/pdf/1706.03762.pdf )提出的具有开创性的架构,这个结构不同于之前所有的机器翻译网络结构,仅仅依靠模型的优势,就取得了state of the art的结果,优于以往任何方法的机器翻译结果。

1.1.2 相关论文

如果想更深入的了解其中的原理,还是需要阅读一些理论性的文章。如果仅仅想搭建这样一个系统,按照下一篇实践的内容,一步步的进行操作,你就可以拥有搭建基于世界上最先进模型的机器翻译系统的能力了。

这里整理了一些机器翻译中做需要的理论性介绍,包括以下一些内容:

词嵌入向量简单介绍:https://blog.csdn.net/u012052268/article/details/77170517

机器翻译相关论文:

  • Sequence to Sequence Learning with Neural Networks(2014)

(https://arxiv.org/abs/1409.3215v3)

  • Attention机制的提出(2016)

(https://arxiv.org/abs/1409.0473v7)

  • 谷歌基于attention的gnmt(2016)

(https://arxiv.org/abs/1609.08144v2)

  • 自注意力机制:transformer(2017)

(https://arxiv.org/abs/1706.03762)

1.1.3 相关会议

机器翻译最著名的顶级会议也是比赛就是 WMT,世界上所有著名的具有机器翻译引擎技术的巨头公司都在该比赛中取得过名次,该比赛从 17 年开始,所有取得前几名的队伍都是通过搭建 transformer 模型来进行优化迭代的。

其中一些队伍提出的方法和技巧,也被各个具有机器翻译技术的公司搜集整理,尝试在自己的翻译引擎中去。

原文链接:

https://blog.csdn.net/xiaosongshine/article/details/99619969

(*本文为 AI科技大本营转载文章,转载请联系作者)

本文分享自微信公众号 - AI科技大本营(rgznai100),作者:小宋是呢

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如果你还没搞懂LSTM 网络,那本文绝对值得一看

    本文作者Christopher Olah是Google Brain的研究科学家,她在文中图文并茂地解释了什么是LSTM网络,为什么要用LSTM网络,以及LSTM...

    AI科技大本营
  • 开源 | IBM、哈佛共同研发:Seq2Seq模型可视化工具

    近年来随着深度学习和神经网络技术的发展,机器翻译也取得了长足的进步。神经网络结构越来越复杂,但我们始终无法解释内部发生了什么,“黑箱问题”一直困扰着我们。我们不...

    AI科技大本营
  • 谷歌大脑深度学习从入门到精通视频课程[8.8]:稀疏编码——特征提取

    AI100 已经引入 Hugo Larochelle 教授的深度学习课程,会在公众号中推送,并且对视频中的 PPT 进行讲解。课后,我们会设计一系列的问题来巩...

    AI科技大本营
  • 百分点认知智能实验室出品:机器翻译是如何炼成的(上)

    机器翻译作为自然语言处理中最典型的应用,翻译“神器”不断面世,可以说在AI应用领域正当红。那么,机器翻译经历了怎样的开端、泡沫、被判死刑?又怎样冲破藩篱、摒弃语...

    数据猿
  • 技术界与翻译界的交锋:机器翻译离我们还有多远? | 清华AI Time

    作为自然语言处理中一项非常重要的应用,现代意义上的机器翻译概念从上世纪40年代提出至今,经过了几代革新,现已初步实现了多场景的落地和应用。而近几年随着机器翻译质...

    大数据文摘
  • 漫谈人工智能机器翻译的前世今生

    在人工智能发展进程中艾伦·麦席森·图灵,这位著名英国数学家、逻辑学家,最早提出了机器人是否会思考的概念,图灵也被誉为现代计算机科学之父和人工智能之父! 艾伦·麦...

    企鹅号小编
  • 机器翻译都 60 年了,谷歌为什么还译不对「卡顿」 (上)

    场景描述:机器翻译是自然语言处理上的一个重要应用,从他最初的诞生到现在,已经过去了 60 多年,但在一些小问题上,还是会出现令人啼笑皆非的局面。机器翻译是如何一...

    HyperAI超神经
  • 干货 | 关于机器翻译,看这一篇就够了

    俞谦,携程度假大数据研发部算法工程师,主要负责机器翻译的研究与应用,目前专注于自然语言处理在垂域下的成熟解决方案。

    携程技术
  • 浅谈神经机器翻译

    由于人类语言的流动性, 自动翻译或者机器翻译可能是最具挑战性的人工智能任务之一.20世纪90年代, 统计方法被用于完成这项任务, 取代了此前传统上的基于语法规则...

    FesonX
  • 业界 | 谷歌的神经翻译系统并不意味着机器翻译到头了

    AI科技评论按:本文是清华大学教授、中国中文信息学会副理事长孙茂松在MIFS 2016上的演讲实录,AI科技评论编辑整理。此次在北京举办的MIFS 2016是由...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券