专栏首页ATYUN订阅号神经机器翻译与代码(上)

神经机器翻译与代码(上)

编辑 | sunlei 发布 | ATYUN订阅号

本文中蓝色字体为外部链接,部分外部链接无法从文章中直接跳转,请点击【阅读原文】以访问。

目录

机器翻译

统计机器翻译

神经机器翻译

编码器

解码器

注意机制

训练

为翻译德语短语英译的Keras完整代码

机器翻译

机器翻译是将一种语言的源文本自动转换成另一种语言的文本的任务。

在机器翻译任务中,输入已经由某种语言中的符号序列组成,计算机程序必须将其转换成另一种语言中的符号序列。

给定源语言中的文本序列,就没有将该文本翻译成另一种语言的最佳方法。这是因为人类语言天生的模糊性和灵活性。这使得自动机器翻译的挑战变得困难,也许是人工智能中最困难的挑战之一:

事实是,准确的翻译需要背景知识,以解决歧义和建立句子的内容。

经典的机器翻译方法通常涉及将源语言中的文本转换为目标语言的规则。这些规则通常是由语言学家开发的,可以在词汇、句法或语义层面进行操作。对规则的关注为这一研究领域命名:基于规则的机器翻译,简称RBMT。

RBMT的特点是明确使用和手动创建语言规则和表示。

经典的机器翻译方法的主要局限性既有开发规则所需的专业知识,也有大量的规则和例外。

统计机器翻译

统计机器翻译(Statistical machine translation,简称SMT)是使用统计模型,学习将文本从源语言翻译成目标语言,给出大量实例的语料库。

使用统计模型的这一任务可以正式表述如下:

给定目标语中的一个句子T,我们从句子中求出译者所产生的句子S。我们知道,通过选择给定T中可能性最大的句子S,我们的出错几率会降到最低。因此,我们希望选择S,以最大化Pr(S|T)。

神经机器翻译

神经机器翻译,简称NMT,是利用神经网络模型来学习机器翻译的统计模型。

这种方法的主要好处是,可以直接对单个系统进行源文本和目标文本的培训,不再需要统计机器学习中使用的专门系统的流水线。

与传统的基于短语的翻译系统不同,基于短语的翻译系统由许多单独调整的小的子组件组成,神经机器翻译试图建立和训练一个单一的、大的神经网络,它可以读取一个句子并输出正确的翻译。

——联合学习对齐和翻译的神经机器翻译,2014

因此,神经机器翻译系统被称为端到端系统,因为翻译只需要一个模型。

NMT的优点在于它能够以端到端方式直接学习从输入文本到相关输出文本的映射。

事实上,准确的翻译需要背景知识,以解决歧义和建立句子的内容。

——谷歌的神经机器翻译系统:弥补人与机器翻译之间的鸿沟,2016

编码器

编码器的任务是提供输入语句的表示形式。输入句子是一个单词序列,我们首先参考嵌入矩阵。然后,和前面描述的基本语言模型一样,我们使用递归神经网络处理这些单词。这就产生了用每个单词的左上下文编码的隐藏状态,即,前面所有的单词。为了得到正确的上下文,我们还构建了一个从右到左的递归神经网络,或者更准确地说,从句子的结尾到开头。具有两个向两个方向运行的递归神经网络称为双向递归神经网络。

解码器

解码器是一个递归神经网络。它对输入上下文和先前的隐藏状态和输出单词预测进行某种表示,并生成新的隐藏解码器状态和新的输出单词预测。

如果我们使用LSTMs作为编码器,那么我们也使用LSTMs作为解码器,作为隐藏的状态。我们现在预测输出单词。这种预测以概率分布的形式出现在整个输出词汇表中。如果我们有一个50000字的词汇表,那么预测是一个50000维向量,每个元素对应于词汇表中一个字的预测概率。

注意机制

我们目前有两个未解决的问题。解码器给我们一个单词表示序列hj =(←- hj,−→hj),解码器期望每一步i有一个上下文ci。我们现在描述将这些末端连接在一起的注意机制。使用典型的神经网络图很难将注意力机制可视化,但图至少给出了输入和输出关系的概念。该注意机制由所有输入字表示(←- hj,−→hj)和解码器si−1的前一隐藏状态通知,并产生上下文状态ci。这样做的动机是,我们希望计算解码器状态(其中包含我们在输出语句生产中的位置信息)和每个输入单词之间的关联。基于这种关联有多强,或者换句话说,每个特定的输入单词与产生下一个输出单词有多相关,我们想要衡量它的单词表示的影响根据这种关联的强度,或者换句话说,每个特定的输入单词与生成下一个输出单词之间的关联程度,我们希望权衡其单词表示的影响。

训练

有了完整的模型在手,我们现在可以更仔细地查看训练。一个挑战是,解码器中的步骤数和编码器中的步骤数随着每个训练示例的不同而不同。句子对由不同长度的句子组成,因此我们不能为每个训练示例创建相同的计算图,而是必须为每个训练示例动态创建计算图。这种技术被称为展开递归神经网络,我们已经在语言模型中讨论过了。

神经机器翻译模型的实际训练要求gpu很好地适应这些深度学习模型所固有的高度并行性(只要考虑许多矩阵乘法)。为了进一步增加并行度,我们一次处理几个句子对(比如100个)。这意味着我们增加了所有状态张量的维数。举个例子。我们用向量hj表示特定句子对中的每个输入词。因为我们已经有了一个输入单词的序列,这些单词被排列在一个矩阵中。当我们处理一批句子对时,我们再次把这些矩阵排列成一个三维张量。同样,再举一个例子,解码器的隐藏状态si是每个输出字的向量。因为我们处理了一批句子,所以我们将它们的隐藏状态排列成一个矩阵。注意,在这种情况下,将所有输出单词的状态排列起来是没有帮助的,因为状态是按顺序计算的。

综上所述,训练包括以下步骤:洗牌培训语料库(以避免由于时间或局部顺序造成的过度偏差)•语料库的分解成maxi-batches•每个maxi-batch分解成每个mini-batch mini-batches•过程,收集梯度•所有渐变申请maxi-batch更新参数通常,训练神经机器翻译模型大约需要5 – 15时代(穿过整个训练语料库)。一种常见的停止标准是检查验证集(不属于训练数据的一部分)上模型的进度,并在验证集上的错误没有改进时停止。训练时间过长不会导致任何进一步的改善,甚至可能由于过度拟合而降低性能。

原文链接:

https://medium.com/@umerfarooq_26378/neural-machine-translation-with-code-68c425044bbd

本文分享自微信公众号 - ATYUN订阅号(atyun_com),作者:关注人工智能的

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-12-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 微软宣布在中英文机器翻译方面取得重大突破

    AiTechYun 编辑:nanan 微软本周三宣布,他们已经创造出了第一台机器翻译系统,能够以与人一样的准确度将新闻稿件从中文翻译成英文。该公司表示,他们对该...

    AiTechYun
  • Nature:不用开口说话,AI直接将大脑信号转译成言语

    成千上万的人因事故或疾病导致言语能力丧失,与他人交流陷入困难。为了给不能说话的人提供便利,神经科学家设计了一种可以将大脑信号转换为语音的系统,每分钟可产生约15...

    AiTechYun
  • RNN示例项目:详解使用RNN撰写专利摘要

    我第一次尝试研究RNN时,我试图先学习LSTM和GRU之类的理论。在看了几天线性代数方程之后(头疼的要死),我在Python深度学习中发生了以下这段话:

    AiTechYun
  • MongoDB最简单的入门教程之一 环境搭建

    MongoDB是近年来非常流行的一个介于关系数据库和非关系数据库之间的解决方案,特别广泛地应用于国内很多互联网公司,是非关系数据库当中功能最丰富,最像关系数据库...

    Jerry Wang
  • 【案例】jQuery圆角修边导航菜单代码

    以上就是给同学们分享的jQuery圆角修边导航菜单代码的教学视频~聪明的你学会了吗?(想要观看清晰视频点击阅读原文)

    用户1730674
  • iOS开发之使用XMPPFramework实现即时通信(三)

      你看今天是(三)对吧,前面肯定有(一)和(二),在发表完iOS开发之使用XMPPFramework实现即时通信(一)和iOS开发之使用XMPPFramewo...

    lizelu
  • Kubernetes Webhook 模式

    启动引导令牌是一种简单的 bearer token ,这种令牌是在新建集群或者在现有集群中添加新加新节点时使用的。 它被设计成能支持 kubeadm,但是也可以...

    kubernetes中文社区
  • 高并发后端设计-限流篇

    系统在设计之初就会有一个预估容量,长时间超过系统能承受的TPS/QPS阈值,系统可能会被压垮,最终导致整个服务不够用。为了避免这种情况,我们就需要对接口请求进行...

    Java高级架构
  • 为什么不建议使用Date,而是使用Java8新的时间和日期API?

    在Java 8之前,所有关于时间和日期的API都存在各种使用方面的缺陷,因此建议使用新的时间和日期API,分别从旧的时间和日期的API的缺点以及解决方法、Jav...

    武培轩
  • 为什么建议使用你 LocalDateTime ,而不是 Date?

    来源:juejin.im/post/5d7787625188252388753eae

    用户1516716

扫码关注云+社区

领取腾讯云代金券