首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

用于神经网络机器翻译的全并行文本生成

然而,到目前为止,所有基于神经网络和深度学习的文本生成模型都具有相同的,令人惊讶的人类局限性:像我们一样,他们只能逐字,甚至逐字母地生成语言。...今天Salesforce正宣布一个能够克服这个限制的神经网络机器翻译系统,以完全并行的方式一次翻译整个句子。这意味着用户等待时间降低了10倍,而翻译质量与最好的逐字翻译模型相近。...克服逐字输出限制的困难 这是现有神经网络序列模型的基本技术特性的结果:它们是自回归的,这意味着它们的解码器(产生输出文本的组件)需要使用先前输出的文本来产生其输出的下一个字。...输出句子逐字产生的,因为每个输出步骤在不知道先前产生的词的情况下不能开始。 下一个动画展示了我们模型的基本工作方式。这里编码器和解码器都可以并行工作,而不是一个字一个字。...[图片] 图3: 非自回归神经网络机器翻译使用我们的潜在派生模型。输出句子是并行生成的。 派生序列为解码器提供了一个计划或框架,使其能够并行地生成整个翻译。

1.5K00
您找到你想要的搜索结果了吗?
是的
没有找到

用于神经网络机器翻译的全并行文本生成

然而,到目前为止,所有基于神经网络和深度学习的文本生成模型都具有相同的,令人惊讶的人类局限性:像我们一样,他们只能逐字,甚至逐字母地生成语言。...今天Salesforce正宣布一个能够克服这个限制的神经网络机器翻译系统,以完全并行的方式一次翻译整个句子。这意味着用户等待时间降低了10倍,而翻译质量与最好的逐字翻译模型相近。 ?...克服逐字输出限制的困难 这是现有神经网络序列模型的基本技术特性的结果:它们是自回归的,这意味着它们的解码器(产生输出文本的组件)需要使用先前输出的文本来产生其输出的下一个字。...输出句子逐字产生的,因为每个输出步骤在不知道先前产生的词的情况下不能开始。 下一个动画展示了我们模型的基本工作方式。这里编码器和解码器都可以并行工作,而不是一个字一个字。...图3: 非自回归神经网络机器翻译使用我们的潜在派生模型。输出句子是并行生成的。 派生序列为解码器提供了一个计划或框架,使其能够并行地生成整个翻译。

89050

脸书采用无监督机器学习提供翻译服务

【概要】脸书公司开始使用无监督机器学习来为其用户提供翻译服务。...例如,完成从法语到英语的翻译需要数百万个样本句子来创建一个能够理解这两种语言的系统。因此,在缺少翻译示例时,翻译工作是非常困难的。...当前用于处理这种案例的人工智能系统结合了三个要素:逐字翻译、语言模型和反向翻译。逐字翻译的训练原理为:根据一个句子中某个字的前面五个单词和后面五个单词来推测其上下文含义,然后对该单词进行预测。...然后,使用大量数据(如书籍或其他书面文本)训练的语言模型被用于按照英语或乌尔都语使用者能够理解的结构来安排句子。最后,使用反向翻译来改进通过逐字翻译和语言模型获得的翻译结果。...Bordes称:“使用这两个系统,并在两种语言之间进行双向翻译,我可以将它们进行同时训练以获得相互促进,所以真正核心思想是使用这些词语(翻译模型),利用该语言模型做第一次翻译,然后用反向翻译的方法尝试进行改进

50940

Facebook全新无监督机器翻译法,BLUE测试提升超过10分!

通过旋转并对齐不同语言的词嵌入结构,得到词到词的翻译 用无监督反向翻译技术,训练句到句的机器翻译系统 当逐字翻译实现以后,接下来就是词组乃至句子的翻译了。...当然,逐字翻译的结果是无法直接用在句子翻译上的。...于是,Facebook的研究人员又使用了一种方法,他们训练了一个单语种语言模型,对逐字翻译系统给出的结果打分,从而尽可能排除不符合语法规则或有语病的句子。...通过使用单语模型对逐字翻译模型进行优化,就得到了一个比较原始的机器翻译系统。...虽然翻译结果不是很理想,但这个系统已经比逐字翻译的结果更好了,并且它可以将大量句子从源语言(比如乌尔都语)翻译成目标语言(比如英语)。

87120

Facebook无监督机器学习翻译突破,表现优于监督模型

当从一种语言到另一种语言的翻译示例没有很多时(例如从英语到乌尔都语),Facebook使用无监督的机器学习来翻译其平台上的内容。...例如,完成从法语到英语的翻译需要数百万个样本句子来创建一个能够理解这两种语言的系统。因此,当Facebook没有很多从一种特定语言到另一种语言的翻译示例时,翻译很困难。...现在用于这些案例的AI系统与三个要素相结合:逐字翻译,语言模型和反向翻译。 训练逐字翻译以基于从前面的五个单词和句子中的特定单词之后的五个单词绘制的上下文来预测单词。...然后,用大量数据训练的语言模型(如书籍或其他书面文本)用于排列对于英语使用者或乌尔都语说话者有意义的结构中的句子。 最后,使用反向翻译来改进使用逐字翻译和语言模型进行的翻译。...Bordes说,“使用这两个系统并在两种语言之间来回翻译,我可以将它们一起训练以试图相互改进,所以这真的是本文的核心,使用翻译模型这个词,使用语言模型做第一次翻译,然后用反向翻译的想法试图改进。”

47810

翻译们又要失业?Facebook最新无监督机器翻译成果,BLEU提升10个点!

对于从乌尔都语到英语等没有句子对的语言翻译而言,翻译系统则显得无能为力。从那时起,研究人员就开始构建无需句子对也能翻译的系统,无监督神经机器翻译(UNMT)就是其一。...arxiv.org/abs/1710.11041;https://arxiv.org/abs/1711.00043) 这意味着该模型将突破原有的神经机器翻译(NMT)需要足够大的平行语料库的限制,创造了一种可以使用单语语料库进行训练的翻译模型...▌逐字翻译 让系统学习双语词典,将一个单词与其他语言的合理翻译联系起来,即系统学习每种语言中的单词嵌入。 训练嵌入词以预测跟给定上下文中单词近似的单词,可以发现很多有趣的语义结构。...鉴于这些相似之处,研究人员建议使用对抗训练,以推导出一个相当准确的双语词典,无需访问任何平行文本,便可实现逐字翻译。...▌句子修正 不过,研究人员还是建议无监督的方式进行逐字翻译,也有可能造成单词丢失,或无序甚至是错误。所以,接下来,需要在已知大量单词数据的基础上进行编辑,对不流畅或不符合语法结构的句子进行修正。

1.1K40

用于自然语言处理的BERT-双向Transformers的直观解释

您将听到的英语句子中的每个单词,跟据你的知识,从英语翻译成印地语。这与编码器-解码器中使用的概念相同。 ?...您现在可以翻译简短的句子,但是要翻译较长的句子,则需要注意句子中的某些单词以更好地理解上下文。这是通过在编码器-解码器模型中添加注意力机制来完成的。...注意力机制使您注意句子中特定的词,以便更好地翻译,但仍然可以逐字逐句地阅读句子。 ? 您现在擅长翻译,并希望提高翻译的速度和准确性。您需要某种并行处理,并了解上下文以理解长期依赖关系。...序列"是指BERT的输入序列,可以是一个句子或两个句子一起 输入序列 每个序列的第一个标记始终是唯一的分类标记[CLS]。成对的句子被打包成单个序列,并使用特殊标记[SEP]分隔。...当我们有两个句子A和B时,时间B的50%是紧随A并标记为IsNext的实际下一个句子,还有50%的时间是从语料库标记为NotNext的随机句子

1.1K20

Facebook最新对抗学习研究:无需平行语料库完成无监督机器翻译

(2)该模型还学习了在目标域中对同一句子进行有噪的翻译时重构任何源语句,反之亦然。对于(2),翻译的句子通过使用回译程序获得,即通过使用学习模型将源句子翻译成目标域来获得翻译后的句子。...除了这些重构目标之外,我们还使用对抗正则化术语将源句子和目标句子的潜在表示限制为相同的分布,由此模型试图欺骗鉴别器,该鉴别器被同时训练以识别给定的潜在句子表示的语言。...为了保持我们的方法完全无监督,我们初始化我们的算法,通过使用一个基于从同一单语数据衍生出双语词汇的句子逐字翻译的无监督翻译模型。...结论 我们提出了一种新的神经机器翻译方法,其中翻译模型仅使用单语言数据集学习,句子或文档之间没有任何对齐。...这个方法的原理是从一个简单的无监督逐字翻译模型开始,并基于重构损失迭代地改进这个模型,并且使用鉴别器来对齐源语言和目标语言的潜在分布。

90350

请收好这份NLP热门词汇解读:预训练、Transformer、无监督机器翻译

具体而言,BERT使用Transformer的编码器作为语言模型,并在语言模型训练时提出了两个新的目标:MLM(Masked Language Model)和句子预测。...为了让模型能够学习到句子间关系,研究人员提出了让模型对即将出现的句子进行预测:对连续句子的正误进行二元分类,再对其取和求似然。 ?...基于这些信息,就可以得到一个相对准确的双语词典,并基本可以实现逐字翻译。在得到语言模型和初始的逐字翻译模型之后,就可以构建翻译系统的早期版本。...随着一个系统得到改进,可以使用它以迭代方式在相反方向上为系统生成训练数据,并根据需要进行多次迭代。 逐字嵌入初始化、语言建模和反向翻译是无监督机器翻译的三个重要原则。...将基于这些原理得到的翻译系统应用于无监督的神经模型和基于计数的统计模型,从训练好的神经模型开始,使用基于短语模型的其它反向翻译句子对其进行训练,最终得到了一个既流畅,准确率又高的模型。

61020

请收下这份 NLP 热门词汇解读

具体而言,BERT使用Transformer的编码器作为语言模型,并在语言模型训练时提出了两个新的目标:MLM(Masked Language Model)和句子预测。...为了让模型能够学习到句子间关系,研究人员提出了让模型对即将出现的句子进行预测:对连续句子的正误进行二元分类,再对其取和求似然。 ?...基于这些信息,就可以得到一个相对准确的双语词典,并基本可以实现逐字翻译。在得到语言模型和初始的逐字翻译模型之后,就可以构建翻译系统的早期版本。...随着一个系统得到改进,可以使用它以迭代方式在相反方向上为系统生成训练数据,并根据需要进行多次迭代。 逐字嵌入初始化、语言建模和反向翻译是无监督机器翻译的三个重要原则。...将基于这些原理得到的翻译系统应用于无监督的神经模型和基于计数的统计模型,从训练好的神经模型开始,使用基于短语模型的其它反向翻译句子对其进行训练,最终得到了一个既流畅,准确率又高的模型。

57230

JavaScript基本词法

句法定义了 JavaScript的基本运算逻辑和程序结构,包括短语、句子和代码段的基本规则,如表达式、语句和程序结构等。 区分大小写 JavaScript 严格区分大小写。...除了第一个字符外,其他位置可以使用 Unicode 字符。一般建议仅使用 ASCII 编码的字母,不建议使用双字节的字符。 不能与 JavaScript 关键字、保留字重名。...在 JavaScript 中,分隔符不被解析,主要用来分隔各种记号,如标识符、关键字、直接量等信息。 在 JavaScript 脚本中,常用分隔符来格式化代码,以方便阅读。...分隔使用时需要注意以下几点: 分隔符虽然无实际意义,但是在脚本中却不能缺少。如果在标识符与关键字之间不使用分隔分隔JavaScript 就会抛出异常。...不能在标识符、关键字等内部使用分隔符。 示例4 在下面函数中使用空格把 toString() 分为两部分,JavaScript 会因无法识别而抛出异常。

17220

你可能不知道的字符串分割技巧

/); // ['Hello', ' How are you', ''] 使用 split() 会丢失定义的分隔符,并在所有地方包含这些空格。而且因为它依赖于硬编码的分隔符,所以对语言不敏感。...我不懂日语,但你会如何尝试将下面的字符串分割成单词或句子? // I am a cat. My name is Tanuki. '吾輩は猫である。名前はたぬき。'...普通的字符串方法在这里是没有用的,但是Intl JavaScript API 确能解决这个问题。...Intl.Segmenter 来救场 Intl.Segmenter 是一个 JavaScript 对象,用于对文本进行区域设置敏感的分段。它可以帮助我们从字符串中提取有意义的项目,如单词、句子或字形。...它可以是 "grapheme"(字形)、"word"(单词)或 "sentence"(句子)之一。

84420

LaserTagger: 文本生成任务的序列标注解决方案

值得一提的是,论文中的实验表明LaserTagger使用几千条训练数据就可以达到seq2seq模型使用几万条训练数据的性能。这对于实际项目的应用是个非常好的消息。...想解决的问题 序列到序列 (seq2seq) 模型是目前多种文本生成任务的首选,特别是结合预训练语言模型的使用,大大提升了文本生成的质量。...逐字预测,推断速度慢 seq2seq模型需要逐字地生成文本,后一个字的预测依赖前一个字的预测结果,推断速度较慢。在需要高度实时性的应用场景,很难符合要求。...这样就成功地将两句句子合并成一句。 ? LaserTagger在句子融合任务中的应用 有限词组集的选择 ADD标签能够添加的所有词组组成一个有限的词组集。...Seq2SeqBERT使用和LaserTagger一样的初始化方法和各种细节,保证LaserTagger方法和seq2seq方法的公平比较。

1.8K10
领券