跨语言嵌入模型通常使用以下四种不同的方法： 单语映射：这些模型最初在大量语语料库中训练单语言嵌入。然后，他们学习不同语言的单语表达之间的线性映射，使他们能够将未知单词从源语言映射到目标语言。...为了达到这个目的，他们翻译源语言中最常用的5000个单词，并将这5000个翻译对用作双语词典。...为此，他们提出在训练期间将单词向量归一化为单位长度，这使得内积与余弦相似性相同，并将所有单词向量放置在超球面上作为副作用，如图5所示。...他们计算源语言中的每个单词与平行语料库中的目标语言中的每个单词对齐的次数，并将这些计数存储在对齐矩阵 .为了投射一个词 从源代表 到它在目标嵌入空间 在目标嵌入空间中，他们只是取平均值的翻译...双语跳读 Luong等人 将跳跃词扩展到跨语言环境，并使用跳跃词目标作为单语和跨语言目标。与其仅仅预测源语言中的周围词语，他们使用源语言中的词语来额外地预测其在目标语言中的对齐词语，如图13所示。
这样我们就可以在系统的训练过程中，为其提供反馈，也就是提供一种可能的改变来提升翻译质量，使分数越来越接近目标分数，观察它们在同一个任务上的分数表现，将所训练的系统进行对比。...在 “I ate” 例子中，输出语句为两个单词的长度，最接近的参考语句有四个词长度。这给了我们 0.36 的惩罚因子，当我们的 bi-gram 精度得分为 1 时，我们将最终得分降到了 0.36。...作为机器翻译系统的终端用户，我可以接受前两个句子。虽然它们和参考翻译不完全相同，但它们理解的意思是对的。然而，第三句是完全无法接受的，它完全改变了原文的意思。...我不是伟大的语法学家，但我知道在自然语言中存在很多重要的内部语法结构，如果你打乱句子中的单词顺序，你可能会得到一堆毫无意义的单词或具有完全不同含义的语句。...TERp（即 TER-plus），是 TER 的扩展，它也同样考虑了释义、词干和同义词。 hLEPOR，是一种旨在更好地适用于形态复杂语种（如土耳其语或捷克语）的度量指标。
LASER 将所有语言共同嵌入到一个共享空间中（而不是为每种语言建立一个单独的模型），从而实现这样的结果。一起开源的还包括涵盖 100 多种语言的多语言测试集。...句子编码器是在 PyTorch 中实现的，只需要很少的外部依赖。 资源有限的语言可以从多个语言的联合训练中受益。 该模型支持在一个句子中使用多种语言。...这使得句子表征可以互相比较，并将它们直接输入分类器。 ? 上图说明了 LASER 的架构。 这些句子嵌入通过线性变换初始化解码器 LSTM，并且还在每个时间步和其输入嵌入拼接。...在 14 种目标语言中，模型在 8 种语言上的零数据表现是在应用于英语时性能的 5% 上下区间。这 8 种语言包括与英语亲属关系远的俄语、汉语、越南语等。...以前的方法只会考虑同一语言中的前提和假设。 该句子编码器也可被用于挖掘大型单语言文本集合中的平行数据。Facebook 研究者只需要计算所有语言对之间的距离，并选择最近的一对。
从在搜索引擎中返回相关结果，到自动完成您在电子邮件中输入的下一个单词，从自然语言中提取见解的好处显而易见。...在此示例中，我们将创建一个基本的词袋分类器，以对给定句子的语言进行分类。 设置分类器 在此示例中，我们将选择西班牙语和英语的句子： 首先，我们将每个句子拆分成一个单词列表，并将每个句子的语言作为标签。...分词 接下来，我们将学习 NLP 的分词化，这是一种预处理文本的方式，可以输入到模型中。 分词将我们的句子分成较小的部分。 这可能涉及将一个句子拆分成单个单词，或者将整个文档分解成单个句子。...在自然语言中，不同的单词在句子中可以具有不同的功能。 考虑以下： The big dog is sleeping on the bed 我们可以根据句子中每个单词的功能来“标记”此文本的各个单词。...在这种情况下，最好从输入文本中删除任何长整数。 词干提取和词形还原 在语言中，变体是如何通过修改共同的词根来表达不同的语法类别（如时态，语气或性别）的。
最简单的方法是使用目标语言中对应的词替换要翻译的句子中的每个词。下面是一个西班牙语到英语的逐词翻译的简单例子： ? 我们只是简单地将每个西班牙语词用对应的英语词替换了。...比如说，也许需要将常见的 2 词短语作为单个词组进行翻译。另外你也许还要交换名词和形容词的顺序，因为它们在西班牙语中的顺序和在英语中的是相反的： ? 这种方法有用！...编码（Encodings） 另一个需要回顾的是编码，我们在 Part 4 中的脸部识别中讨论过。要解释编码，让我们先绕道看看如何用一台计算机来分辨两个人。...我们知道了如何使用一个 RNN 将一个句子编码为一系列独特的数字，这对我们有什么帮助？这里事情才开始变得有趣！ 如果我们采用两个 RNN 并将它们端到端的连接起来会怎样？...但如果我们能够训练第二个 RNN 将原英语解码成西班牙语会怎样呢？我们可以使用平行语料库训练数据对它们进行训练： ? 就像这样，我们有了一个将英语词序列转换为对应的西班牙语的通用方法。
但幸运的是，许多语言共享大量的基础结构。比如在词汇层面上，语言通常具有源自同一来源的单词，例如，英语中的“desk”和德语中的“Tisch”都来自拉丁语“disus”。...其中包括一些未被充分研究的语言，例如在印度南部、斯里兰卡和新加坡使用的达罗毗荼语系语言泰米尔语，主要在印度南部使用的泰卢固语和马拉雅拉姆语，以及在非洲使用的尼日尔-刚果语系斯瓦希里语和约鲁巴语。...Xtreme的9项任务涵盖了一系列基本范式，包括句子分类（即将一个句子分配给一个或多个类）和结构化预测(预测实体和词类等对象) ，以及句子检索（对一组记录进行查询匹配）和高效的问答。 ?...在Xtreme初步实验中，谷歌的一个研究团队发现，即使是最先进的多语言模型，如BERT、XLM、XLM-r和M4，也都没有达到预期水平。...其中，BERT对西班牙语的准确率为86.9/100，日语则只有49.2/100，要转换成非拉丁文字也十分困难，而所有的模型都很难预测到在英语训练数据中没有看到的远方语言的实体，比如，在印度尼西亚语和斯瓦希里语上的准确率分别为
它们目前在该任务中是最优的，而且切实可行，连 Google Translate 都在使用。机器翻译需要语句级别的平行数据来训练模型，即对于源语言中的每个句子，目标语言中都有对应的译文。...在该任务中，所需的唯一数据是两种语言中每种语言的任意语料库，如英语小说 vs. 西班牙语小说。注意两部小说未必一样。 也就是说，作者发现如何学习两种语言之间共同潜在空间（latent space）。...潜在空间捕捉数据特征（在机器翻译中，数据是句子）。如果可以学习对语言 A 和语言 B 馈送的输入输出相同特征的空间，那么就可以实现这两种语言之间的翻译。...可以将其视为多标签分类问题，其中输入中的第 i 个 token 和输出中的第 i 个 token 对比。一个 token 就是一个单元，不能再继续分解。在机器翻译中，一个单词就是一个 token。...一种是，以 P_wd 的概率从输入中删除一个单词；另一种是，每个单词以下式中的约束从初始位置偏移： ? 这里，σ是第 i 个 token 偏移后的位置。
典型的 MT 系统需要为每种语言和每种任务构建单独的 AI 模型，但这种方法无法在 Facebook 上进行有效推广，因为人们在数十亿个帖子中发布超过 160 种语言的内容。...桥梁语言策略 接着，研究者提出了一种新的桥梁挖掘（bridge mining）策略，其中按照语言分类、地域和文化相似性将 100 种语言分成了 14 个语系。...这样做是因为，同一个语系中的人（包含多种语言）往往交流更频繁，并将从高质量翻译中收益。举例而言，一个语系中将涵盖印度境内使用的孟加拉语、印地语、马拉地语、尼泊尔语、泰米尔语和乌尔都语等多种语言。...如上述印度境内所使用的语言中，印地语、孟加拉语和泰米尔语是雅利安语的桥梁语言。然后，研究者挖掘这些桥梁语言所有可能组合的并行训练数据。...研究者发现，反向翻译策略在大规模语言转换中特别有效，比如将亿万个单语句子转换为并行数据集。 具体而言，研究者使用反向翻译策略作为已经挖掘语言对方向训练的补充，将合成反向翻译数据添加到挖掘的并行数据中。
“在文本中寻找电话号码和邮政地址是一个难题，”Google AI的软件工程师Lukas Zilka在一篇博文中写道，“不仅人们如何编写它们有很多变化，而且代表什么类型的实体也常常不明确（例如’确认号码：...这两个网络都对第三个模型生成的数据进行了训练，这些数据从网络中抓取电话号码、地址、产品、位置和业务名称，并向它们添加随机的文本上下文和短语（例如，确认号和ID）。...以下是整个过程的工作原理：要分析的文本被分成单词，从这些单词中，生成特定最大长度的所有可能子序列。...在机器学习中，这是通过将这些部分表示为单独的特征来完成的，实际上，输入文本被分成几个部分，分别馈送到网络。” 为此，将单词转换为字符n-gram，这种技术将它们表示为一定长度的所有字符子序列的集合。...在实践中，鉴于句子“John应该在星期二打电话1-800-944-9494”，Smart Linkify将（1）将“John应该打电话”与“1-800-944-9494”分开，（2）将“John”分类应将
该工具包现在可应用于使用 28 种不同的字符串编写的 90 多种语言也就是说，它将所有语言一同嵌入到一个独立的共享空间中（而不是为每一种语言都创建一个单独的模型），从而实现在 90 多种语言中的应用。...这使得研究人员可以比较句子表示并将它们直接输入到分类器中。 ? 这张图展示了 LASER 的架构。 这些句子嵌入通过线性变换对解码器 LSTM 进行初始化，并在每个时间步连接到它的输入嵌入上。...Facebook 在与英语和西班牙语对齐的公共平行数据中的 2.23 亿个句子上训练他们的系统，对于每个小批量，他们都随机选择一种输入语言，并训练系统将句子翻译成英语或者西班牙语。...这使得研究人员能够基于最终句子嵌入，仅使用英文标注数据就学习一个分类器，并且在不做任何修改的情况下将该分类器迁移到 93 种语言中的任意一种中。...最后，研究人员引入了一个基于 Tatoeba 语料库创建的包含 122 种语言的对齐句子的新测试集，并证明此项研究中的句子嵌入在多语言相似性搜索中取得了非常出色的结果，即使是在低资源的语言中也是如此。
我们使用的另一种方法是收集大量英语数据来训练英语分类器，然后如果需要分类另一种语言的文本（如土耳其语），则将土耳其语文本翻译成英语，然后将译文发送给英语分类器。 但是，该方法也有一些缺陷。...词嵌入具有非常好的属性，它们非常易于操作，并且相似意义的词汇在向量空间中彼此距离很近。一般而言，词嵌入是针对特定语言的，每种语言的词嵌入需要单独训练，且存在于完全不同的向量空间。...例如，土耳其语中的「futbol」和英语中的「scoccer」在嵌入空间中距离非常近，因为它们在不同语言中代表着相同的意思。...为了实现跨语言文本分类任务，我们可以使用这些多语言词嵌入作为文本分类模型的基本表征。由于新语言中的单词在嵌入空间中与已训练语言的单词相近，所以分类器也能在新语言上执行良好。...然后我们利用词典将所有嵌入空间投影到共同空间（英语）。词典从平行数据（即由两种不同语言的意义相同的句子对构成的数据集）中自动导出，平行数据也用于训练翻译系统。 我们利用矩阵将嵌入投影到共同空间。
词嵌入具有非常好的属性，它们非常易于操作，并且相似意义的词汇在向量空间中彼此距离很近。一般而言，词嵌入是针对特定语言的，每种语言的词嵌入需要单独训练，且存在于完全不同的向量空间。 ?...例如，土耳其语中的「futbol」和英语中的「scoccer」在嵌入空间中距离非常近，因为它们在不同语言中代表着相同的意思。 ?...为了实现跨语言文本分类任务，我们可以使用这些多语言词嵌入作为文本分类模型的基本表征。由于新语言中的单词在嵌入空间中与已训练语言的单词相近，所以分类器也能在新语言上执行良好。...然后我们利用词典将所有嵌入空间投影到共同空间（英语）。词典从平行数据（即由两种不同语言的意义相同的句子对构成的数据集）中自动导出，平行数据也用于训练翻译系统。 我们利用矩阵将嵌入投影到共同空间。...DeepText 包含多种将词嵌入作为基本表征的分类算法。我们在 DeepText 中将多语言词嵌入作为基本表征来训练多语言模型，并将词嵌入「固定」，或在训练过程中保持其不变。
例如，要将一个句子从英语翻译成意大利语，使用这种类型的网络，将要翻译的句子的第一个单词与初始状态一起传递到编码器，然后将下一个状态与该句子的第二个单词一起传递到第二个编码器，依此类推直到最后一个单词。...在进行注意力计算之前，表示单词的向量与基于正弦和余弦的位置编码机制相结合，该机制将单词在句子中的位置信息嵌入向量中。...这一点非常重要，因为我们知道，在任何语言中，单词在句子中的位置都是非常相关的，如果我们想做出正确的评价，这是绝对不能丢失的信息。...例如，如果我们假设我们已经翻译了前两个单词，并且我们想用意大利语预测句子的第三个单词，我们将把前两个翻译的单词传给解码器。将对这些单词执行位置编码和多头部注意，结果将与编码器结果相结合。...他们的建议是将图像的每一个单独的patch（pxp），它们本身就是3个RGB通道上的图像，并将其转换成一个c通道张量。然后将这个张量分成p'部分，其中p'<p，在示例p'=4中。
深度网络的优势之一就是机器翻译，甚至谷歌翻译现在也在使用它们。在机器翻译中，需要句子水平的并行数据来训练模型，也就是说，对于源语言中的每句话，都需要在目标语言中使用翻译的语言。...它可以被认为是一个多标签分类，在输入中的第i个令牌与输出中的第i个令牌进行比较。令牌是一个不能进一步被破坏的单一单元。在我们的例子中，它是一个单词。...它接收输入句子，并且输出这个句子的噪声版本。 有两种不同的方法来添加噪声。首先，可以简单地从输入中删除一个单词，并使用一个P_wd的概率。第二，每个单词都可以从原来的位置改变。 ?...训练的循环过程: 1.使用语言A的编码器和语言B的解码器来获得翻译 2.训练每一个自动编码器，以使一个未被破坏的句子重新生成一个被损坏的句子 3.通过对步骤1中获得的翻译进行破坏来改进译文，并重新创建它...在这个步骤中，语言A的编码器和语言B的解码器是一起训练的(同时也是语言B的编码器和语言A的解码器)。 注意，尽管步骤2和3是单独列出的，但是它们的权重都被更新了。
频率较高的词是比较普通的词，如the，is，an，它不会显著改变句子的意思。因此，适当地权衡单词以反映它们对一个句子的意义有足够的影响。 嵌入矩阵 嵌入矩阵是一种表示词汇表中每个单词的嵌入的方法。...行表示单词嵌入空间的维度，列表示词汇表中的单词。 为了将一个样本转换成它的嵌入形式，将其独热编码形式中的每个单词乘以嵌入矩阵，为样本提供单词嵌入。 ?...循环神经网络（RNN） 递归神经网络简称RNN，是神经网络的重要变体，在自然语言处理中得到了广泛的应用。...从概念上讲，它们与标准神经网络不同，因为RNN中的标准输入是一个单词，而不是标准神经网络中的整个样本。这使得网络能够灵活地处理不同长度的句子，而标准的神经网络由于其固定的结构而无法做到这一点。...RNN将句子中的每个单词视为时间“t”发生的单独输入，并使用“t-1”处的激活值，作为时间“t”处输入之外的输入。下图显示了RNN体系结构的详细结构。
神经网络的最新进展如RNN和LSTM允许处理长句，显着提高语言模型的准确性。 马尔可夫链 马尔可夫链是最早用于语言生成的算法之一。 它通过使用当前单词来预测句子中的下一个单词。...马尔可夫链考虑每个独特单词之间的关系来计算下一个单词的概率。 它们在早期版本的智能手机键盘中使用，为句子中的下一个单词生成建议。 ?...选择具有最高概率的单词并将其存储在存储器中，然后模型继续进行下一次迭代。 ? RNN受到梯度消失的限制。 随着序列的长度增加，RNN不能存储在句子中远处遇到的单词，并且仅基于最近的单词进行预测。...“为了正确预测下一个单词为”西班牙语“，该模型在前面的句子中侧重于”西班牙“一词，并使用单元格的记忆”记住“它。该信息在处理序列时由单元存储，然后在预测下一个字时使用。...自我关注允许模型选择性地关注每个单词的句子的不同部分，而不是仅仅记住循环块（在RNN和LSTM中）的一些特征，这些特征通常不会用于几个块。这有助于模型回忆起前一句的更多特征，并导致更准确和连贯的预测。
-欢迎 该项目包含使用使用 IKVM.NET 将 Stanford NLP.jar 软件包重新编译到.NET 中的构建脚本，这些软件经过测试可以有效工作，该工具包的介绍网站是：https://sergey-tihon.github.io...它根据短语和单词之间的联系来标记句子的结构，并可指出哪个名词短语指向相同实体。 Stanford CoreNLP 是一个集成框架，可以让你轻松使用语言分析工具来分析一段文字。...3.Stanford.NLP.Parser：它适用于处理句子之中的语法结构。例如，哪些单词是聚合在一起的（作为短语）哪些单词是主题或对象动词。...概率解析器使用手工标记的句子中获得知识，试图对新句子产生有意义的分析。这些基于统计的解析器虽然仍然可能产生错误，但通常工作得很好。它们的发展是 20 世纪 90 年代自然语言处理领域的最大突破之一。...同时，该软件也可以简单地用作准确的无索引随机上下文无关语法解析器。两者都可以作为性能良好的统计解析系统使用。在解析器中，有一个 GUI（Java）可用于查看解析器的短语结构树输出。
RNN作为示例，并将LSTM作为一个循环单元。...在高层水平上，NMT模型由两个循环神经网络组成：编码器RNN简单地处理输入的源词汇，不进行任何预测; 另一方面，解码器RNN在预测下一个单词的同时处理目标句子。...图2：神经机器翻译——将源句子“I am a student”翻译成目标句子“Je suisétudiant”，这是一个深度循环架构的例子。...对于训练过程，我们将为系统提供以下张量，它们是time-major的格式，包含单词索引： encoder_inputs [max_encoder_time, batch_size]: 源输入单词 decoder_inputs...我们选择最有可能的单词，即与最大logit值相关联的id作为输出的单词（这就是“greedy”行为）。例如在图3中，在第一个解码步骤中，单词“moi”具有最高的翻译概率。
在多个关键词中插入空格，比如你想搜一篇机器学习在医学上应用的论文，那么你就会在搜索框中输入“机器学习 医学”。 即使我们掌握了搜索引擎的使用技巧，有时候并不能返回最佳的查询结果。 ?...因此应该做到无论如何拼写或组合查询中的单词，都要弄清楚用户搜索的内容，并从网络上返回有用的信息。 这些年来，尽管谷歌在NLP领域取得了很多重大突破，但有时做得还不够好，尤其是在复杂或对话式查询中。...在引入BERT后，谷歌就能掌握这一细微差别，并且知道单词“ to”在这里实际上很重要，并且为该查询提供更相关的结果。 ?...这项突破是谷歌研究Transformer的结果：Transformer模型可处理与句子中与单词之间的关联，而不是一个接一个地单独处理单词。...因此，谷歌可以采用从大量英语中学习的模型，并将其应用于其他语言。 谷歌正在使用BERT模型来改进20多个国家或地区的搜索引擎，其中包括使用韩语、印地语和葡萄牙语等语言的地方。
AI 科技评论按：在自然语言处理任务中，循环神经网络是一种常见的方法，但近来，一种只依赖于注意力机制的特定神经网络模型已被证明它对于常见的自然语言处理任务的效果甚至优于循环神经网络模型，这个模型被称为变换器...序列到序列（Seq2Seq）是一种神经网络，它将给定的元素序列（例如句子中的单词序列）转换为另一个序列。 Seq2Seq 模型很适用于翻译，它可以将一种语言的单词序列转换为另一种语言中的单词序列。...这是由于我们没有可以存储序列如何被输入模型的循环网络，而序列由其元素顺序决定，所以我们需要以某种方式给出序列中每个单词/部分的相对位置。这些位置被添加到每个单词的嵌入表示（n 维向量）中。...在后文中，我们将看到这种方法对于推断结果有何用处。 对于 Seq2Seq 模型和变换器，我们都做相同的处理。...该元素将被填充到我们的解码器输入序列的第二个位置，该序列现在具有句子的开头标记和其中的第一个字（字符）。 将编码器序列和新的解码器序列输入到模型中，取输出的第二个元素并将其放入解码器输入序列。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
