作者：Yinfei Yang 机器之心编译 参与：Pedro、蒋思源 近年来，基于神经网络的自然语言理解研究取得了快速发展（尤其是学习语义文本表示），这些深度方法给人们带来了全新的应用，且还可以帮助提高各种小数据集自然语言任务的性能。本文讨论了两篇关于谷歌语义表示最新进展的论文，以及两种可在 TensorFlow Hub 上下载的新模型。 语义文本相似度 在「Learning Semantic Textual Similarity from Conversations」这篇论文中，我们引入一种新的方式来学
最近，基于神经网络的自然语言理解研究的快速发展，特别是学习语义文本表征，为全新产品提供必要的技术，如Smart Compose和Talk to Books。它还可以帮助提高基于有限的训练数据量的自然语言任务性能，例如，从少至100个标记示例中构建强大的文本分类器。
本文为雷锋字幕组编译的技术博客，原标题 Advances in Semantic Textual Similarity。
最近基于神经网络的自然语言理解的研究的迅速发展，尤其是关于学习文本语义表示的研究，使一些十分新奇的产品得到了实现，比如智能写作与可对话书籍。这些研究还可以提高许多只有有限的训练数据的自然语言处理任务的效果，比如只利用 100 个标注的数据搭建一个可靠的文本分类器。
【新智元导读】谷歌今天开源一个句子编码器模型 Skip-Thoughts，在 TensorFlow 上实现，学习将输入的句子编码成固定维度的向量表示，可以用于语义相关性，释义检测，句子情绪分类等任务。 Skip-Thoughts 模型概要 Skip-Thoughts 模型是一个句子编码器。它学习将输入的句子编码成固定维度的向量表示，这些向量表示能够对许多任务有用，例如检测释义，或对产品评论进行积极或消极的分类等等。有关模型架构和更多示例应用的详细信息，可以参阅Ryan Kiros 等人的 NIPS 论文
---- 新智元编译 来源：ai.googleblog.com 翻译：小潘 【新智元导读】自然语言理解研究的快速发展，特别是在学习语义文本表示方面的发展可以促进一些新颖的产品，如自动写作和“Talk to Books”搜索等。本文介绍了谷歌在语义文本表示方面的最新进展，以及开源的两个新模型。 基于神经网络的自然语言理解研究的快速发展，它还可以帮助提高数据量有限的各种自然语言任务的性能，比如基于仅有的几百个标签样例来构建强大的文本。 下面，我们将讨论两篇关于Google语义表示最新进展的论文，以及在
选自Google 机器之心编译 参与：吴攀 谷歌又开源了！tf-seq2seq 是一个用于 TensorFlow 的通用编码器-解码器框架（encoder-decoder framework），其可用于机器翻译、文本摘要、会话建模、图像描述等任务。 项目介绍：https://google.github.io/seq2seq/ 代码地址：https://github.com/google/seq2seq 设计目标 谷歌介绍说，设计该框架的目标是希望其能满足以下目标： 通用性：我们最初是为机器翻译而开发了此框架
前言： 此文翻译自TensorFlow tutorial： Sequence-to-Sequence Models 本文的尽量在做到意思正确的情况下，做到不尬翻。但第一次尝试翻译，另加上英语水平有
它们在固定长度的稠密向量中编码单词和句子，以大幅度提高神经网络处理文本数据的能力。
文经公众号「机器人圈」授权转载（微信号：ROBO_AI） 本文长度为4473字，建议阅读10分钟 本文为你介绍一套NLP文本分类深度学习方法库及其12个模型。 这个库的目的是探索用深度学习进行NLP文本分类的方法。 它具有文本分类的各种基准模型，还支持多标签分类，其中多标签与句子或文档相关联。 虽然这些模型很多都很简单，可能不会让你在这项文本分类任务中游刃有余，但是这些模型中的其中一些是非常经典的，因此它们可以说是非常适合作为基准模型的。 每个模型在模型类型下都有一个测试函数。 我们还探讨了用两个seq
来自 | AI研习社 作者 | WBLUE 词嵌入和句子嵌入已成为所有基于深度学习的自然语言处理（NLP）系统的重要组成部分。它们在定长的密集向量中编码单词和句子，以大幅度提高文本数据的处理性能。 下载方式 方式一 点击阅读原文 方式二 对话框回复“20180624” 对通用嵌入的追求是一大趋势：在大型语料库上预训练好的嵌入，可以插入各种下游任务模型（情感分析、分类、翻译等），通过融合一些在更大的数据集中学习得到的常用词句表示，自动提高它们的性能。 这是一种迁移学习。最近，迁移学习被证明可以大幅度提高
【新智元导读】谷歌今天公布了一个用 TensorFlow 构建神经机器翻译（NMT）系统的教程，全面解释 seq2seq 模型，并演示如何从零开始构建 NMT 翻译模型。这个教程从 NMT 的背景知识讲起，详细讲解如何构建并训练一个 NMT 模型，并提供代码，绝对有用。 机器翻译——自动在两种语言之间进行翻译的任务——是机器学习中最活跃的研究领域之一。在多种机器翻译方法中，序列到序列（“seq2seq”）模型最近取得了巨大的成功，并已经成为大多数商业翻译系统的事实上的标准，例如谷歌翻译。这是由于 seq2s
雷锋网 AI 科技评论按：自上个月谷歌公开 BERT 模型以来，BERT 模型以其双向、深层等特点，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。惊鸿一瞥后，人们都在期待谷歌何时会放出 BERT 模型源代码。
AI 科技评论按：自上个月谷歌公开 BERT 模型以来，BERT 模型以其双向、深层等特点，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。惊鸿一瞥后，人们都在期待谷歌何时会放出 BERT 模型源代码。
选自谷歌 机器之心编译 参与：机器之心编辑部 近日，谷歌官方在 Github 开放了一份神经机器翻译教程，该教程从基本概念实现开始，首先搭建了一个简单的NMT模型，随后更进一步引进注意力机制和多层 LSTM 加强系统的性能，最后谷歌根据 GNMT 提供了更进一步改进的技巧和细节，这些技巧能令该NMT系统达到极其高的精度。机器之心对该教程进行简要的描述，跟详细和精确的内容请查看项目原网站。 GitHub 链接：https://github.com/tensorflow/nmt 机器翻译，即跨语言间的自动翻译，
AI 科技评论按：这篇文章来自自然语言处理以及机器学习专家、Huggingface 的技术负责人 Thomas Wolf，介绍了文本嵌入的重点知识和最新趋势。 AI 科技评论编译如下。
AI 研习社按：这篇文章来自自然语言处理以及机器学习专家、Huggingface 的技术负责人 Thomas Wolf，介绍了文本嵌入的重点知识和最新趋势。 AI 科技评论编译如下。
一个完整的transformer模型主要包含三部分：Config、Tokenizer、Model。
自然语言处理的常用方法是循环神经网络。所以接下来会从 character RNN 开始（预测句子中出现的下一个角色），继续介绍RNN，这可以让我们生成一些原生文本，在过程中，我们会学习如何在长序列上创建TensorFlow Dataset。先使用的是无状态RNN（每次迭代中学习文本中的随机部分），然后创建一个有状态RNN（保留训练迭代之间的隐藏态，可以从断点继续，用这种方法学习长规律）。然后，我们会搭建一个RNN，来做情感分析（例如，读取影评，提取评价者对电影的感情），这次是将句子当做词的序列来处理。然后会介绍用RNN如何搭建编码器-解码器架构，来做神经网络机器翻译（NMT）。我们会使用TensorFlow Addons项目中的 seq2seq API 。
http://blog.csdn.net/pipisorry/article/details/78258198
tensorflow基于图结构深度学习框架，内部通过session实现图和计算内核交互。
深度学习算法(第24期)----自然语言处理(NLP)中的Word Embedding 前几期我们一起学习了RNN的很多相关知识，今天我们一起用这些知识，学习下机器翻译中的编码解码网络.
知乎：李加贝 方向：跨模态检索 论文：MCSE: Multimodal Contrastive Learning of Sentence Embeddings 链接：https://aclanthology.org/2022.naacl-main.436.pdf 代码：https://github.com/uds-lsv/MCSE 视觉作为人类感知体验的核心部分，已被证明在建立语言模型和提高各种NLP任务的性能方面是有效的。作者认为视觉作为辅助语义信息可以进一步促进句子表征学习。在这篇论文中，为了同时利用
选自Medium 作者：Thomas Wolf 机器之心编译 参与：Geek AI、刘晓坤 本文是一篇对于当今最先进的通用词/句嵌入技术的简介，包括对比基线： FastText、词袋模型（Bag-of-Words）；以及最先进的模型：ELMo、Skip-Thoughts、Quick-Thoughts、InferSent、MILA 研究组和微软研究院提出的通用句子表征，以及谷歌的通用句子编码器。 词语和句子的嵌入已经成为了任何基于深度学习的自然语言处理系统必备的组成部分。 它们将词语和句子编码成稠密的定长向量
过去十年深度学习的发展，极大地推动了多媒体领域视觉与语言之间跨模态分析的进步。然而，目前还没有一个开源的代码库以统一和模块化的方式来支持训练和部署跨模态分析任务的神经网络模型。在这项工作中，作者提出了X-modaler——一个通用和高性能的代码库，它将SOTA的跨模态任务流程封装到几个通用阶段 。
在这篇文章中，我们将演示如何构建Transformer聊天机器人。 本文聚焦于：使用TensorFlow Dataset并使用tf.data创建输入管道来使用Cornell Movie-Dialogs Corpus，使用Model子类化实现MultiHeadAttention，使用Functional API实现Transformer。
Seq2seq模型构成了机器翻译、图像和视频字幕、文本摘要、聊天机器人以及任何你可能想到的包括从一个数据序列到另一个数据序列转换的任务的基础。如果您曾使用过谷歌Translate，或与Siri、Alexa或谷歌Assistant进行过互动，那么你就是序列对序列(seq2seq)神经结构的受益者。
在当今世界，预训练 NLP 模型的可用性极大地简化了使用深度学习技术对文本数据的解释。然而，虽然这些模型在一般任务中表现出色，但它们往往缺乏对特定领域的适应性。本综合指南[1]旨在引导您完成微调预训练 NLP 模型的过程，以提高特定领域的性能。
机器之心专栏 本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载，共介绍 18 个在机器翻译任务上曾取得 SOTA 的经典模型。 第 1 期：RNNsearch、Multi-task、attention-model
原文：Deep Learning’s Most Important Ideas[1]
本文介绍的两个 BERT 实现项目分别基于 TensorFlow 和 Keras，其中基于 TensorFlow 的项目会使用中等数据集与其它技巧降低计算力，并发现使用 TextCNN 代替 Transformer 主干网络，且保留 BERT 预训练任务也能得到非常好的效果。而基于 Keras 的项目尝试使用预训练的 OpenAI Transformer 作为初始化权重，并以较小的计算力重新训练 BERT 预训练模型，再将该预训练的 BERT 应用到不同任务。
【新智元导读】谷歌今天宣布开源图说生成系统 Show and Tell 最新版在 TensorFlow 上的模型。该系统采用编码器-解码器神经网络架构，分类准确率达 93.9%，在遇到全新的场景时能够生成准确的新图说。谷歌表示，这说明该系统能够真正理解图像。 2014 年，谷歌大脑团队的研究员训练了一个机器学习系统，自动生成能够准确描述图像的图说。这一系统的发展使其在 MS COCO 2015 图说生成竞赛中夺得第一。 现在，我们将这一图说生成系统的最新版开源，作为 TensorFlow 的一个模型。这次发
文中的链接请点击网址：http://yerevann.com/a-guide-to-deep-learning/ 预备知识 你必须有大学数学知识。你可以在深度学习这本书的前几章中回顾这些概念： 深度学
本文展示了一个端到端的实例，说明如何构建一个可以语义化搜索对象的系统。项目作者是 Hamel Husain （https://www.linkedin.com/in/hamelhusain/） 和 Ho-Hsiang Wu 。
今日，谷歌终于放出官方代码和预训练模型，包括 BERT 模型的 TensorFlow 实现、BERT-Base 和 BERT-Large 预训练模型和论文中重要实验的 TensorFlow 代码。在本文中，机器之心首先会介绍 BERT 的直观概念、业界大牛对它的看法以及官方预训练模型的特点，并在后面一部分具体解读 BERT 的研究论文与实现，整篇文章的主要结构如下所示：
最近谷歌发布了基于双向 Transformer 的大规模预训练语言模型，该预训练模型能高效抽取文本信息并应用于各种 NLP 任务，该研究凭借预训练模型刷新了 11 项 NLP 任务的当前最优性能记录。如果这种预训练方式能经得起实践的检验，那么各种 NLP 任务只需要少量数据进行微调就能实现非常好的效果，BERT 也将成为一种名副其实的骨干网络。
最近，GitHub上出现一份深度学习资源，涵盖深度学习的各个方面，包括论文、数据集、课程、图书、博客、教程、框架等。
机器之心原创 参与：吴攀、QW 一年一度的谷歌开发者大会 Google I/O 在山景城成功举行，在首日的 Keynote 中，谷歌宣布了一系列新的硬件、应用、基础研究等。而作为 AI First 的开发者大会，Google I/O 也自然安排了许多有关机器学习开发的内容，比如《教程 | 如何使用谷歌 Mobile Vision API 开发手机应用》。当然毋庸置疑，TensorFlow 也是本届 I/O 大会的关键核心之一。当地时间 18 日下午，谷歌 TensorFlow 开发者支持 Josh Gor
词嵌入（word embeddings）和句嵌入（sentence embeddings）已经成为任何基于深度学习的自然语言处理系统不可或缺的部分。
聊天机器人是“通过听觉或文本方法进行对话的计算机程序”，苹果的Siri, 微软的Cortana, 谷歌助手和亚马逊的Alexa是当下最流行的四种会话代理，它们能帮助你获得出行路线，检查运动项目的得分，给你通讯录里的人打电话并且可能会意外地让你订购一个$170的玩偶屋。 这些产品都有听觉接口，会话代理通过语音信息与你对话。在这篇文章中，我们将更多地关注只采用文本操作的聊天机器人。Facebook一直在大力投资FB Messenger机器人，它允许小型企业和组织创建机器人来提供用户支持和提出问题。聊天机器人已经
神经机器翻译(NMT)是一种端到端自动翻译学习方法。它的优势在于它直接学习从输入文本到相关输出文本的映射。它已被证明比传统的基于短语的机器翻译更有效，而且后者需要更多的精力来设计模型。另一方面，NMT模型的训练成本很高，尤其是在大规模翻译数据集上。由于使用了大量参数，它们在推理时的速度也明显变慢。其他限制是翻译稀有单词且无法翻译输入句子的所有部分时的鲁棒性。为了克服这些问题，已经有一些解决方案，例如使用注意力机制来复制稀有词[2]。
注意： 下面的动画是视频。轻触或（使用鼠标）悬停在它们上，可获得播放控件，以便在需要时暂停。
现代搜索引擎的力量非常强大，可以让你瞬间从互联网中获取想要的知识。但是，现有技术也存在着无法忽视的局限性，比如搜索非文字内容或者内容难以用“关键词”描述时，都难以达到预期的搜索效果。更进一步，现有搜索技术难以让用户实现“语义”搜索，即通过文字内容的意义来检索相关内容。
知乎：李加贝 方向：跨模态检索 来自：深度学习自然语言处理公众号 虽然不同的数据增强(随机裁剪、颜色抖动、旋转等)被发现对预训练视觉模型至关重要，但这种增强在应用于句子嵌入的对比学习时通常不成功。 之前的工作发现，通过简单的基于dropout的增强来构建正对，比基于同义词或掩码语言模型的单词删除或替换等更复杂的增强效果要好得多。虽然对比学习的训练目标鼓励特征对增强变换是不变的，但对输入的直接增强(如删除、替换)经常会改变句子的意义。也就是说，理想的句子嵌入不应该对这种转换保持不变。 以前的工作只是简单地将
随着强大的模型越来越容易访问，我们可以轻松地利用深度学习的一些力量，而不必优化神经网络或使用GPU。
编译 | AI科技大本营（rgznai100） 参与 | 史天 聊天机器人到底是什么呢？说白了，就是计算机程序通过听觉或文本方法进行对话。 当今最流行的四个对话机器人是：苹果的Siri、微软Cortana、谷歌助理、亚马逊的Alexa。他们能够帮你查比分、打电话，当然，偶尔他们也会出错。 本文，我们主要会详细介绍聊天机器人在文本方面的运作。 在这篇文章中，我们将看到如何使用深度学习模型训练聊天机器人用我们所希望的方式在社交媒体上进行对话。 意图&深度学习 如何训练一个高水平的聊天机器人呢？ 高水平的工作
来源：Python数据科学本文约7200字，建议阅读14分钟在本文中，我们将研究Transformer模型，理解它的工作原理。 1.导语 谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型最早是用于机器翻译任务，当时达到了SOTA效果。Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。并且Transformer可以增
本文介绍了自然语言处理技术在金融智能客服系统中的应用和实践。通过引入对话智能引擎，将自然语言处理技术应用于客服场景，实现快速、准确地回答客户问题，提升客户体验。同时，利用深度学习技术对大量语料进行训练，使得系统能够更好地理解用户意图和上下文信息，从而提供更准确的服务。
您是否曾经利用 Siri、Alexa 或者 Cortana 以对话方式设置闹钟、呼叫朋友甚至是安排会议日程？相信大多数朋友和我一样，感觉虽然这些方案在日常生活与工作中能够起到一定作用，但仍然很难与之谈论一般性、特别是哲学层面的话题。 通过自然语言与机器交互属于通用型人工智能方案的基本要求之一。这一 AI 研究领域被称为对话系统、口语对话系统或者是聊天机器人。在这类场景下，机器需要能够结合对话背景为用户提供翔实的答案，而且在理想情况下应实现与人类无异的沟通效果。 但在实践当中，最后一项要求往往很难达成。不过
本文讲述Transformers的最新研究进展，由数据科学家 Derrick Mwiti写作。原文标题：Research Guide for Transformers。AI科技评论编译如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
