Attention is not explanation | Attention is not not explanation
相关概念：灾难遗忘 (McCloskey＆Cohen, 1989; French, 1999) :一个模型忘记了它最初受过训练的任务
对话状态跟踪 (DST) 中一个重要但很少被解决的问题是动态 ontology（如电影、餐馆）和 unseen 的插槽值的可扩展性。以前的方法通常依赖于 n 格枚举或槽标记输出的候选生成，这可能遭受错误传播而导致效率低下。
BERT（来自 Transformers 的双向编码器表示）是 Google 开发的革命性自然语言处理 (NLP) 模型。它改变了语言理解任务的格局，使机器能够理解语言的上下文和细微差别。在本文[1]中，我们将带您踏上从 BERT 基础知识到高级概念的旅程，并配有解释、示例和代码片段。
在这篇文章中，我们将使用一种直观的方法来理解NLP的发展，包括BERT。预训练策略使BERT如此强大和流行，并且BERT可针对大多数NLP任务进行微调。
Nomic-embed-text是2月份刚发布的，并且是一个完全开源的英文文本嵌入模型，上下文长度为8192。它在处理短文和长文本任务方面都超越了现有的模型，如OpenAI的Ada-002和text-embedding-3-small。该模型有137M个参数在现在可以算是非常小的模型了。
想象一下——你正在从事一个非常酷的数据科学项目，并且应用了最新的最先进的库来获得一个好的结果!几天后，一个新的最先进的框架出现了，它有可能进一步改进你的模型。
Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，提到的BERT模型刷新了自然语言处理的11项记录。算是NLP的里程碑事件，也开始了大公司之间的数据和算力的装备竞赛。放一篇比较好的中文论文翻译。
BERT的设计是通过在所有层中对左右上下文进行联合调节，来预先训练来自未标记文本的深层双向表示。
计算语言：人类语言技术学会北美分会2019年年会（North American Chapter of the Association for Computational Linguistics: Human Language Technologies/NAACL- HLT）于6月2至7日美国明尼阿波利斯举办。NAACL- HLT是A级同行评审会议，是继计算语言学协会（ACL）会议之后，计算语言学界的又一重要事件，即自然语言处理（NLP）。
基于Transformer的预训练模型的趋势就是越来越大，虽然这些模型在效果上有很大的提升，但是巨大的参数量也对上线这些模型提出挑战。
最近被 Google 的 BERT （Bidirectional Encoder Representations from Transfoemers）模型给刷屏了。该模型破了 NLP 界的 11 项纪录，所以这两周特意挑选这篇论文来满足好奇心。第一作者还在 Reddit 上进行了解答，具体可以戳：这里。为了方便学习，我翻译了这篇解读（只包含正文）：BERT 论文 - 第一作者的 Reddit 解读说明翻译
作者：Chenguang Wang、Mu Li、Alexander J. Smola
本文主要参考：https://zhuanlan.zhihu.com/p/96020318
本文发表在ACL2019，使用信息实体增强语言表示的ERNIE的翻译。同时还有另一种百度提出的ERNIE
教程地址：http://www.showmeai.tech/tutorials/36
近期，麻省理工学院计算机科学与人工智能实验室的Jiang Guo等人在J Chem Inf Model杂志发表文章，介绍了一种从化学文献中提取反应的自动化方法。该方法将这类任务表述为结构预测问题，并通过一个由产物提取和反应角色标记组成的两个阶段的深度学习架构来解决。
最近语言模型在自然语言理解和生成方面取得了显著进展。这些模型通过预训练、微调和上下文学习的组合来学习。在本文中将深入研究这三种主要方法，了解它们之间的差异，并探讨它们如何有助于语言模型的学习过程。
本文分享论文『KD-VLP: Improving End-to-End Vision-and-Language Pretraining with Object Knowledge Distillation』，由上科大&Intel&MSRA联合提出基于知识蒸馏的端到端多模态预训练模型《KD-VLP》。
想象一下这样一个在大量未标注数据集中训练的模型，你仅仅只需要做一点的微调，就可以在11个不同的NLP任务上取得 SOTA结果。没错，BERT就是这样，它彻底改变了我们设计NLP模型的方式。
本文是对 BERT 原始论文（BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ）的解读。
本文是最近比较火的一篇关于预训练模型的综述 「Pre-trained Models for Natural Language Processing: A Survey」 的阅读笔记。由于篇幅较长，所以分成两篇发送。
在自然语言处理（NLP）领域，BERT 等预训练语言模型极大地提升了诸多 NLP 任务的性能。但是，这类预训练语言模型通常计算开销大，内存占用也大，因此很难在一些资源紧张的设备上有效执行。
在 10 月 20 号的世界互联网大会中，微软之前提出来的「统一预训练语言模型与机器阅读理解技术」荣获「世界互联网领先科技成果」奖，沈向洋博士在会上介绍了这一模型。
想象一下自己正在进行一个非常好的数据科学项目，还为了获得较好的结果用了最前沿的数据库。然后几天后，新一代前沿框架的出现，导致现有模型已经落后了。
“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。
大型语言模型（LLMs）已在自然语言处理（NLP）领域崭露头角，并在推荐系统（RS）领域近期受到了极大关注。这些模型通过自监督学习在大量数据上进行训练，已在学习通用表示上取得了显著成功，并有可能通过一些有效的迁移技术（如微调和提示调整等）来增强推荐系统的各个方面。利用语言模型的力量来提高推荐质量的关键在于利用它们对文本特征的高质量表示以及对外部知识的广泛覆盖，以建立项目和用户之间的关联。为了提供对现有基于LLM的推荐系统的全面理解，本综述提出了一种分类法，将这些模型分为两大范式，分别是用于推荐的判别型LLM（DLLM4Rec）和用于推荐的生成型LLM（GLLM4Rec），其中后者是首次被系统地整理出来。此外，我们在每种范式中都系统地回顾并分析了现有的基于LLM的推荐系统，提供了它们的方法、技术和性能的洞察。此外，我们也识别出了关键的挑战和一些有价值的发现，以为研究者和实践者提供灵感。
BERT(Bidirectional Encoder Representations from Transformers)是谷歌AI研究人员最近发表的一篇论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding。它通过在各种各样的NLP任务中呈现最先进的结果，包括问答(SQuAD v1.1)、自然语言推理(MNLI)等，在机器学习社区中引起了轰动。
多分类也称为单标签问题，例如，我们为每个样本分配一个标签。名称中的"多"表示我们处理至少 3 个类，对于 2 个类，我们可以使用术语二进制分类(binary classification)。另一方面，多标签任务更为一般，允许我们为每个样本分配多个标签，而不仅仅是一样本一标签。
在如今的 NLP 领域，几乎每项任务中都能看见「基于 Transformer 的预训练语言模型（T-PTLM）」成功的身影。这些模型的起点是 GPT 和 BERT。而这些模型的技术基础包括 Transformer、自监督学习和迁移学习。T-PTLM 可使用自监督学习从大规模文本数据学习普适性的语言表征，然后将学到的知识迁移到下游任务。这些模型能为下游任务提供优质的背景知识，从而可避免从头开始训练下游任务。
2018年已经成为自然语言处理机器学习模型的转折点。我们对如何以最能捕捉潜在意义和关系的方式、最准确地表示单词和句子的理解正在迅速发展。
【导读】自然语言处理在深度学习浪潮下取得了巨大的发展，FloydHub 博客上Cathal Horan介绍了自然语言处理的10大发展趋势，是了解NLP发展的非常好的文章。
在快速发展的人工智能领域中，有效地利用大型语言模型（LLM）变得越来越重要。然而，有许多不同的方式可以使用大型语言模型，这可能会让我们感到困惑。实际上，可以使用预训练的大型语言模型进行新任务的上下文学习并进行微调。
2018 年已经成为自然语言处理机器学习模型的转折点。我们对如何以最能捕捉潜在意义和关系的方式、最准确地表示单词和句子的理解正在迅速发展。
【磐创AI 导读】：本文将会带大家了解XLNet在语言建模中优于BERT的原因，欢迎大家转发、留言。
本周，在佛罗伦萨举行的ACL 2019上，参会者中有一个人感慨良多，他就是Alexa AI的机器学习科学家Mihail Eric。
自 Google AI 提出 BERT (Bidirectional Encoder Representations from Transformers) 后，BERT 在自然语言处理领域（Natural Language Processing，NLP）中应用获得了非常好的效果，它成为了近期 NLP 领域中最重要的进展。BERT 是一种 Transformer 的双向编码器表示，它通过联合调解模型中所有层的上下文来完成双向编码器表示的预训练。此外，还可以通过一个额外的输出层对预训练的 BERT 表示进行微调，从而使其在基本保持原有架构的基础上，能够快速适用于不同的 NLP 任务，例如语言推理、问答系统等。
[ 导读 ]自然语言处理在深度学习浪潮下取得了巨大的发展，FloydHub 博客上Cathal Horan介绍了自然语言处理的10大发展趋势，是了解NLP发展的非常好的文章。
自从 BERT 横空出世以后，尽管算力要求比较大，但预训练语言模型仍层出不穷，有点类似当年 GAN 大量更新的盛况。虽然只过去了一两年，但形形色色的预训练语言模型确实让我们弄不清楚整体状况到底是什么样的。
深度学习是一个由多个处理层组成的机器学习领域，用于学习具有多个抽象层次的数据表示。典型的层次是人工神经网络，由前向传递和后向传递组成。正向传递计算来自前一层的输入的加权和，并通过非线性函数传递结果。向后传递是通过导数链规则计算目标函数相对于多层模块堆栈权重的梯度。深度学习的关键优势在于表示学习的能力以及向量表示和神经处理赋予的语义合成能力。这允许机器输入原始数据，并自动发现分类或检测所需的潜在表示和处理。
机器之心编译 编辑：袁铭怿 CLIPPO 是一种统一的模型，用单个编码器和对比损失来执行图像、文本和多模态任务，优于传统的 NLP 基线和之前基于像素的掩码语言模型。 近年来，基于 Transformer 的大规模多模态训练促成了不同领域最新技术的改进，包括视觉、语言和音频。特别是在计算机视觉和图像语言理解方面，单个预训练大模型可以优于特定任务的专家模型。 然而，大型多模态模型通常使用模态或特定于数据集的编码器和解码器，并相应地导致涉及的协议。例如，此类模型通常涉及在各自的数据集上对模型的不同部分进行不同阶
审稿人：Jepson，Datawhale成员，毕业于中国科学院，目前在腾讯从事推荐算法工作。
2019 年，可谓是 NLP 发展历程中具有里程碑意义的一年，而其背后的最大功臣当属 BERT ！
在信息爆炸的时代，自然语言处理（NLP）成为了一门极其重要的学科。它不仅应用于搜索引擎、推荐系统，还广泛应用于语音识别、情感分析等多个领域。然而，理解和生成自然语言一直是机器学习面临的巨大挑战。接下来，我们将深入探讨自然语言处理的一些传统方法，以及它们在处理语言模型时所面临的各种挑战。
在自然语言处理技术的整个发展历史中，如何把最小语义元素「单词」做数字化表示，一直都是一个研究热点。
语言模型前训练技术可以通过让机器学习系统根据上下文来预测单词，从而“教”机器学习系统将文本表示逻辑化，这种技术已经在一系列自然语言处理目标上取得了进展。然而，像谷歌BERT这样的模型在设计上是双向的，并不适合通过大量修改来生成自然语言的任务。为了打破这种局限，微软研究院的科学家们研究了一种被称为统一预训练语言模型(UniLM)的替代方法，它可以完成单向、序列到序列和双向预测任务，并且可以对自然语言理解和生成进行微调。
2018 年是机器学习模型处理文本（更准确地说是自然语言处理，简称 NLP）的一个转折点。如何最好地表征词和句子以便最好地理解其潜在含义和关系？我们对此的概念理解正在快速演进。此外，NLP 社区也一直都在提出强大的新组件——你可以免费下载它们并将其用在你自己的模型和流程中（这被称为 NLP 的 ImageNet 时刻，是指这类似于多年前用于计算机视觉任务的机器学习的加速发展）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
