BERT是双向转换器（Bi-Transformer）的缩写。这是谷歌在2018年末开发并发布的一种新型语言模型。BERT等经过预处理的语言模型在问答、命名实体识别、自然语言推理、文本分类等自然语言处理任务中发挥着重要作用。
人工智能已成为近年来最受关注的话题之一，由于神经网络的发展，曾经被认为纯粹是科幻小说中的服务现在正在成为现实。从对话代理到媒体内容生成，人工智能正在改变我们与技术互动的方式。特别是机器学习 (ML) 模型在自然语言处理 (NLP) 领域取得了重大进展。一个关键的突破是引入了“自注意力”和用于序列处理的Transformers架构，这使得之前主导该领域的几个关键问题得以解决。
在本文中，我将进一步介绍BERT，这是最流行的NLP模型之一，它以Transformer为核心，并且在许多NLP任务（包括分类，问题回答和NER）上均达到了最先进的性能。
近日，谷歌AI研究人员提出了一种称为LaBSE的多语言BERT嵌入模型，该模型可为109种语言生成与语言无关的跨语言句子嵌入。
我们认为使用大型模型架构和相同数据在XLNet 和BERT之间进行公平的比较研究具有重要的科学价值。
在本文中，我将深入研究谷歌的BERT生成的word embeddings，并向你展示如何通过BERT生成自己的word embeddings。
大型语言模型（LLMs）已在自然语言处理（NLP）领域崭露头角，并在推荐系统（RS）领域近期受到了极大关注。这些模型通过自监督学习在大量数据上进行训练，已在学习通用表示上取得了显著成功，并有可能通过一些有效的迁移技术（如微调和提示调整等）来增强推荐系统的各个方面。利用语言模型的力量来提高推荐质量的关键在于利用它们对文本特征的高质量表示以及对外部知识的广泛覆盖，以建立项目和用户之间的关联。为了提供对现有基于LLM的推荐系统的全面理解，本综述提出了一种分类法，将这些模型分为两大范式，分别是用于推荐的判别型LLM（DLLM4Rec）和用于推荐的生成型LLM（GLLM4Rec），其中后者是首次被系统地整理出来。此外，我们在每种范式中都系统地回顾并分析了现有的基于LLM的推荐系统，提供了它们的方法、技术和性能的洞察。此外，我们也识别出了关键的挑战和一些有价值的发现，以为研究者和实践者提供灵感。
谷歌用一篇诚意满满(财大气粗)的基于实验的综述，试图帮助研究者们「拨开云雾见光明」。论文十分适合该领域的初学者通读，写的十分友好，不过由于涉及到的模型/技术很多，所以遇到不熟悉的部分还是需要自行了解。
继 2018 年谷歌的 BERT 模型获得巨大成功之后，在纯文本之外的任务上也有越来越多的研究人员借鉴了 BERT 的思维，开发出各种语音、视觉、视频融合的 BERT 模型。
继昨天的「知识图谱@ICLR2020」之后，我们今天关注ICLR 2020 上 Transformer的研究动态。
大规模图像识别试图解决将Transformer架构应用于计算机视觉任务的问题，以减轻该领域对CNN的严重依赖。本文提出这样的论点，即这种转换将产生与传统CNN相当的结果，同时需要较少的计算资源进行训练。
前几日，著名最先进的自然语言处理预训练模型库项目pytorch-pretrained-bert改名Pytorch-Transformers重装袭来，1.0.0版横空出世。
想象一下这样一个在大量未标注数据集中训练的模型，你仅仅只需要做一点的微调，就可以在11个不同的NLP任务上取得 SOTA结果。没错，BERT就是这样，它彻底改变了我们设计NLP模型的方式。
今天介绍斯坦福大学和Google Brain团队在ICLR2020的论文，该研究提出ELECTRA语言模型，它是一种新型预训练方法，其关键点在于将预训练文本编码器作为标识符而非生成器，来处理现存语言模型的问题。
该项目支持 BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM 等，并包含 27 个预训练模型。
前两天刷到一篇有意思的paper，文中将信息检索工具Anserini和BERT结合，实现了一个开放域的问答系统。
Attention is not explanation | Attention is not not explanation
FinEAS: Financial Embedding Analysis of Sentiment
目前自然语言处理模型是人工智能的前沿科技，他们是很多AI系统与用户交互的接口。NLP 发展的主要阻碍来自于模型对于高质量标记数据的依赖。由于语言是一个任何事物都可以应用的普遍交流的机制，这也意味着很难找到一个特定领域的注解数据去训练模型。针对这个挑战, NLP 模型 决定先使用大量的没有标签的数据训练语言原理。非常有名的预训练模型包括 Word2Vec，Glove 或者FasText。然而 预训练模型有自己的挑战，对于大量数据的上下文关系的表达常常失败。最近来自GOOGLE AI 语言团队的研究者们开放了 BERT项目的源代码，一个为预训练语言表达而生的库，并且其训练结果达到了很不错的效果。
「Key insight:」 虽然预训练BERT已经广泛地运用到了各种下游的NLP任务上，但在文本语义相似度计算任务上，未经微调的BERT句向量的质量常常不如GloVe句向量。针对这个问题，作者首先分析了BERT句向量分布的性质，然后利用标准化流无监督地将BERT句向量的分布变换成更规整的高斯分布，实验结果表明作者提出的BERT-flow在多项任务上取得了SOTA表现。
相关概念：灾难遗忘 (McCloskey＆Cohen, 1989; French, 1999) :一个模型忘记了它最初受过训练的任务
问题回答是信息检索和自然语言处理（NLP）中的一项任务，该任务调查可以回答人类以自然语言提出的问题的程序。在“提取性问题解答”中，提供了一个上下文，以便模型可以引用该上下文并预测答案在段落中的位置。
本文分享 ACL 2021 论文『VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding』，由 Meta AI & CMU 联合提出任务无关视频语言模型视频理解预训练 VLM，代码已开源！
链接 | https://arxiv.org/pdf/1909.10351.pdf
本文整理自IVAN ILIN发布于Towards AI的博客[1]。感谢作者的精彩讲解。
本次整理的论文主要偏向于Open-Domain QA，共8篇文章，其中主要涉及到混合注意力方法、预训练模型分析、BERT预训练模型优化、QA数据集、问答跳转等。（前六篇含源码）
对于字面上的匹配总体来说并不复杂，但实际效果就仅限于有字符交集的词语。若是想要上升到语义之间有相关度，就可以化归为学术界常见的语义匹配的问题。
目前，最先进的 NLP 架构模型通常重用在 Wikipedia 和 Toronto Books Corpus 等大型文本语料库上预训练的 BERT 模型作为基线 。通过对深度预训练的 BERT 进行微调，发明了许多替代架构，例如 DeBERT、RetriBERT、RoBERTa ……它们对各种语言理解任务的基准进行了实质性改进。在 NLP 中的常见任务中，成对句子评分在信息检索、问答、重复问题检测或聚类等方面有广泛的应用。通常，提出了两种典型的方法：Bi-encoders 和 Cross-encoders。
想象一下——你正在从事一个非常酷的数据科学项目，并且应用了最新的最先进的库来获得一个好的结果!几天后，一个新的最先进的框架出现了，它有可能进一步改进你的模型。
今年是Transformer的六周年生日，目前原文引用量已超四万，在应用方面，几乎所有的模型架构都有它的影子，并遵从着Transformer的基础配置（宽度设置为768，深度设置为12）。但您有没有质疑过：Transformer的配置是怎么来的？Transformer的配置能够适合所有的应用场景吗？难道就不能改变吗？今天给大家分享的这篇国际顶会(ICML 2023)文章给出了答案。
编者按：EMNLP 2019正于11月3日至11月7日在中国香港举办。本届 EMNLP 大会中，微软亚洲研究院共21篇论文入选，涵盖预训练、语义分析、机器翻译等研究热点。本文为大家介绍其中的7篇精选论文。
本次整理的关于QA的八篇paper，主要涉及到增强Ranker-Reader、SearchQA的大型数据集、PullNet集成框架、改进的加权抽样训练策略、开放QA中的Bert模型优化等。（五篇含源码）
并且，在同等计算资源的情况下，ELECTRA 的性能优于现有方法；而在参数量只有 1/30 的情况下，取得不逊于最先进 BERT 系列模型的性能。
来源：Deephub Imba本文约1500字，建议阅读5分钟在本文中，想展示如何使用仅编码器模型的预训练权重来为我们的微调提供一个良好的开始。 BERT是一个著名的、强大的预先训练的“编码器”模型。让我们看看如何使用它作为“解码器”来形成编码器-解码器架构。 Transformer 架构由两个主要构建块组成——编码器和解码器——我们将它们堆叠在一起形成一个 seq2seq 模型。从头开始训练基于Transformer 的模型通常很困难，因为它需要大型数据集和高 GPU 内存。我们可以使用许多具有不同目标的
对话状态跟踪 (DST) 中一个重要但很少被解决的问题是动态 ontology（如电影、餐馆）和 unseen 的插槽值的可扩展性。以前的方法通常依赖于 n 格枚举或槽标记输出的候选生成，这可能遭受错误传播而导致效率低下。
BGE M3-Embedding来自BAAI和中国科学技术大学，是BAAI开源的模型。相关论文在https://arxiv.org/abs/2402.03216，论文提出了一种新的embedding模型，称为M3-Embedding，它在多语言性（Multi-Linguality）、多功能性（Multi-Functionality）和多粒度性（Multi-Granularity）方面表现出色。M3-Embedding支持超过100种工作语言，支持8192长度的输入文本，同时支持密集检索（Dense Retrieval）、多向量检索（Multi-Vector Retrieval）和稀疏检索（Sparse Retrieval），为现实世界中的信息检索（IR）应用提供了统一的模型基础，通过这几种检索方式的组合，取得了良好的混合召回效果。
2019 年，可谓是 NLP 发展历程中具有里程碑意义的一年，而其背后的最大功臣当属 BERT ！
作者 | 刘媛媛 来源 | 数据实战派 文本生成是 NLP 中最重要且颇具挑战性的任务之一。近年来，预训练语言模型 (Pretrained Language Models ，下文简称 “PLM”) 的范式，极大地推动了该领域的发展。例如，我们曾介绍过 AI 在古诗生成上的突破《清华团队最新成果：可致特朗普能咏比特币，AI 写古诗 “更上一层楼”》。 最近，一项由中国人民大学团队完成的预印本论文 Pretrained Language Models for Text Generation: A Survey，
BERT是一个著名的、强大的预先训练的“编码器”模型。让我们看看如何使用它作为“解码器”来形成编码器-解码器架构。
新发现、新理论的研究论文发表数量呈指数型增长，并且论文被引用量(H-index)通常被学术界衡量论文的影响力贡献程度。然而，随着学术界的竞争越来越激烈，部分期刊中出现了一种“强制引用”的情况，也是就论文作者需要引用该期刊的相关文章，以提高期刊的影响因子。这些行为是对任何科学家和技术人员所要求的最高诚信的冒犯，并且如果任其发展，可能会破坏公众的信任并阻碍科学技术的未来发展。该竞赛是该系列竞赛中的第一场竞赛，探讨了网络搜索和数据挖掘技术在多大程度上可以用来区分多余的引文和真实的引用识别。赛题详解可参考：https://biendata.com/competition/wsdm2020/
让机器做出与人类相似的反应一直是 AI 研究不懈追求的目标。为了让机器具有感知和思考的能力，研究人员进行了一系列相关研究，如人脸识别、阅读理解和人机对话，通过这些任务训练和评估机器在特定方面的智能。一般来讲，领域专家通过手工构建标准数据集，然后在这些数据集上训练和评估相关模型。然而，由于相关技术的限制，训练模型往往需要大量的标注数据，以获得更好、更强大的模型。
近期，由卡耐基梅隆大学和谷歌大脑提出的全新 XLNet 在 20 个任务上超过了 BERT 的表现，而且还开放了源码，今天我们来讨论一下这篇论文。
OpenAI 的文本生成模型已经在大量文本上进行了预训练。为了有效地使用这些模型，我们在提示中包含了说明和有时几个示例。使用示例来展示如何执行任务通常被称为 "少样本学习"。
聊天机器人已经逐渐成为许多组织用于各种目的的常见且有价值的工具。它们在不同行业中有着众多应用，例如为客户提供个性化的产品推荐，为客户提供全天候的客户支持以解决查询问题，协助客户预订等等。
自 8.0 和用于文本嵌入的第三方自然语言处理 (NLP) 模型发布以来，Elastic Stack 的用户可以访问各种模型来生成文本文档的embedding并使用向量量搜索执行基于查询的信息检索。
选自arXiv 作者：Feilong Chen等 机器之心编译 编辑：陈萍 一文了解视觉 - 语言预训练最新进展和新领域。 让机器做出与人类相似的反应一直是 AI 研究不懈追求的目标。为了让机器具有感知和思考的能力，研究人员进行了一系列相关研究，如人脸识别、阅读理解和人机对话，通过这些任务训练和评估机器在特定方面的智能。一般来讲，领域专家通过手工构建标准数据集，然后在这些数据集上训练和评估相关模型。然而，由于相关技术的限制，训练模型往往需要大量的标注数据，以获得更好、更强大的模型。 基于 Transfor
2023年8月22日OpenAI推出了GPT-3.5 Turbo的微调功能，允许开发者使用自己的数据进行模型定制，以适应特定的业务需求。这项更新旨在提高模型的灵活性和效率。微调是一种特殊的模型训练技术，它在预训练模型的基础上进行进一步的优化，使模型更好地适应特定的业务场景。开发者可以使用微调来改进模型的指导能力、输出格式和语调，以更好地满足业务需求。微调还与其他技术如提示工程和信息检索相结合，提供更强大的功能。
ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
