今年7月底，计算语言学协会年会（ACL）在风景优美的佛罗伦萨召开。会场设在了一座古老的Medici家族的城堡中。
在本文中，我将进一步介绍BERT，这是最流行的NLP模型之一，它以Transformer为核心，并且在许多NLP任务（包括分类，问题回答和NER）上均达到了最先进的性能。
本周，在佛罗伦萨举行的ACL 2019上，参会者中有一个人感慨良多，他就是Alexa AI的机器学习科学家Mihail Eric。
在信息爆炸的时代，自然语言处理（NLP）成为了一门极其重要的学科。它不仅应用于搜索引擎、推荐系统，还广泛应用于语音识别、情感分析等多个领域。然而，理解和生成自然语言一直是机器学习面临的巨大挑战。接下来，我们将深入探讨自然语言处理的一些传统方法，以及它们在处理语言模型时所面临的各种挑战。
在这篇文章中，我们将使用一种直观的方法来理解NLP的发展，包括BERT。预训练策略使BERT如此强大和流行，并且BERT可针对大多数NLP任务进行微调。
2018年，自然语言处理（Natural Language Processing，NLP）领域最激动人心的进展莫过于预训练语言模型，包括基于RNN的ELMo[1]和ULMFiT[2]，基于Transformer[3]的OpenAI GPT[4]及Google BERT[5]等。下图1回顾了近年来预训练语言模型的发展史以及最新的进展。预训练语言模型的成功，证明了我们可以从海量的无标注文本中学到潜在的语义信息，而无需为每一项下游NLP任务单独标注大量训练数据。此外，预训练语言模型的成功也开创了NLP研究的新范式[6]，即首先使用大量无监督语料进行语言模型预训练（Pre-training），再使用少量标注语料进行微调（Fine-tuning）来完成具体NLP任务（分类、序列标注、句间关系判断和机器阅读理解等）。
他山之石，可以攻玉。美团点评NLP团队一直紧跟业界前沿技术，开展了基于美团点评业务数据的预训练研究工作，训练了更适配美团点评业务场景的MT-BERT模型，通过微调将MT-BERT落地到多个业务场景中，并取得了不错的业务效果。
今日，谷歌终于放出官方代码和预训练模型，包括 BERT 模型的 TensorFlow 实现、BERT-Base 和 BERT-Large 预训练模型和论文中重要实验的 TensorFlow 代码。在本文中，机器之心首先会介绍 BERT 的直观概念、业界大牛对它的看法以及官方预训练模型的特点，并在后面一部分具体解读 BERT 的研究论文与实现，整篇文章的主要结构如下所示：
本文介绍一种称之为BERT的新语言表征模型，意为来自变换器的双向编码器表征量(BidirectionalEncoder Representations from Transformers)。不同于最近的语言表征模型(Peters等，2018; Radford等，2018)，BERT旨在基于所有层的左、右语境来预训练深度双向表征。因此，预训练的BERT表征可以仅用一个额外的输出层进行微调，进而为很多任务(如问答和语言推理)创建当前最优模型，无需对任务特定架构做出大量修改。
BERT的设计是通过在所有层中对左右上下文进行联合调节，来预先训练来自未标记文本的深层双向表示。
最近谷歌发布了基于双向 Transformer 的大规模预训练语言模型，该预训练模型能高效抽取文本信息并应用于各种 NLP 任务，该研究凭借预训练模型刷新了 11 项 NLP 任务的当前最优性能记录。如果这种预训练方式能经得起实践的检验，那么各种 NLP 任务只需要少量数据进行微调就能实现非常好的效果，BERT 也将成为一种名副其实的骨干网络。
自 Google AI 提出 BERT (Bidirectional Encoder Representations from Transformers) 后，BERT 在自然语言处理领域（Natural Language Processing，NLP）中应用获得了非常好的效果，它成为了近期 NLP 领域中最重要的进展。BERT 是一种 Transformer 的双向编码器表示，它通过联合调解模型中所有层的上下文来完成双向编码器表示的预训练。此外，还可以通过一个额外的输出层对预训练的 BERT 表示进行微调，从而使其在基本保持原有架构的基础上，能够快速适用于不同的 NLP 任务，例如语言推理、问答系统等。
上周，谷歌最强NLP模型BERT开源了官方TensorFlow代码和预训练模型，引起大量关注。
而输入显著性方法（如 LIME 或 Integrated Gradients）是实现此目的的常用方法。
Attention is not explanation | Attention is not not explanation
2018 年是机器学习模型处理文本（更准确地说是自然语言处理，简称 NLP）的一个转折点。如何最好地表征词和句子以便最好地理解其潜在含义和关系？我们对此的概念理解正在快速演进。此外，NLP 社区也一直都在提出强大的新组件——你可以免费下载它们并将其用在你自己的模型和流程中（这被称为 NLP 的 ImageNet 时刻，是指这类似于多年前用于计算机视觉任务的机器学习的加速发展）。
BERT是双向转换器（Bi-Transformer）的缩写。这是谷歌在2018年末开发并发布的一种新型语言模型。BERT等经过预处理的语言模型在问答、命名实体识别、自然语言推理、文本分类等自然语言处理任务中发挥着重要作用。
相关概念：灾难遗忘 (McCloskey＆Cohen, 1989; French, 1999) :一个模型忘记了它最初受过训练的任务
BERT（Bidirectional Encoder Representations from Transformers）在各种自然语言处理任务中提供了最前沿的结果在深度学习社区引起了轰动。德夫林等人。2018 年在 Google 使用英文维基百科和 BookCorpus 开发了 BERT，从那时起，类似的架构被修改并用于各种 NLP 应用程序。XL.net 是建立在 BERT 之上的示例之一，它在 20 种不同任务上的表现优于 BERT。在理解基于 BERT 构建的不同模型之前，我们需要更好地了解 Transformer 和注意力模型。
多分类也称为单标签问题，例如，我们为每个样本分配一个标签。名称中的"多"表示我们处理至少 3 个类，对于 2 个类，我们可以使用术语二进制分类(binary classification)。另一方面，多标签任务更为一般，允许我们为每个样本分配多个标签，而不仅仅是一样本一标签。
大型语言模型（LLMs）已在自然语言处理（NLP）领域崭露头角，并在推荐系统（RS）领域近期受到了极大关注。这些模型通过自监督学习在大量数据上进行训练，已在学习通用表示上取得了显著成功，并有可能通过一些有效的迁移技术（如微调和提示调整等）来增强推荐系统的各个方面。利用语言模型的力量来提高推荐质量的关键在于利用它们对文本特征的高质量表示以及对外部知识的广泛覆盖，以建立项目和用户之间的关联。为了提供对现有基于LLM的推荐系统的全面理解，本综述提出了一种分类法，将这些模型分为两大范式，分别是用于推荐的判别型LLM（DLLM4Rec）和用于推荐的生成型LLM（GLLM4Rec），其中后者是首次被系统地整理出来。此外，我们在每种范式中都系统地回顾并分析了现有的基于LLM的推荐系统，提供了它们的方法、技术和性能的洞察。此外，我们也识别出了关键的挑战和一些有价值的发现，以为研究者和实践者提供灵感。
摘要：近年来，预训练模型的出现将自然语言处理带入了一个新的时代。本文概述了面向自然语言处理领域的预训练模型技术。我们首先概述了预训练模型及其发展历史。并详细介绍自然语言处理领域的经典预训练模型，包括最经典的预训练模型技术和现在一系列新式的有启发意义的预训练模型。然后梳理了这些预训练模型在自然语言处理领域的优势和预训练模型的两种主流分类。最后，对预训练技术的未来发展趋势进行了展望。
PTM 通常是基于大规模文本语料训练通用的语言表示，而缺乏领域特定的知识。通过外部知识库引入领域知识被证明可以提升模型结果。这些外部知识包括：语言知识、语义知识、常识知识、事实知识和其他领域特定的知识等。
这一次，它要进军CV领域——以Image GPT (简称iGPT)的名义，处理「图像任务」。
本文是对 BERT 原始论文（BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ）的解读。
《谷歌终于开源BERT代码：3 亿参数量，机器之心全面解读》，上周推送的这篇文章，全面解读基于TensorFlow实现的BERT代码。现在，PyTorch用户的福利来了：一个名为Hugging Face的团队近日公开了BERT模型的谷歌官方TensorFlow库的op-for-op PyTorch重新实现【点击阅读原文直接访问】：
本文介绍了大众点评搜索核心排序层模型的演化之路，包括结合知识图谱信息构建适合搜索场景的Listwise深度学习排序模型LambdaDNN以及特征工程实践和相关工具建设。
2019年可以被称为NLP的Transformer之年：这种架构主导了排行榜并激发了许多分析研究。毫无疑问，最受欢迎的Transformer是BERT(Devlin, Chang, Lee， & Toutanova, 2019)。除了其众多的应用，许多研究探索了各种语言知识的模型，通常得出这样的结论，这种语言知识确实存在，至少在某种程度上(Goldberg, 2019; Hewitt & Manning, 2019; Ettinger, 2019)。
Bert 全称为 Bidirectional Encoder Representations from Transformers（Bert）。和 ELMo 不同，BERT 通过在所有层联合调节左右两个上下文来预训练深层双向表示，此外还通过组装长句作为输入增强了对长程语义的理解。Bert 可以被微调以广泛用于各类任务，仅需额外添加一个输出层，无需进行针对任务的模型结构调整，就在文本分类，语义理解等一些任务上取得了 state-of-the-art 的成绩。
今天给大家介绍西北大学Ramana V. Davuluri教授等人在Bioinfomatics期刊上发表的文章“DNABERT: pre-trained Bidirectional Encoder Representations from Transformers model for DNA-language in genome”。为了解决传统语言难以捕捉DNA语义之间信息的问题，作者提出了一个新颖的预训练双向编码表示DNABERT来通过上下文信息对DNA序列进行全局或者迁移分析。通过实验表明，作者的模型能够在众多下游任务上达到SOTA水平，并且，DNABERT可以直接对核苷酸分子的重要性进行排名和分析输入序列上下文之间的关系，从而获得更好的可视化信息和精确的motifs提取。
前几日，著名最先进的自然语言处理预训练模型库项目pytorch-pretrained-bert改名Pytorch-Transformers重装袭来，1.0.0版横空出世。
2023年11月2日，华南理工大学王领老师团队在Briefings in Bioinformatics上发表文章FG-BERT: a generalized and self-supervised functional group-based molecular representation learning framework for properties prediction。
自BERT（Bidirectional Encoder Representations from Transformer）[1]出现后，NLP界开启了一个全新的范式。本文主要介绍BERT的原理，以及如何使用HuggingFace提供的 transformers 库完成基于BERT的微调任务。
无监督和自监督学习，或者无人工标注数据的学习，这些都是机器学习领域长期存在的挑战。近期，BERT、GPT-2、RBERTa、T5 等 Transformer 模型以及其他变体在一系列语言任务上实现了最佳性能。然而，在生成用于图像分类的强特征方面却始终没有出现性能强大的模型。
对我来说，在每年的这个时候来总结机器学习的进展已经成为一种惯常(例如我去年在Quora上的回答)。和往常一样，这个总结必然会因为我自己的兴趣和关注点而有所偏颇，但我努力让它尽可能的涉猎广泛。请注意，下面是我在Quora上的博客作答。
论文标题：How to Fine-Tune BERT for Text Classification? 中文标题：如何微调 BERT 进行文本分类？ 论文作者：复旦大学邱锡鹏老师课题组 实验代码
【导读】我们知道，近年来机器学习，特别是深度学习在各个领域取得了骄人的成绩，其受追捧的程度可谓是舍我其谁，但是有很多机器学习模型（深度学习首当其冲）的可解释性不强，这也导致了很多论战，那么模型的可解释
1 研究简介 加密流量分类在网络负载管理和安全威胁检测中逐渐成为自动识别目标应用、服务和协议的主要方式。现有的模型通常使用大规模带有准确标注的会话样本来提取流量深层的可识别特征，比如证书链、包长序列和方向序列。但是在网络环境（例如局域网）中，流量包含的场景多样，这些方法不具备健壮的通用能力来适应不同场景下的迁移，以及在小规模的标注样本下达到预期效果。 在WWW 20222这篇文章中，中科院信工所的研究者提出了一种流量表征模型， ET-BERT，有效学习无标注流量中的隐式关系，从而提升不同场景下流量分类的效
本文整理了10个常用于可解释AI的Python库，方便我们更好的理解AI模型的决策。
来自 | 知乎 地址 | https://zhuanlan.zhihu.com/p/146325984
一个完整的transformer模型主要包含三部分：Config、Tokenizer、Model。
该项目支持 BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM 等，并包含 27 个预训练模型。
原文：Deep Learning’s Most Important Ideas[1]
当您精通 BERT 后，就该探索先进技术以最大限度地发挥其潜力。在本章中，我们将深入研究微调、处理词汇外单词、领域适应，甚至从 BERT 中提取知识的策略。
人工智能已成为近年来最受关注的话题之一，由于神经网络的发展，曾经被认为纯粹是科幻小说中的服务现在正在成为现实。从对话代理到媒体内容生成，人工智能正在改变我们与技术互动的方式。特别是机器学习 (ML) 模型在自然语言处理 (NLP) 领域取得了重大进展。一个关键的突破是引入了“自注意力”和用于序列处理的Transformers架构，这使得之前主导该领域的几个关键问题得以解决。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
