审稿人：Jepson，Datawhale成员，毕业于中国科学院，目前在腾讯从事推荐算法工作。
BERT（来自 Transformers 的双向编码器表示）是 Google 开发的革命性自然语言处理 (NLP) 模型。它改变了语言理解任务的格局，使机器能够理解语言的上下文和细微差别。在本文[1]中，我们将带您踏上从 BERT 基础知识到高级概念的旅程，并配有解释、示例和代码片段。
在本文中，我将进一步介绍BERT，这是最流行的NLP模型之一，它以Transformer为核心，并且在许多NLP任务（包括分类，问题回答和NER）上均达到了最先进的性能。
想象一下这样一个在大量未标注数据集中训练的模型，你仅仅只需要做一点的微调，就可以在11个不同的NLP任务上取得 SOTA结果。没错，BERT就是这样，它彻底改变了我们设计NLP模型的方式。
在这篇文章中，我们将使用一种直观的方法来理解NLP的发展，包括BERT。预训练策略使BERT如此强大和流行，并且BERT可针对大多数NLP任务进行微调。
2018年已经成为自然语言处理机器学习模型的转折点。我们对如何以最能捕捉潜在意义和关系的方式、最准确地表示单词和句子的理解正在迅速发展。
2018 年已经成为自然语言处理机器学习模型的转折点。我们对如何以最能捕捉潜在意义和关系的方式、最准确地表示单词和句子的理解正在迅速发展。
本文介绍一种称之为BERT的新语言表征模型，意为来自变换器的双向编码器表征量(BidirectionalEncoder Representations from Transformers)。不同于最近的语言表征模型(Peters等，2018; Radford等，2018)，BERT旨在基于所有层的左、右语境来预训练深度双向表征。因此，预训练的BERT表征可以仅用一个额外的输出层进行微调，进而为很多任务(如问答和语言推理)创建当前最优模型，无需对任务特定架构做出大量修改。
自 Google AI 提出 BERT (Bidirectional Encoder Representations from Transformers) 后，BERT 在自然语言处理领域（Natural Language Processing，NLP）中应用获得了非常好的效果，它成为了近期 NLP 领域中最重要的进展。BERT 是一种 Transformer 的双向编码器表示，它通过联合调解模型中所有层的上下文来完成双向编码器表示的预训练。此外，还可以通过一个额外的输出层对预训练的 BERT 表示进行微调，从而使其在基本保持原有架构的基础上，能够快速适用于不同的 NLP 任务，例如语言推理、问答系统等。
来源：计算机视觉与机器学习作者丨Jay Alammar 链接丨https://jalammar.github.io/illustrated-bert/本文约4600字，建议阅读8分钟本文中，我们将研究BERT模型，理解它的工作原理，对于其他领域的同学也具有很大的参考价值。 自google在2018年10月底公布BERT在11项nlp任务中的卓越表现后，BERT 就在 NLP 领域大火，在本文中，我们将研究BERT模型，理解它的工作原理，对于其他领域的同学也具有很大的参考价值。 前言 2018年可谓是自然语
2019 年，可谓是 NLP 发展历程中具有里程碑意义的一年，而其背后的最大功臣当属 BERT ！
BERT的设计是通过在所有层中对左右上下文进行联合调节，来预先训练来自未标记文本的深层双向表示。
来源：机器学习初学者本文约4500字，建议阅读8分钟我们将研究BERT模型，理解它的工作原理，这个是NLP（自然语言处理）的非常重要的部分。 导语 自google在2018年10月底公布BERT在11项nlp任务中的卓越表现后，BERT（Bidirectional Encoder Representation from Transformers)就成为NLP领域大火，在本文中，我们将研究BERT模型，理解它的工作原理，这个是NLP（自然语言处理）的非常重要的部分。 正文开始 前言 2018年可谓是自然
BERT(Bidirectional Encoder Representations from Transformers)是谷歌AI研究人员最近发表的一篇论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding。它通过在各种各样的NLP任务中呈现最先进的结果，包括问答(SQuAD v1.1)、自然语言推理(MNLI)等，在机器学习社区中引起了轰动。
最近被 Google 的 BERT （Bidirectional Encoder Representations from Transfoemers）模型给刷屏了。该模型破了 NLP 界的 11 项纪录，所以这两周特意挑选这篇论文来满足好奇心。第一作者还在 Reddit 上进行了解答，具体可以戳：这里。为了方便学习，我翻译了这篇解读（只包含正文）：BERT 论文 - 第一作者的 Reddit 解读说明翻译
BERT是双向转换器（Bi-Transformer）的缩写。这是谷歌在2018年末开发并发布的一种新型语言模型。BERT等经过预处理的语言模型在问答、命名实体识别、自然语言推理、文本分类等自然语言处理任务中发挥着重要作用。
今天介绍中国科学技术大学和微软亚洲研究院朱西洲老师团队在ICLR2020的论文，该研究提出了一种新的图形神经网络的几何聚合方式，其核心思想是：在bert的基础上为视觉-语言相关任务做预训练。
【磐创AI 导读】：本文将会带大家了解XLNet在语言建模中优于BERT的原因，欢迎大家转发、留言。
计算语言：人类语言技术学会北美分会2019年年会（North American Chapter of the Association for Computational Linguistics: Human Language Technologies/NAACL- HLT）于6月2至7日美国明尼阿波利斯举办。NAACL- HLT是A级同行评审会议，是继计算语言学协会（ACL）会议之后，计算语言学界的又一重要事件，即自然语言处理（NLP）。
在机器阅读理解顶级水平测试SQuAD1.1中，Google AI团队新发布的BERT模型，交出了一份惊人的成绩单。
泛化性和鲁棒性是设计机器学习方法的关键。对抗性训练可以增强鲁棒性，但过去的研究经常发现它会损害泛化能力。在自然语言处理（NLP）中，预训练的大型神经语言模型（如BERT）在各种任务的泛化方面表现出了令人印象深刻的增益，而且通过对抗性微调还可以得到进一步的改进。然而，这些模型仍然容易受到对抗性攻击。在本文中，我们证明了对抗性预训练可以提高泛化性和鲁棒性。我们提出了一种通用算法ALUM（Adversarial training for large neural LangUage Models，大型神经语言模型的对抗性训练），它通过在嵌入空间中施加扰动使对抗性损失最大化来调整训练目标。我们首次全面研究了对抗性训练的各个阶段，包括从头开始的预训练、在训练有素的模式下持续的预训练以及特定任务中的微调。ALUM在各种NLP任务上都比BERT获得了可观的收益，无论是在常规场景还是在对抗场景中。即使是在非常大的文本语料库上受过良好训练的模型，如RoBERTa，ALUM仍然可以从连续的预训练中获得显著的收益，而传统的非对抗性方法则不能。ALUM可以进一步与特定任务的微调相结合，以获得额外的收益。代码和预训练模型可在以下网址获得：https://github.com/namisan/mt-dnn。
想象一下——你正在从事一个非常酷的数据科学项目，并且应用了最新的最先进的库来获得一个好的结果!几天后，一个新的最先进的框架出现了，它有可能进一步改进你的模型。
图1. 展示了未微调的BERT(bert-large-cased)无监督NER标记的句子样本
【导读】自然语言处理在深度学习浪潮下取得了巨大的发展，FloydHub 博客上Cathal Horan介绍了自然语言处理的10大发展趋势，是了解NLP发展的非常好的文章。
1 简介 BERT全称Bidirectional Enoceder Representations from Transformers，即双向的Transformers的Encoder。是谷歌于2018年10月提出的一个语言表示模型（language representation model）。 1.1 创新点 预训练方法（pre-trained）： 用Masked LM学习词语在上下文中的表示； 用Next Sentence Prediction来学习句子级表示。 1.2 成功 强大，效果好。出来之时，
想象一下自己正在进行一个非常好的数据科学项目，还为了获得较好的结果用了最前沿的数据库。然后几天后，新一代前沿框架的出现，导致现有模型已经落后了。
在本文中，我将深入研究谷歌的BERT生成的word embeddings，并向你展示如何通过BERT生成自己的word embeddings。
自然语言处理（NLP）已有数十年的历史，但是它缺乏一般的现实世界智能。机器可能擅长数学，但是很难将涉及语音和文本的语言问题转换为他最擅长的数学公式。然而，根据NLP技术的最新突破，NLP迎来了新的“黄金时代”，到2025年，总收入预计将超过220亿美元。
[ 导读 ]自然语言处理在深度学习浪潮下取得了巨大的发展，FloydHub 博客上Cathal Horan介绍了自然语言处理的10大发展趋势，是了解NLP发展的非常好的文章。
谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类！并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等。
最近工作中使用到rasa，其nlu部分有一个rasa自己提出的DIETClassifier框架组建，可用于意图分类与实体识别。今天有空，就来研究下它~
目前，不管是工业界还是学术界，基于 Transformer 的模型已经广泛应用于自然语言处理(NLP)任务中，然而很多人依然对这些模型的内部工作机制知之甚少。
简单来说，嵌入是用向量表示一个物体，这个物体可以是一个单词、一条语句、一个序列、一件商品、一个动作、一本书、一部电影等，可以说嵌入(Embedding)涉及机器学习、深度学习的绝大部分对象。这些对象是机器学习和深度学习中最基本、最常用、最重要的对象，正因如此，如何有效表示、学习这些对象就显得非常重要。 Embedding本身也在不断更新，由最初表现单一的静态向表现更丰富的动态延伸和拓展。具体表现为由静态的Word Embedding、Item Embedding、Graph Embedding、Categorical variables Embedding向ELMo、Transformer、GPT、BERT、XLNet、ALBERT等动态的预训练模型延伸。
GLUE 榜单链接：https://gluebenchmark.com/leaderboard
在信息爆炸的时代，自然语言处理（NLP）成为了一门极其重要的学科。它不仅应用于搜索引擎、推荐系统，还广泛应用于语音识别、情感分析等多个领域。然而，理解和生成自然语言一直是机器学习面临的巨大挑战。接下来，我们将深入探讨自然语言处理的一些传统方法，以及它们在处理语言模型时所面临的各种挑战。
本文讲述Transformers的最新研究进展，由数据科学家 Derrick Mwiti写作。原文标题：Research Guide for Transformers。AI科技评论编译如下：
每当我想到一个问答系统，我脑海中浮现的第一件事就是教室——一个老师回答一个或几个学生举手提出的问题。
非结构化、高维稀疏信息例如临床文本难以在临床机器学习模型中使用。临床文本中包含什么样的临床价值？更加丰富、详细。然而重症监护室医生在有限时间内需要做出最优决策，读大量的临床文本，增加工作量。
雷锋网 AI 科技评论按：自上个月谷歌公开 BERT 模型以来，BERT 模型以其双向、深层等特点，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。惊鸿一瞥后，人们都在期待谷歌何时会放出 BERT 模型源代码。
Attention is not explanation | Attention is not not explanation
在多标签分类问题中，训练集由实例组成，每个实例可以被分配有表示为一组目标标签的多个类别，并且任务是预测测试数据的标签集。例如：
AI 科技评论按：自上个月谷歌公开 BERT 模型以来，BERT 模型以其双向、深层等特点，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。惊鸿一瞥后，人们都在期待谷歌何时会放出 BERT 模型源代码。
当您精通 BERT 后，就该探索先进技术以最大限度地发挥其潜力。在本章中，我们将深入研究微调、处理词汇外单词、领域适应，甚至从 BERT 中提取知识的策略。
继 2018 年谷歌的 BERT 模型获得巨大成功之后，在纯文本之外的任务上也有越来越多的研究人员借鉴了 BERT 的思维，开发出各种语音、视觉、视频融合的 BERT 模型。
文：陈之炎 本文约4400字，建议阅读10+分钟本文对BERT模型预训练任务的源代码进行了详细解读，在Eclipse开发环境里，对BERT 源代码的各实现步骤分步解析。 BERT模型架构是一种基于多层双向变换器（Transformers）的编码器架构，在tensor2tensor库框架下发布。由于在实现过程当中采用了Transformers，BERT模型的实现几乎与Transformers一样。 BERT预训练模型没有采用传统的从左到右或从右到左的单向语言模型进行预训练，而是采用从左到右和从右到左的双向语言
相关概念：灾难遗忘 (McCloskey＆Cohen, 1989; French, 1999) :一个模型忘记了它最初受过训练的任务
作者 | 李航 编译 | 李梅、黄楠 编辑 | 陈彩娴 从俄国数学家 Andrey Markov （安德烈·马尔可夫）提出著名的「马尔科夫链」以来，语言建模的研究已经有了 100 多年的历史。近年来，自然语言处理（NLP）发生了革命性的变化。2001年，Yoshua Bengio 用神经网络进行参数化的神经语言模型，开启了语言建模的新时代。其后，预训练语言模型如 BERT 和 GPT 的出现再次将 NLP 提高到一个新的水平。 最近，字节跳动 AI Lab 的总监李航博士在《ACM通讯》（The Commu
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
