。
基于方面的情感分析（Aspect-Based Sentiment Analysis (ABSA)）任务大家应该已经很熟了，本文的实验基于此。
1. 标题：Towards artificial general intelligence with hybrid Tianjic chip architecture
来源：InfoQ AI前线 本文约1000字，建议阅读5分钟 本文简单介绍了 ChatGPT 的竞争对手中最突出的几个模型。 作为一种人工智能语言模型，ChatGPT 已经成为自然语言处理领域最流行、最有效的工具之一。不过，值得注意的是，ChatGPT 并不是唯一一个 AI 语言模型。这几年，还出现了许多其他的模型，每个竞争对手都提供了独到的功能和优点。本文简单介绍了 ChatGPT 的竞争对手中最突出的几个模型。 本文最初发布于 Analytics Vidhya。 简介 作为一种人工智能语言模型，C
当然，实现起来是有一些tricky的，而且tokenizer并不是真正的bert的tokenizer，中文大部分不会有太大问题，英文的话实际上因为考虑BPE，所以肯定是不行的。
本次论文推送主要有三篇文章为大家分享（都带有源码哦~），第一篇是百度公司发表的，主要讲述了ERNIE2.0语言理解预训练框架。第二篇是华盛顿大学发表的一篇关于BERT预训练模型改进方法。第三篇是石溪大学发表的一篇关于回答英语复杂问题文章，其主要是对KALM进行了改进。
去年 10 月，被誉为「最强 NLP 预训练模型」的 Bert 问世，横扫 11 项 NLP 任务记录。随后问世的 XLNet 打破了这些记录，在 20 项任务上全面超越 BERT。然而，不久前，Facebook 的最新成果，BERT 改进版本——RoBERTa 打败 XLNet 登上了 GLUE 排行榜榜首。
Improved Text Classification via Contrastive Adversarial Training
www.youtube-nocookie.com/embed/ajPx5LwJD-I
当您精通 BERT 后，就该探索先进技术以最大限度地发挥其潜力。在本章中，我们将深入研究微调、处理词汇外单词、领域适应，甚至从 BERT 中提取知识的策略。
机器学习研究人员在自我监督的语言模型预训练方面取得了非凡的成功。自监督学习是不需要标记数据而进行训练。预训练是指通过一项任务来训练模型，并可应用于其他任务。
最初的Transformer是基于广泛应用在机器翻译领域的Encoder-Decoder架构：
之前各种刷榜的BERT和它的各种衍生版本RoBERTa等，都是构建在Transformer基础上。
知识图谱（KGs）包含了许多真实世界的知识，在许多领域都发挥着重要重用，但是大型的知识图谱构建过程需要大量的人工介入。随着语言模型（LMs）的发展，其参数囊括的知识也是极其丰富且应用广泛的，同时语言模型的训练并不需要太多人工干涉。因此，有不少研究证明LMs可以替代KGs，但是这真的是正确的吗？或许我们需要重新审视一下这个观点。
摘要：本篇主要分享能带来线上文本分类效果有效提升的RoBERTa-wwm-ext模型。首先介绍背景，RoBERTa-wwm-ext模型不管在公共数据集上还是在我们线上真实分布数据集上都能带来不错的效果提升，需要重点分析下效果提升的原因。RoBERTa-wwm-ext模型相比于BERT主要有两大方面的优化，第一是RoBERTa预训练模型，第二是基于全词掩码的中文训练方式；然后重点分析RoBERTa预训练模型的六大优化项，包括动态Mask、取消NSP任务、设置更大的batchsize训练、使用更多的数据同时训练更久、调整优化器Adam参数和使用Byte level构建词表等优化策略；最后分析了基于全词掩码的中文预训练方式。希望对文本分类优化感兴趣的小伙伴有所帮助，也欢迎大家分享一些项目实践中的优化策略。
更多内容和代码可以参考这个REPO https://github.com/qhduan/bert-model/
自然语言处理（NLP）技术可以完成文本数据上的分析挖掘，并应用到各种业务当中。例如：
好久没有给大家分享关于NLG的文章了，那么今天就给大家分享两篇关于文本生成的文章，首先第一篇是基于预训练Transformer的条件语言生成模型；然后第二篇是基于单一多模态模型的图文生成；最后，后面可以下载这两篇Paper及其参考Paper。
标题：BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification
语言模型是构建NLP应用程序的关键。现在人们普遍相信基于预训练模型来构建NLP语言模型是切实有效的方法。随着疫情阴霾的散去，相信NLP技术会继续渗透到众多行业中。在此过程中，肯定有很多同学会用到或者学习NLP预训练模型，为此作者整理了目前2023年NLP的十大预训练模型及论文，模型效果不分先后。
题图 "JavaScript Logo"byb0neskullis licensed underCC BY-NC-SA 2.0
随着人工智能技术的飞速发展，大模型（Large Language Models, LLMs）作为近年来的耀眼明星，正引领着自然语言处理乃至整个AI领域的变革。这些模型以其庞大的参数量、强大的学习能力和广泛的应用场景，成为了科研界与产业界的焦点。本文将深入介绍几款具有代表性的AI大模型，探讨它们的发展历程、技术特点、优势及局限性，为读者描绘出这一领域的壮丽图谱。
【1】 Comparison of Czech Transformers on Text Classification Tasks 标题：捷克Transformer在文本分类任务上的比较
我们可以看到，其多轮对话分为问题理解、对话管理、对话引导以及答案生成。其中答案生成其实是预先配置好的。
在自然语言理解中，自然语言推理（Nature Language Inference，NLI）被认为是一个非常基础但重要的研究任务。它要求机器去理解自然语言的深层次语义信息，进而做出合理的推理。更具体的推理任务，则是判断句子关系，即对于给定的两个句子，判断它们含义是否一致。
摘要：本篇从理论到实践介绍了超好用的无监督关键词提取算法Keybert。首先介绍了调研背景；然后重点介绍了什么是Keybert、KeyBERT提取关键词流程和如何通过MSS和MMR算法解决多样性问题；最后从实践的角度介绍了KeyBERT的安装、使用以及影响效果的因素。对于希望使用无监督学习算法抽取关键词的小伙伴可能有帮助。
在 SimCLS [2]论文发布后不久，作者又发布了抽象文本摘要任务的SOTA结果 [1]。BRIO在上述论文的基础上结合了对比学习范式。
今年年初，OpenAI兴致勃勃地发布了Classifier，宣称有了它，谁都能知道某一段文本是不是由GPT生成的，不说拯救世界吧，最起码老师有福了。
每天给你送来NLP技术干货！ ---- 写在前面 在文本理解任务(Natural Language Understanding)上，预训练模型已经取得了质的飞跃，语言模型预训练+下游任务fine-tune基本上已经成为标配。 很多人曾经尝试将 BERT 等预训练语言模型应用于文本生成任务(Natural Language Generation)，然而结果并不理想。究其原因，是在于预训练阶段和下游任务阶段的差异。 BART这篇文章提出的是一种符合生成任务的预训练方法，BART的全称是Bidirectional
摘要：本篇主要总结了一下我在实际项目中对于文本分类任务的优化策略，主要包括预训练模型优化、语义embedding优化、分类层优化、使用知识蒸馏优化、使用标签内容信息优化、优化损失函数、通过半监督和主动学习优化、通过样本增强技术优化。对于想要提升线上文本分类任务效果的小伙伴可能有所帮助。
在NLP领域，谈到超大模型必然想到预训练语言模型GPT-3，自今年3月份对外开放以来，其因超大模型和超强性能频频刷屏。
目前，已经有各种类型的预训练架构，包括自编码模型（例如BERT），自回归模型（例如GPT）和编码器-解码器模型（例如T5）。然而，没有一个预训练框架对三个主要类别的所有任务（自然语言理解（NLU），无条件生成和有条件生成）都表现最佳。 本文主要贡献：
机器之心报道 机器之心编辑部 在本文中，来自哈佛大学、Facebook AI 研究院的研究者提出了一种基于残差能量模型的文本生成方法，效果超过 state-of-the-art 的 transform
感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，绿框中为本期介绍的XLNet，欢迎大家留言讨论交流。
知乎：https://zhuanlan.zhihu.com/p/366133681
“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注。
去年，Google 研究人员发布了 BERT，事实证明，这是继 RankBrain 之后效率最高、效果最好的算法改进之一。从初步的结果来看，BigBird 也显示出了类似的迹象。
CodeBERT是微软在2020年开发的BERT模型的扩展。它是一个用于编程语言(PL)和自然语言(NL)的双峰预训练模型，可以执行下游的(NL-PL)任务，这个模型使用6种编程语言(Python, Java, JavaScript, PHP, Ruby, Go)进行NL-PL的匹配训练。
来源：DeepHub IMBA本文约2700字，建议阅读9分钟本文带你进入Distil细节，并给出完整的代码实现。本文为你详细介绍DistilBERT，并给出完整的代码实现。 机器学习模型已经变得越来越大，即使使用经过训练的模型当硬件不符合模型对它应该运行的期望时，推理的时间和内存成本也会飙升。为了缓解这个问题是使用蒸馏可以将网络缩小到合理的大小，同时最大限度地减少性能损失。 我们在以前的文章中介绍过 DistilBERT [1] 如何引入一种简单而有效的蒸馏技术，该技术可以轻松应用于任何类似 BERT 的
当我们谈论人工智能驱动的搜索引擎时，必应和谷歌SGE（搜索生成体验）是目前上升到顶峰的两个。
机器之心专栏 机器之心编辑部 UNIMO 首次实现了仅用一个预训练模型同时处理多模任务和单模任务，验证了 AI 系统可以像人一样从各种不同模态数据中学习，从而获得更强大且统一的认知能力。 人类大脑能够处理文本、图像、语音等各种模态的信息，并通过模态间的交互增强提升对世界的认知能力。受此启发，百度提出统一模态学习方法，能够同时使用大量文本和图像的单模数据进行学习，并利用图文对的多模数据进行跨模态联想对比，通过预训练获得统一语义表示，从而在多种理解与生成的下游任务上超越 ViLBERT、Oscar 等多模预训
来源：Deephub Imba本文约1500字，建议阅读5分钟在本文中，想展示如何使用仅编码器模型的预训练权重来为我们的微调提供一个良好的开始。 BERT是一个著名的、强大的预先训练的“编码器”模型。让我们看看如何使用它作为“解码器”来形成编码器-解码器架构。 Transformer 架构由两个主要构建块组成——编码器和解码器——我们将它们堆叠在一起形成一个 seq2seq 模型。从头开始训练基于Transformer 的模型通常很困难，因为它需要大型数据集和高 GPU 内存。我们可以使用许多具有不同目标的
BERT是一个著名的、强大的预先训练的“编码器”模型。让我们看看如何使用它作为“解码器”来形成编码器-解码器架构。
近日，Facebook 发表论文，提出一种为预训练序列到序列模型而设计的去噪自编码器 BART。BART 通过以下步骤训练得到：1）使用任意噪声函数破坏文本；2）学习模型来重建原始文本。BART 使用基于 Transformer 的标准神经机器翻译架构，可泛化 BERT（具备双向编码器）、GPT（具备从左至右的解码器）等近期出现的预训练模型，尽管它非常简洁。Facebook 研究人员评估了多种噪声方法，最终通过随机打乱原始句子的顺序，再使用新型文本填充方法（即用单个 mask token 替换文本段）找出最优性能。
摘要：本篇主要分享了我在绿厂广告场景中历时两年的文本分类项目模型优化实践。第一部分内容是背景介绍，包括业务介绍、项目背景及目标、技术选型、分类器组织方案以及技术选型，了解了项目背景的来龙去脉才能更好的完成项目；第二部分内容是文本分类项目模型优化实践，主要包括基于BERT文本分类模型架构、Encoder优化、句向量表示优化、分类层优化、损失函数优化以及文本分类任务转化成句子对关系任务等。通过上述优化实践，可以让我们对文本分类任务有更加深入的了解。文本分类项目应该是我完成度最高的项目之一，从0到1将NLP前沿模型应用到业务实践产生广告消耗，本身收获很大。欢迎感兴趣的小伙伴一起沟通交流，后面会继续分享从样本层面优化文本分类任务实践。
ELECTRA的全称是Efficiently Learning an Encoder that Classifies Token Replacements Accurately，先来直观感受一下ELECTRA的效果：
机器学习模型已经变得越来越大，即使使用经过训练的模型当硬件不符合模型对它应该运行的期望时，推理的时间和内存成本也会飙升。为了缓解这个问题是使用蒸馏可以将网络缩小到合理的大小，同时最大限度地减少性能损失。
BERT推出这一年来，除了XLNet，其他的改进都没带来太多惊喜，无非是越堆越大的模型和数据，以及动辄1024块TPU，让工程师们不知道如何落地。
因在公司负责基础框架的开发设计，所以针对框架源代码的保护工作比较重视，之前也加入了一系列保护措施
微软AI＆Research今天分享了有史以来最大的基于Transformer架构的语言生成模型Turing NLG（下文简称为T-NLG），并开源了一个名为DeepSpeed的深度学习库，以简化对大型模型的分布式培训。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
