自然语言处理（Natural Language Processing，NLP）是人工智能的一个重要分支，它研究能实现人与机器之间用自然语言进行有效通信的各种理论和方法，即让机器“懂”人类的语言。NLP 涉及的面非常广，包括语音识别 、内容理解、信息检索、信息抽取、问答系统、机器翻译、对话系统等。其中短视频的应用场景下，内容标签技术是内容理解的一个重要手段。本文主要给大家介绍多模态短视频内容标签技术及在爱奇艺的相关应用。
个人觉得2021年NLP最火的两个idea，一个是对比学习（Contrastive Learning），另一个就是Prompt
目前，利用提示（Prompt）对预训练模型进行微调，并将其应用到下游任务中是非常常用的方法。（对Prompt不了解的小伙伴可以读一下我之前的文章：一文了解预训练模型 Prompt 调优）但是当应用于复杂标签的关系分类时，由于严格的提示限制，一般的Prompt Tuning方法难以处理具有任意长度的标签表达。受预训练生成模型的文本填充任务的启发，「本文提出了一种新的生成提示调整方法，即将关系分类重新表述为填充问题，从而摆脱了当前基于提示的方法的限制，完全利用了实体和关系类型的丰富语义」。实验证明了本文模型在完全监督和低资源设置下的有效性。
论文标题：SSMix: Saliency-Based Span Mixup for Text Classification
主讲人 | 龙心尘 百度NLP资深研发工程师 量子位编辑 | 公众号 QbitAI 近几年以预训练为代表的NLP技术取得了爆发式发展，新技术新模型层出不穷。企业与开发者如何将最先进的NLP领域科研成果，高效地应用到业务场景中并解决实际问题？ 「百度EasyDL AI开发公开课」中，百度资深研发工程师龙心尘结合世界领先的文心(ERNIE)语义理解技术，通过产业实践案例，深入解析技术选型和模型调优的方法，分享了工程实践中的经验。 讲解分为5个部分： NLP常见任务 NLP典型应用场景 EasyDL-NLP与文心
美团的各个业务有着丰富的NLP场景，而这些场景中模型的构建需要很多的标注资源，成本很高。小样本学习致力于在数据资源稀少的情况下训练出比较好的模型。本文从主动学习、数据增强、半监督学习、领域迁移、集成学习&自训练几个方向介绍了现有的一些方法，并在美团场景进行了实验，效果上也取得了一定的提升。希望能对从事相关研究的同学有所帮助或者启发。
爱可生上海研发中心成员，研发工程师，主要负责 DMP 平台监控告警功能的相关工作。
自然语言处理(NLP)的正式定义：是一个使用计算机科学、人工智能(AI)和形式语言学概念来分析自然语言的研究领域。不太正式的定义表明：它是一组工具，用于从自然语言源(如web页面和文本文档)获取有意义和有用的信息。 NLP工具的实现一般是基于机器学习与深度学习、其它算法(Lucene Core)；基于前两者的实现是比较流行且持续在探索演进。
每天给你送来NLP技术干货！ ---- 排版：炼丹笔记 来源：数据派THU 问题生成任务需要我们根据篇章及对应的答案自动生成相应的问题，即“篇章+答案→问题”这样的流程。 训练集由三个字段（篇章、问题、答案）构成，测试集由两个字段（篇章、答案）构成，其中的问题字段需要我们生成。 根据以上分析，我们可以采用Seq2Seq模型来端到端地实现问题生成，而模型的输入为篇章和答案，输出为问题。 文本长度分布 篇章文本长度在100以下的数据较少，长度区间400-500的数据占比较大。 问题文本长度主要集中
笔记转载于GitHub项目：https://github.com/NLP-LOVE/Introduction-NLP
BERT 来自 Google 的论文Pre-training of Deep Bidirectional Transformers for Language Understanding[1]，BERT 是“Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两个任务来预训练该模型。
在NLP中的Prompt方法中，Prompt Engineering是一项基础工作。Prompt Engineering指的是如何针对当前任务生成prompt模板。最基础的prompt构造方法为人工构造，针对目标问题设计合适的文本模板。Prompt模板的构造方式对效果的影响非常大，是prompt方法成功与否至关重要的因素。那么如何构建对下游任务有效的prompt模板呢？这篇文章详细汇总了近2年10篇论文中3种Prompt Engineering方法，主要包括人工构造prompt、自动生成prompt、隐空间prompt3种类型，看看顶会论文中都是如何构造prompt模板并以此提升prompt效果的。
当涉及到自然语言处理（NLP），数据处理是整个NLP工作流程中的关键环节之一。数据处理涉及到从不同的来源获取、清理和准备文本数据，以便用于训练和评估NLP模型。本文将深入探讨NLP数据处理的重要性、数据预处理步骤、常见的文本清理技巧以及如何利用Python工具来进行数据处理，以及一些高级的NLP数据处理技术。
深度学习有在新的高度得到大家的认可，并驱使更多的爱好者去学习、去探索，已不仅仅在图像、视频及语音领域得到重视。现在在SLAM、NLP、医学、经济学等领域都得到愈来愈多的研究者的重视，今天我们就和大家说说人与物体目标之间的互动检测识别，有兴趣的您可以接下来慢慢享受~
摘要：上一篇广告中那些趣事系列1：广告统一兴趣建模流程，我们了解了如何为广告主圈人群以及如何刻画用户的兴趣度。要想给用户打标签，我们需要构建数据源和标签的关联，也就是item-tag。针对数量较少的app数据源我们可以使用人工打标的方式来识别，但是对于news、用户query等数量较多的数据源则需要通过机器学习模型来进行打标。实际项目中我们使用NLP中鼎鼎大名的BERT模型来进行文本分类。
在数据增强、蒸馏剪枝下ERNIE3.0模型性能提升 项目链接： https://aistudio.baidu.com/aistudio/projectdetail/4436131?contribut
摘要：之前广告行业中那些趣事系列2：BERT实战NLP文本分类任务(附github源码)，我们通过BERT构建了二分类器。这里根据实际项目需要使用BERT构建多标签标注模型，可通过一个模型识别多类标签，极大提升建模效率。实际项目中会根据业务需要同时使用二分类器和多标签标注模型完成文本识别任务。
当涉及到自然语言处理（NLP）中的文本分类与情感分析时，我们进入了一个广泛应用的领域。这种技术不仅有助于组织和分类大量文本数据，还能够自动判断文本中所表达的情感和情感极性。在这篇博客中，我们将深入探讨文本分类与情感分析的定义、重要性、应用领域、技术挑战以及如何使用NLP来实现这些任务。
EMNLP2021有一篇论文标题名为Frustratingly Simple Pretraining Alternatives to Masked Language Modeling，翻译过来就是「简单到令人沮丧的替代MLM的预训练任务」。但我给它加了个问号，因为我觉得首先作者提出的这些方法，对于模型来说太难了，即便是让我去做他所提出的这些预训练任务，我都不一定做得出来。其次是从结果来看效果似乎一般般
模板是网站的主题外观，也被称为主题或皮肤。通过使用不同的模板，网站的前台可以以不同的样式展示。这就像人们的服装一样，人们打扮得漂亮会吸引人，同样地，一个好看的模板不仅能吸引用户的第一眼，还可以更加人性化地展示网站的功能给用户。所以选择一个合适的模板对于网站的吸引力和用户体验非常重要。
在数据增强、蒸馏剪枝下ERNIE3.0模型性能提升 项目链接： https://aistudio.baidu.com/aistudio/projectdetail/4436131?contributi
智能文档分析(IDA)是指使用自然语言处理(NLP)和机器学习从非结构化数据(文本文档、社交媒体帖子、邮件、图像等)中获得洞察。由于80%的企业数据是非结构化的，因此IDA可以跨行业和业务功能提供切实的好处，例如改善遵从性和风险管理、提高内部运营效率和增强业务流程。
数据增强(Data Augmentation, DA)缓解了深度学习中数据不足的场景，在图像领域首先得到广泛使用，进而延伸到 NLP 领域，并在许多任务上取得效果。一个主要的方向是增加训练数据的多样性，从而提高模型泛化能力。
在今年年初，微软发布了一个多任务自然语言理解模型，它在通用语言理解评估基准 GLUE 上取得了当时最好的效果：11 项 NLP 基准任务中有 9 项超过了 BERT。至此，各种 NLP 预训练方法都被提了出来，GLUE 基准也出现越来越多的新研究。
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
在医疗、金融、法律等领域，高质量的标注数据十分稀缺、昂贵，我们通常面临少样本低资源问题。本文从「文本增强」和「半监督学习」这两个角度出发，谈一谈如何解决少样本困境。
多标签分类：使用BERT模型对文本数据进行多标签分类，并借助决策树算法对分类结果进行进一步处理。 关系抽取：根据类别之间的关系，对文本数据进行关系抽取。
「Key insight」: 本文在Lattice LSTM(ACL 2018)[1]的基础上作出了两方面的改进：
每天给你送来NLP技术干货！ ---- 来自：TsinghuaNLP 学术速递 背景 利用Prompt Learning（提示学习）进行文本分类任务是一种新兴的利用预训练语言模型的方式。在提示学习中，我们需要一个标签词映射（verbalizer），将[MASK]位置上对于词表中词汇的预测转化成分类标签。例如{POLITICS: "politics", SPORTS: "sports"} 这个映射下，预训练模型在[MASK]位置对于politics/sports这个标签词的预测分数会被当成是对POLITI
文本清理，也称为文本预处理或文本数据清理，正在准备原始文本数据并将其转换为更干净、更结构化的格式，以用于分析、建模或其他自然语言处理 (NLP) 任务。它涉及各种技术和程序，从文本文档中去除噪声、不一致和不相关信息，使数据更适合文本分析、情感分析、文本分类和机器学习等下游任务。
近年来，预训练模型在自然语言处理（Natural Language Processing, NLP）领域大放异彩，其中最重要的工作之一就是 Google 于 2018 年发布的 BERT 预训练模型 [1]。自被发布以来，BERT 预训练模型就在多项自然语言理解任务上取得了优异的效果，并开启了预训练-微调的 NLP 范式时代，启发了 NLP 领域后续一系列的预训练模型工作。与此同时，BERT 模型在 NLP 相关工业领域也得到了广泛应用，并取得了良好的效果。但由于工业领域相关业务的数据格式的复杂性，以及工业应用对推理性能的要求，BERT 模型往往不能简单直接地被应用于 NLP 业务之中，需要根据具体场景和数据对 BERT 模型加以调整和改造，以适应业务的现实需求。
词性，也称为词类，是词汇的语法属性，是连接词汇到句法的桥梁。 词性标注（Part-of-Speech Tagging或POS Tagging)，又称为词类标注，是指判断出在一个句子中每个词所扮演的语法角色。
而幽默计算是近年来自然语言处理领域的新兴热点之一，其主要研究如何基于计算机技术对幽默进行识别、分类与生成，具有重要的理论和应用价值。
自Google提出Vision Transformer(ViT)以来，ViT渐渐成为许多视觉任务的默认backbone。凭借着ViT结构，许多视觉任务的SoTA都得到了进一步提升，包括图像分类、分割、检测、识别等。
文本分类是自然语言处理的核心思想之一。如果一台机器能够区分名词和动词，或者它能够在客户的评论中检测到客户对产品的满意程度，我们可以将这种理解用于其他高级NLP任务。
文章系统性地回顾了自然语言处理领域中的文本增强技术在近几年的发展情况，重点列举和讨论了 18 年、19 年中人们常用的五类文本增强技术路径以及对应的代表性技术。接下来，文章以金融领域的自然语言处理任务入手，多维度地分析几类通用文本数据增强技术在实际业务问题上的重要价值。文章的结论是，文本增强技术是一类低成本的数据杠杆，可以在不引入新数据下，有效撬动模型性能。
讯飞比赛答辩结束，笔者和小伙伴们参加了一些讯飞的比赛，今年讯飞文本分类比赛相比去年更加多元化，涉及领域、任务和数据呈现多样性，听完各位大佬的答辩之后，结合之前经验和以下赛题总结下文本分类比赛的实战思路。
研究表明，机器学习系统在理论和实践中都容易受到对抗样本的影响。到目前为止，此类攻击主要针对视觉模型，利用人与机器感知之间的差距。尽管基于文本的模型也受到对抗性样本的攻击，但此类攻击难以保持语义和不可区分性。在本文中探索了一大类对抗样本，这些样本可用于在黑盒设置中攻击基于文本的模型，而无需对输入进行任何人类可感知的视觉修改。使用人眼无法察觉的特定于编码的扰动来操纵从神经机器翻译管道到网络搜索引擎的各种自然语言处理 (NLP) 系统的输出。通过一次难以察觉的编码注入——不可见字符（invisible character）、同形文字（homoglyph）、重新排序（reordering）或删除（deletion）——攻击者可以显着降低易受攻击模型的性能，通过三次注入后，大多数模型可以在功能上被破坏。除了 Facebook 和 IBM 发布的开源模型之外，本文攻击还针对当前部署的商业系统，包括 Microsoft 和 Google的系统。这一系列新颖的攻击对许多语言处理系统构成了重大威胁：攻击者可以有针对性地影响系统，而无需对底层模型进行任何假设。结论是，基于文本的 NLP 系统需要仔细的输入清理，就像传统应用程序一样，鉴于此类系统现在正在快速大规模部署，因此需要架构师和操作者的关注。
继续这个系列文章的第一部分（https://medium.com/orb-engineering/naacl-19-notes-practical-insights-for-natural-language-processing-applications-part-i-5f981c92af80），我们调查了NLP任务中最近的一些重要成果，比如文本相似性、文本分类、序列标注、语言生成。
2018年，自然语言处理（Natural Language Processing，NLP）领域最激动人心的进展莫过于预训练语言模型，包括基于RNN的ELMo[1]和ULMFiT[2]，基于Transformer[3]的OpenAI GPT[4]及Google BERT[5]等。下图1回顾了近年来预训练语言模型的发展史以及最新的进展。预训练语言模型的成功，证明了我们可以从海量的无标注文本中学到潜在的语义信息，而无需为每一项下游NLP任务单独标注大量训练数据。此外，预训练语言模型的成功也开创了NLP研究的新范式[6]，即首先使用大量无监督语料进行语言模型预训练（Pre-training），再使用少量标注语料进行微调（Fine-tuning）来完成具体NLP任务（分类、序列标注、句间关系判断和机器阅读理解等）。
他山之石，可以攻玉。美团点评NLP团队一直紧跟业界前沿技术，开展了基于美团点评业务数据的预训练研究工作，训练了更适配美团点评业务场景的MT-BERT模型，通过微调将MT-BERT落地到多个业务场景中，并取得了不错的业务效果。
作者 | 李健 来源 | 源携程技术中心（ctriptech） 随着大数据的应用越来越广泛，人工智能也终于在几番沉浮后再次焕发出了活力。除了理论基础层面的发展以外，本轮发展最为瞩目的是大数据基础设施、存储和计算能力增长所带来的前所未有的数据红利。 人工智能的进展突出体现在以知识图谱为代表的知识工程以及以深度学习为代表的机器学习等相关领域。 未来伴随着深度学习对于大数据的红利消耗殆尽，如果基础理论方面没有新的突破，深度学习模型效果的天花板将日益迫近。而另一方面，大量知识图谱不断涌现，这些蕴含人类大量先验知识的
深度学习模型在计算机视觉与语音识别方面取得了卓越的成就，在 NLP 领域也是可以的。将卷积神经网络CNN应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键信息（类似 n-gram 的关键信息），从而能够更好地捕捉局部相关性。
作者简介 李健，携程度假研发部研发总监，2013年底加入携程，在数据挖掘分析、人工智能方面有一定的实践与积累。 随着大数据的应用越来越广泛，人工智能也终于在几番沉浮后再次焕发出了活力。除了理论基础层面的发展以外，本轮发展最为瞩目的是大数据基础设施、存储和计算能力增长所带来的前所未有的数据红利。 人工智能的进展突出体现在以知识图谱为代表的知识工程以及以深度学习为代表的机器学习等相关领域。 未来伴随着深度学习对于大数据的红利消耗殆尽，如果基础理论方面没有新的突破，深度学习模型效果的天花板将日益迫近。而另一方面
随着大数据的应用越来越广泛，人工智能也终于在几番沉浮后再次焕发出了活力。除了理论基础层面的发展以外，本轮发展最为瞩目的是大数据基础设施、存储和计算能力增长所带来的前所未有的数据红利。
今天为大家介绍的是来自Kamal Choudhary团队的一篇论文。在这项工作中，作者介绍了ChemNLP库，它可用于以下方面：（1）整理材料和化学文献的开放访问数据集，开发和比较传统机器学习、transformer和图神经网络模型，用于（2）对文本进行分类和聚类，（3）进行大规模文本挖掘的命名实体识别，（4）生成摘要以从摘要中生成文章标题，（5）通过标题生成文本以建议摘要，（6）与密度泛函理论数据集集成，以识别潜在的候选材料，如超导体，以及（7）开发用于文本和参考查询的网络界面。作者主要使用公开可用的arXiv和PubChem数据集，但这些工具也可以用于其他数据集。此外，随着新模型的开发，它们可以轻松集成到该库中。
作为业界最权威的中文自然语言理解榜单之一，CLUE从文本分类、阅读理解、自然语言推理等9项任务中全面考核AI模型的语言理解能力。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
