在本文中，我们将介绍自然语言处理（NLP）在迁移学习上的最新应用趋势，并尝试执行一个分类任务：使用一个数据集，其内容是亚马逊网站上的购物评价，已按正面或负面评价分类。然后在你可以按照这里的说明，用你自己的数据重新进行实验。
迁移学习模型的思路是这样的：既然中间层可以用来学习图像的一般知识，我们可以将其作为一个大的特征化工具使用。下载一个预先训练好的模型（模型已针对ImageNet任务训练了数周时间），删除网络的最后一层（完全连接层），添加我们选择的分类器，执行适合我们的任务（如果任务是对猫和狗进行分类，就选择二元分类器），最后仅对我们的分类层进行训练。
当前许多情感分类在产品或电影评论数据集中获得了很高的分数，但是在金融领域中，这些方法的性能却大大落后。 出现这种差距的原因是行业专用语言表达，它降低了现有模型的适用性，并且缺乏高质量的标记数据来学习特定领域的积极和消极的新上下文。在没有大量训练数据集的情况下，迁移学习可以成功地适应新领域。本文探讨了NLP迁移学习在金融情感分类中的有效性。本文提出了一个基于BERT的语言模型FinBERT，它将一个金融情绪分类任务在FinancialPhrasebank数据集中的最新性能提高了14个百分点。
总第515篇 2022年 第032篇 近日，美团搜索与NLP部NLP中心语义理解团队的小样本学习模型FSL++在中文小样本语言理解权威评测基准FewCLUE榜单登顶，在自然语言推理（OCNLI）单任务中取得第一，并在极少数样本（一个类别仅100余个）的条件下，在新闻分类(TNEWS)、科学文献学科分类（CSLDCP）任务上超过了人类识别精确度。 1 概述 2 方法介绍 2.1 增强预训练 2.2 模型结构 2.3 数据增强 2.4 集成学习&自训练 3 实验结果 3.1 数据集介绍 3.2 实验对比 4
2017年，谷歌的研究人员发表了一篇论文，提出了一种用于序列建模的新型神经网络架构。 被称为Transformer的这一架构在机器翻译任务上的表现优于循环神经网络（RNN），在翻译质量和训练成本方面都是如此。
AI 科技评论按：虽然ACL 2017已经落下帷幕，但对精彩论文的解读还在继续。下面是 AI 科技评论在ACL现场记录的Zhilin Yang的报告。Zhilin Yang 是卡耐基·梅隆大学计算机学院语言技术研究院的一名博士生，William W. Cohen和Ruslan Salakutdinov两位大牛的高徒。 目前，QA对数据集的获取需要人工标注，这往往代价比较大。Z Yang他们提出了一种半监督的Generative Domain-Adaptive Nets模型，通过引入GAN和domain ta
在这篇文章中，我们讨论了基于gensim 包来可视化主题模型 (LDA) 的输出和结果的技术
ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！视频和课件等资料的获取方式见文末。
本文将解释如下术语：T5，C4，Unified Text-to-Text Tasks
神经网络实际上就是在学习一种表示，在CV领域，良好的视觉和视觉语言（vision and vision-language）表征对于解决计算机视觉问题(图像检索、图像分类、视频理解)至关重要，并且可以帮助人们解决日常生活中的难题。
得益于迁移学习，计算机视觉领域的发展非常迅速。有着几百万个参数的高度非线性模型通常需要大型数据集的训练，经过几天甚至几周的训练，也只能分辨猫狗。
【新智元导读】Facebook 昨天推出了基于深度学习的文本理解引擎 DeepText，使用多个深度神经网络构架，结合监督学习与无监督学习，可以从零开始，在词和字符的水平上进行学习。官方称 DeepText 准确率已达到人类水平，该技术有望革新新闻订阅和广告推送模式。将来 DeepText 变得更加智能，再与 Facebook 虚拟助理 M 整合，Facebook 就能更好地连接商家与消费者，在平台上形成一个闭环。当用户的资讯、社交、消费和娱乐等需求都能在 Facebook 得到满足时，还会有人使用谷歌搜索
随着大型语言模型 (LLM) 的应用，只需使用自然语言描述任务并提供一些示例，人们就能够方便的通过Prompt创建NLP系统。然而，相比传统的专用NLP模型，大型语言模型仍然存在计算资源紧张等问题。为此，本文提出了Prompt2Model平台架构，采用自然语言描述任务，并用它来「训练有利于部署的专用模型」。实验结果显示：Prompt2Model训练的模型的「性能比ChatGPT的结果平均高出20%，同时尺寸最多缩小700倍」。
谷歌用一篇诚意满满(财大气粗)的基于实验的综述，试图帮助研究者们「拨开云雾见光明」。论文十分适合该领域的初学者通读，写的十分友好，不过由于涉及到的模型/技术很多，所以遇到不熟悉的部分还是需要自行了解。
🙋♂️声明：本人目前大学就读于大二，研究兴趣方向人工智能&硬件（虽然硬件还没开始玩，但一直很感兴趣！希望大佬带带）
主题建模是自然语言处理（NLP）和文本挖掘中常用的技术，用于提取给定文本的主题。利用主题建模，我们可以扫描大量的非结构化文本以检测关键词、主题和主题。
美团的各个业务有着丰富的NLP场景，而这些场景中模型的构建需要很多的标注资源，成本很高。小样本学习致力于在数据资源稀少的情况下训练出比较好的模型。本文从主动学习、数据增强、半监督学习、领域迁移、集成学习&自训练几个方向介绍了现有的一些方法，并在美团场景进行了实验，效果上也取得了一定的提升。希望能对从事相关研究的同学有所帮助或者启发。
你好，世界！！我最近加入Jatana.ai 担任NLP研究员（实习生and），并被要求使用深度学习模型研究文本分类用例。在本文中，我将分享我的经验和学习，同时尝试各种神经网络架构。我将介绍3种主要算法，例如：
目前，最先进的 NLP 架构模型通常重用在 Wikipedia 和 Toronto Books Corpus 等大型文本语料库上预训练的 BERT 模型作为基线 。通过对深度预训练的 BERT 进行微调，发明了许多替代架构，例如 DeBERT、RetriBERT、RoBERTa ……它们对各种语言理解任务的基准进行了实质性改进。在 NLP 中的常见任务中，成对句子评分在信息检索、问答、重复问题检测或聚类等方面有广泛的应用。通常，提出了两种典型的方法：Bi-encoders 和 Cross-encoders。
从婴儿时期的「物体恒存」开始，我们知道跟我们玩躲猫猫的大人其实并没有消失，他们就藏在某个地方，只是被某个东西挡住了。
半监督网络的训练分两步进行：a)对标记数据独立训练学生模块，由教师模块生成伪标签；b)结合两个模块的训练，得到最终的预测结果。
网友推荐的Statistical Modeling: The Two Cultures大受好评，强调经典统计数据和ML预测/建模之间的重要区别。
随着自然语言处理（NLP）领域的不断发展，研究者们逐渐关注到处理小样本学习和元学习的问题。小样本学习指的是在有限的数据集上训练模型，而元学习则涉及在不同任务之间进行学习，从而使得模型能够更好地适应新任务。本文将深入探讨在NLP中应用小样本学习与元学习的重要性，以及通过实例展示这些技术如何推动自然语言处理领域朝着更智能的方向发展。
随着自然语言处理（NLP）领域的不断发展，零样本学习作为一种创新性的方法引起了广泛关注。传统机器学习模型通常需要大量的标记样本进行训练，但在实际场景中，获取足够的标记数据是一项耗时且成本高昂的任务。零样本学习的目标是通过学习从未见过的类别或领域，从而克服传统学习方法的限制。本文将深入研究NLP领域中零样本学习的应用，包括原理、挑战以及实际案例，展示零样本学习是如何推动NLP领域的创新。
我们总结了2018年以来最重要的10篇AI研究论文，让你对今年机器学习的进展有一个大致的了解。当然，还有很多具有突破性的论文值得一读，但我们认为这是一个很好的列表，你可以从它开始。
深度学习之所以能够成功的关键因素，是算法的进步，以及并行处理硬件（GPU / TPU）以及大型标记数据集（如ImageNet）。
每天给你送来NLP技术干货！ ---- 干货 作者：Sik-Ho Tsang 来自：炼丹笔记 Curriculum Labeling (CL)，在每个自训练周期之前重新启动模型参数，优于伪标签 (PL)。 Pseudo-Labeling (PL) 通过将伪标签应用于未标记集中的样本以在自训练周期中进行模型训练。Curriculum Labeling (CL)中，应用类似课程学习的原则，通过在每个自学习周期之前重新启动模型参数来避免概念漂移。该论文发布在2021 AAAI 。 伪标签 (PL
本系列文章总结自然语言处理（NLP）中最基础最常用的「文本分类」任务，主要包括以下几大部分：
文本分类是 NLP 中最常见的任务之一， 它可用于广泛的应用或者开发成程序，例如将用户反馈文本标记为某种类别，或者根据客户文本语言自动归类。另外向我们平时见到的邮件垃圾过滤器也是文本分类最熟悉的应用场景之一。
NVIDIA DGX SuperPOD在短短47分钟内训练BERT-Large，并训练GPT-2 8B，这是有史以来最大的具有8.3Bn参数的Transformer网络。
最近语言模型在自然语言理解和生成方面取得了显著进展。这些模型通过预训练、微调和上下文学习的组合来学习。在本文中将深入研究这三种主要方法，了解它们之间的差异，并探讨它们如何有助于语言模型的学习过程。
llm对文本指令非常有用，但是如果我们尝试向模型提供某种文本格式的表格数据和该表格上的问题，LLM更有可能产生不准确的响应。
【新智元导读】吴恩达在他的 NIPS 2016 tutorial 中曾说，迁移学习将是监督学习之后的，在ML 的商业应用中得到成功的下一波动力。现实世界是混乱的，包含无数新的场景。迁移学习可以帮助我们处理这些新遇到的场景。本文从迁移学习的定义、意义、应用、方法、相关研究等方面为读者展示了迁移学习令人激动的全景。 近年来，深度神经网络的进展很快，训练神经网络从大量有标记数据中学习输入和输出的映射变得非常准确，无论这些映射是图像、句子、还是标签预测，等等。 这些模型仍然不足的是将其泛化到与训练时不同的条件的
想象一下——你正在从事一个非常酷的数据科学项目，并且应用了最新的最先进的库来获得一个好的结果!几天后，一个新的最先进的框架出现了，它有可能进一步改进你的模型。
随着研究人员提出新的目标、更大的模型和独特的基准，公开可用的 NLP（自然语言处理）数据集的规模、种类和数量迅速扩大。精选数据集用于评估和基准测试；监督数据集用于训练和微调模型；预训练和语言建模需要大量的无监督数据集。除了注释方法之外，每个数据集类型都有不同的规模、粒度和结构。
经典的监督机器学习范式是基于对使用单个数据集的任务的单个预测模型的孤立学习。这种方法需要大量的训练示例，并且对于定义明确、范围狭窄的任务效果最好。迁移学习指的是一组方法，这些方法通过利用来自其他域或任务的数据来训练具有更好泛化特性的模型来扩展此方法。
众所周知，大语言模型(LLM)正在飞速发展，各行业都有了自己的大模型。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。
BERT 是由 Google 开发的自然语言处理模型，可学习文本的双向表示，可在许多不同任务中的显著提升在上下文中理解无标记文本的能力。
GPT-3和ChatGPT等语言模型在遵循不同的人类指令和执行各种任务方面表现出卓越的能力，然而在表格数据（结构化数据）理解任务中表现不佳。这可能是因为这些模型主要是在一维自然语言文本上预训练的，而表格作为二维对象，需要更复杂的信息处理能力。（个人认为也可能因为神经网络不太擅长异构数据，也不太擅长数值表示）
安装虚拟环境：为了隔离依赖并防止与其他Python项目冲突，最好为ChatGPT开发创建一个虚拟环境。
一年前，网友在 reddit 上提问道，生成式对抗网络 GAN 是否可以应用到自然语言处理上。GAN 理论的提出者，OpenAI 的科学家，深度学习理论奠基人之一 Yoshua Bengio 的得意门生 Ian Goodfellow 博士回答了这个问题：
串起来就是，使用CVE存量EXP数据，训练EXP预测模型，并持续监控获取增量EXP数据，重训练模型，不断迭代，以预测新增CVE的EXP可能性。
本文转载自知乎，为最近新出的论文 A Survey of Deep Active Learning 中文版介绍，原文作者调研了189 篇文献综述了深度主动学习的进展。文章较长，建议先收藏再阅读。
(Stanford)69G大规模无人机(校园)图像数据集【Stanford】 http://cvgl.stanford.edu/projects/uav_data/
自 8.0 和用于文本嵌入的第三方自然语言处理 (NLP) 模型发布以来，Elastic Stack 的用户可以访问各种模型来生成文本文档的embedding并使用向量量搜索执行基于查询的信息检索。
近日，谷歌AI发布了一篇博文，博文指出可以对无标注数据执行数据增强，从而显著提高了半监督学习(SSL)的性能，因此研究人员相信"半监督学习将再度兴起！"
http://cvgl.stanford.edu/projects/uav_data/
本文主要针对可解释可视化推荐任务提出的大模型相关方法LLMVis，现有的各种基于机器学习的方法通常需要大量的可视化对数据集（数据和标签）来进行训练，并且其结果缺乏可解释性。
领取专属 10元无门槛券
手把手带您无忧上云
