微调特定领域的Bert (无监督) - 腾讯云开发者社区

文章/答案/技术大牛

发布

独家 | 采用BERT的无监督NER（附代码）

展示了未微调的BERT(bert-large-cased)无监督NER标记的句子样本上图仅挑选了用这种方法（BERT）标记的几个实体类型。...区分这些密切相关的实体可能需要对特定领域的语料库进行MLM微调，或者使用scratch中自定义词汇进行预训练（下文将进一步阐述）。...完成这两项测试时都没有对测试的数据进行任何模型的预训练/微调（这与在特定领域数据上对模型进行预训练/微调，或在监督训练中使用带标签的数据形成了鲜明对比）。它是如何工作？...这些挑战可以通过以下多种方法得以改善: 在专有术语语料库上，对模型进行微调，可以帮助减少特定领域实体类型中的歧义。...传统的方法通过对模型训练/微调，利用标记后数据的监督任务来执行该映射。不同于BERT这样的预训练模型，该模型在语料库上进行无监督学习。

2.7K2 0

遥感领域中无监督域适应综述

本篇综述详细介绍了195篇与遥感无监督域适应相关的论文，已经被Remote sensing 2022收录。...主要贡献如下：本文阐明并回顾了遥感领域无监督域适应的方法，主要分为四类：（1）生成训练方法GT，（2）对抗训练方法AT，（3）自训练方法ST，（4）混合训练方法HT。...本文介绍了遥感数据中使用无监督域自适应的方向和案例研究。此外，还专注于基于遥感数据实际困境的无监督域自适应方法，例如多域、部分和开放集问题，包括任务定义和解决方法。...通过与自然图像的UDA方法的比较，深入分析了遥感图像无监督域适应方法可能存在的危害和未来发展方向。...03 遥感中域适应方法回顾本文主要对现有的无监督域适应方法进行系统的概述，主要包含生成微调方法FT、训练方法GT、对抗训练方法AT、自训练方法ST和混合方法HT。

1.3K4 0

您找到你想要的搜索结果了吗？

是的

没有找到

今日 Paper | 动态手势识别；领域独立无监督学习；基于BERT的在线金融文本情感分析等

目录抓取新物体的领域独立无监督学习动态手势识别的短时卷积网络一种基于BERT的在线金融文本情感分析和关键实体检测方法基于语音增强和注意力模型的鲁棒说话人识别新时代的深度学习调参，从拒绝参数初始化看人品开始...抓取新物体的领域独立无监督学习论文名称：Domain Independent Unsupervised Learning to grasp the Novel Objects 作者：Pharswan...基于视觉抓握任务的一个主要挑战是当机械臂遇到新物体时，该如何选择有效的抓握区域。最新的研究都是试图用高计算量和时间为代价的卷积神经网络。这篇论文提出了一种新的无监督学习算法来选择有效抓握区域。...随着互联网的出现和迅猛发展，互联网对金融领域的影响越来越大。怎样快速而准确地从海量金融文本中挖掘有用的信息，已成为投资者与决策者的关注焦点。...这篇论文提出一个基于BERT的情感分析和关键实体检测方法，用于社交媒体的金融文本挖掘和公共观点分析。

7392 0

没数据也能玩转BERT！无监督语义匹配实战

在实际业务中，对给定Query检索特定范围内的词是十分常见的需求。对于字面上的匹配总体来说并不复杂，但实际效果就仅限于有字符交集的词语。...大红大紫的BERT，来做无监督的Query-词的语义匹配。难点分析与思路那么，你说的这个无监督的Query-词的语义匹配，到底难在哪里呢？...无训练语料首先自然是无监督啦，在千奇百怪的实际业务中很难在网上找到适合训练的语料，而基于种种原因不能或不想标注的话，你大概率要和有监督say no了。...无监督的弱势十分明显，给定一个query和词，模型都不知道他们是否相关，那怎么办？...这里你可能会问，大家都拿BERT来做有监督，在它后面再加一两层网络然后用自己业务的有监督数据微调，要怎么做无监督啊？

2.4K3 0

基于Bert-NER构建特定领域中文信息抽取框架

本文通过多个实验的对比发现，结合Bert-NER和特定的分词、词性标注等中文语言处理方式，获得更高的准确率和更好的效果，能在特定领域的中文信息抽取任务中取得优异的效果。 ?...1 信息抽取和知识图谱目录 1 命名实体识别 Bert-BiLSTM-CRF命名实体识别模型 NeuroNER和BertNER的中文NER对比 Bert-NER在小数据集下训练的表现 2 中文分词与词性标注...命名实体指的是文本中具有特定意义或者指代性强的实体，常见的包括人名、地名、组织名、时间、专有名词等。就目前来说，使用序列标注的方法能够在NER任务中获得比较优异的效果，相对来说比较成熟。 ?...本文对比了基于Bert的命名实体识别框架和普通的序列标注框架在模型训练、实体预测等方面的效果，并对基于小数据集的训练效果做出实验验证。...1.2.2 Bert-BiLSTM-CRF：随着Bert语言模型在NLP领域横扫了11项任务的最优结果，将其在中文命名实体识别中Fine-tune必然成为趋势。

3.1K3 0

ReID：无监督及领域自适应的目标重识别概述

无监督（unsupervised）及领域自适应（domain adaptive）的目标重识别是目标重识别领域中两个重要的研究方向，同时二者又关系密切。...本文中部分配图和内容参考葛艺潇：无监督及领域自适应的目标重识别。...即ReID的跨域表现非常差，对抗领域差异的能力很弱。领域自适应ReID就是为了解决这个问题，领域自适应ReID要求通过有标注的源域数据预测无标注的目标域数据。 ?...solutions 无监督ReID任务由于没有被标定的源域，所以只剩下伪标签类（pseudo-label-based）方法，其伪标签类方法与领域自适应的伪标签方法非常相似，区别就在于前者没有通过源域中的训练得到的模型...methods 同样的，大多数应用到领域自适应的目标重识别方法，都可以应用到无监督目标重识别上 pseudo-label-based MMT SpCL Cluster Contrast ReID

3.2K5 1

用微调的BERT回答问题

我们将使用一个已经从HuggingFace Transformers库微调Bert模型来回答问题，从CoQA数据集的基础上。我确信，通过查看代码，你将认识到为我们的目的使用微调模型是多么容易。...从这个库中很容易找到一个特定于任务的模型并执行我们的任务。所以，让我们开始，但让我们首先看看我们的数据集。 JSON数据有很多字段。...对于文本分类这样的任务，我们需要对数据集进行微调。但是对于问答任务，我们甚至可以使用已经训练过的模型，即使我们的文本来自完全不同的领域，也能得到不错的结果。...为了得到好的结果，我们使用了一个BERT模型，这个模型在 SQuAD 基准上进行了微调。...事实上，我们的BERT模型给出了更详细的回答。这里有一个小函数来测试BERT对上下文的理解程度。我只是将问答过程作为一个循环来使用模型。

1.7K3 0

解决语义搜索痛点，基于对比学习的领域特定文本嵌入模型微调实践

文本嵌入模型能够将文本转换为具有语义意义的向量表示，广泛应用于检索、分类等多种任务场景。然而，通用嵌入模型在处理特定领域任务时往往存在性能瓶颈。微调技术为解决这一问题提供了有效途径。...基于对比学习的嵌入微调方法嵌入微调通过在特定任务数据上进行额外训练来调整预训练模型的表示能力。这种方法特别适用于需要匹配不同长度文本（如简短查询与详细文档）或理解领域特定术语的场景。...评估结果显示，微调后的模型在验证集上达到99%的准确率，在测试集上实现100%的准确率，表明微调过程显著提升了模型在特定任务上的性能。...微调后的模型在测试集上实现了100%的准确率，充分证明了针对特定领域进行模型优化的必要性和可行性。...通过精心设计的对比学习框架，模型能够更好地理解领域特定的语义关系，显著提升检索的精确性和相关性。展望未来，嵌入技术将朝着更加智能化和多元化的方向发展。

2881 0

FAIR最新无监督研究：视频的无监督时空表征学习

近期，FAIR的Kaiming He组发布了关于视频的无监督学习研究：A Large-Scale Study on Unsupervised Spatiotemporal Representation...论文的核心是将近期图像中的无监督学习方法应用在视频的无监督训练中。这个工作实验非常充分，也只有Facebook和Google 这样的大厂才有足够的资源来做这样的大规模实验。...论文中共选取了四种无监督学习方法：MoCo，BYOL，SimCLR，SwAV。其中MoCo和SimCLR是需要负样本的对比学习方法，而BYOL和SwAV是只依赖正样本的无监督学习方法。...这四种方法原本都是用于图像的无监督训练，视频相比图像只是多了一个时间维度，这些方法可以非常容易地扩展到视频的无监督学习中。无论是图像分类还是视频分类，无监督就是要学习到特征不变量。...当无监督用于下游任务时，无监督训练方法在某些数据集上甚至可以超过有监督训练的方法，如基于BYOL在K400-240K无监督训练后应用在AVA和SSv2数据集上性能可以超过直接基于K400-240K的有监督训练后再在两个数据集上

1.1K3 0

BERT微调效果不佳？不如试试这种大规模预训练模型新范式

第一阶段，通过大量的训练数据（一般是无监督样本）与模型参数，从文本中学习到通用的知识；第二阶段，针对下游特定领域以及任务，利用已有的有监督数据，对上一步的通用模型进行微调，获得领域/任务适应的模型会达到更好的效果...更好的效果？其实并不一定，实际在应用上述两个阶段的过程中，会遇到许多问题。比如，直接使用预训练BERT太泛化，无法精确学习特定任务的知识，而微调又缺乏足够的有监督数据。...这时候就需要想别的方案了：第一种，标微调有监督数据（有钱就请众包，没钱就......）第二种，把领域/任务相关的无监督数据加入第一阶段预训练，但这样就和初衷有些矛盾了，到底是该学通用的模型呢？...，使用mid-scale 领域相关的无监督数据，数据集大约包含「10M」词「微调阶段（Fine-tuneing）」：don't say so much，数据集大约包含「10K」词任务主导预训练...2、置信度如何的得到？利用在特定任务上微调后的BERT模型产出置信度 3、如何给无监督的领域数据标记任务关键词？

1.9K4 0

MG-BERT:利用无监督原子表示学习来预测分子性质

此外，本文提出了一种有效的自监督学习策略，即掩蔽原子预测，对MG-BERT模型进行预处理，以挖掘分子中的上下文信息。...值得注意的是，基于自动编码器等模型的无监督方法已被应用于SMILES，从大量的无标记数据中学习有用的表示.这些模型可以通过训练大量的未标记数据来将离散分子嵌入到一个连续的向量空间中。...标签数据的缺乏促使了自监督或半监督学习方法在其他领域的发展。在自然语言处理领域，最近提出的BERT模型可以利用大量的未标记文本进行预先训练，显著提高各种下游任务的性能。...训练的个数最终达到153万。在微调阶段，对预训练模型进行进一步训练，以预测特定分子的性质。...如下图所示，添加氢的MG-BERT模型的预训练精度可以达到98.31%，而无氢模型的预训练精度只能达到92.25%。 ? 从下表所示的微调结果可以看出，MG-BERT含氢模型的性能远远好于无氢模型。

1.6K5 0

一款多模态无监督泛领域AI知识引擎

我们正在随波逐流但却另辟蹊径地向所有领域的政企用户推出我们的新作:”文昕”，一款多模态开放域的无监督自动构建的语义知识引擎技术和平台系列产品。...技术角度：文昕(TextLink)是一款基于人工智能的泛领域无监督多模态知识引擎，通过大量自然语言处理算法和知识图谱技术来实现泛领域语义知识图谱自动构建的知识结构化的智能工具。...应用角度：文昕(TextLink)是一款通过人工智能技术，挖掘三层知识颗粒度来为读者提供：海量半结构化、非结构化数据快速导读；语义主题全景解析、主题筛选和对比；泛领域语义知识图谱自动构建等应用，并通过这些能力重新诠释知识应用的生命周期...图片价值角度：文昕(TextLink)实现的决不仅仅是传统意义上的知识管理解决方案，更是知识在多模态数据中的本质穿透、知识的高度结构化图形阅读模式、垂直领域全库全网的知识超链、全景知识画像、基于AI的知识协同能力等在业界领先的知识萃取的全新价值...综上，文昕(TextLink)颠覆了传统知识库的应用模式，也改变了AI和知识图谱领域在泛领域（无学科和行业边界）的知识萃取模式，暨无需专家团队对知识图谱的构建干预、无需大量业务语料训练的昂贵成本的全自动无监督知识中台的实现

6910 0

RAG还是微调？微软出了一份特定领域大模型应用建设流程指南

机器之心报道编辑：rome 检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？...微软的这篇论文供你选择时进行参考。在构建大语言模型应用程序时通常有两种常见的方法来整合专有和特定领域的数据：检索增强生成和微调。检索增强生成通过外部数据增强提示，而微调将额外的知识整合到模型本身中。...本文的目标是为特定行业创建有价值的知识资源，以农业为案例研究，最终的目标是能为 LLM 在农业领域的发展做出贡献。...本文涉及的是农业研究，目标是生成该特定领域的答案。因此研究的起点是农业数据集，它被输入到三个主要组件中：问答生成、检索增强生成和微调过程。...方法本文第 2 部分详细介绍采用了方法论，包括数据获取过程、信息提取过程、问题和答案生成，以及模型的微调。该方法论围绕着一个旨在生成和评估用于构建领域特定助手的问答对流程展开，如下图 1 所示。

6921 0

BERT大魔王为何在商业环境下碰壁？

这种通用的“知识”有助于弥合不同任务和领域之间的鸿沟，并且可以通过微调步骤来提高数据效率。最近的一篇论文“ What Does BERT Look At?...值得注意的是，以无监督的方式训练并且没有任何标记数据的模型能够学习语言的通用方面。 ? 预训练模型能解决动态商业环境的挑战吗? 在一些动态的商业环境中，根本不可能生成任何标记数据。...在这种情况下，不断标记新的训练数据将是无效且永无止境的任务，这些情况需要无监督的领域自适应（domain adaption）系统，该系统使用来自一个领域（source domain）的现有标记数据进行训练...使用标记的目标域数据对BERT进行微调（绿色条）与仅对源域数据进行微调BERT或从头训练RNN（蓝色和橙色条）之间存在很大差距，这表明预训练的学习信息预训练期间的模型比从头开始的训练产生了一些增强，但是当无法从目标域中获得标记数据时...或者说得更直白些：仅使用源域数据对预训练模型进行微调仍远远不能解决无监督域自适应问题。 ?

9401 0

Transformer预训练模型已经变革NLP领域，一文概览当前现状

SSL 与监督学习和无监督学习等其它流行学习范式具有一些相似性。SSL 与无监督学习的相似之处是它们都不需要人类标注的实例。...但是，它与无监督学习也有不同之处：a) SSL 需要监督，而无监督学习没有监督；b) 无监督学习的目标是识别隐藏模式，而 SSL 的目标是学习有意义的表征。...为了将其扩展到其它单语言和特定领域的 T-PTLM，还需要进一步的研究。超越朴素的微调为了将预训练模型用于下游任务，微调是最常用的方法。...举个例子，Prefix-tuning 等基于提示的微调方法仅需要 0.1% 的针对特定任务的参数，而基于 adapter 的微调则需要 3% 的针对特定任务的参数。...尽管这种方法通过调整模型以适应特定的领域或语言能得到良好的结果，但如果缺少领域或语言特定的词汇库，下游模型的性能会受到影响。近期有研究者提出了扩展词汇表然后持续预训练的方法。

1.5K6 0

169 篇论文带你看 BERT 在 NLP 中的 2019 年！

我收集了 169 篇与 BERT 相关的论文，并手动将它们标记为几个不同的研究类别（例如：构建特定领域的 BERT 版本、理解 BERT 的内部机制、构建多语言BERT 等）。...在 Transformer 中，它的深度是指 Transformer 中模块的数量。 BERT 模型通过使用上述 Transformer 设置，在 2 个无监督语言模型上进行训练。...四、微调 BERT 一旦训练好的基础的 BERT 模型，后续通常需要经过两个步骤来对其进行微调：首先在无标签数据上继续进行无监督训练，然后通过添加一个额外的层并在新目标上训练，从而学习实际的任务（这里无需使用过多的标记数据...我将论文中用到的此前语言模型预训练和微调常用的一些主要方法总结如下：无监督的基于特征的方法（如 ELMo），该方法使用预训练表示作为输入特征，但使用针对特定任务的架构（比如：它们为每个新任务更改模型结构...无监督的微调方法（如 OpenAI 的 GPT 模型），它对有监督的下游任务的所有预训练参数进行微调，并且只通过引入一些针对特定任务的参数，来最小程度地改变模型结构。

7392 1

Bert时代的创新：Bert在NLP各领域的应用进展

不擅长处理哪些类型的应用？哪些 NLP 应用领域是 Bert 擅长但是还未开垦的处女地？Bert 的出现对 NLP 各个领域的传统技术会造成怎样的冲击？未来会形成统一的技术方案吗？...，方法都很简单直接，效果总体而言比较好，当然也需要分具体的领域，不同领域受益于 Bert 的程度不太相同。...至于在阅读理解里面应用 Bert 的效果，你去看 SQuAD 竞赛排行榜，排在前列的都是 Bert 模型，基本阅读理解领域已经被 Bert 屠榜了，由这个也可以看出 Bert 在阅读理解领域的巨大影响力...应用领域：其它除了上面我进行了归类的 Bert 应用外，还有零星一些其它领域的 Bert 应用工作，这里简单提几句。...当然，这里面有些因素是我个人无依据的推论，实际情况需要实验证明，所以还请谨慎参考。

1.7K3 0

AI: GPT与BERT两大自然语言处理模型的比较

近年来，人工智能领域的两大重要模型——GPT（Generative Pre-trained Transformer）和BERT（Bidirectional Encoder Representations...这两个模型在自然语言处理（NLP）领域表现出色，但它们在架构、训练方法和应用场景上有显著的差异。本文将深入探讨GPT和BERT的核心特点、技术原理以及各自的优缺点。...预训练和微调：GPT先在大规模文本数据上进行无监督预训练，然后在特定任务上进行有监督微调。 2....掩码语言模型（MLM）：BERT在预训练时，通过掩盖部分单词并预测这些单词，增强了模型的语义理解能力。预训练和微调：与GPT类似，BERT也采用预训练和微调的方式，但其预训练任务更加多样。 2....未来，随着技术的不断发展，GPT和BERT将继续在各自领域中发挥重要作用，为自然语言处理的应用带来更多可能。

4.1K2 1

模型跨界成潮流？OpenAI用GPT-2做图像分类，实现SOTA性能

无监督和自监督学习，或者无人工标注数据的学习，这些都是机器学习领域长期存在的挑战。...这是因为，与 GPT-2 和 BERT 这类依赖于词预测的无监督学习算法相比，像素序列无法清楚地包含它们所属图像的标签。...结果表明，当面对一个正确模型先验未知的新领域时，大型 GPT-2 模型可以学习优秀特征，并且不需要领域特定的架构设计选择。 iGPT 处理图像任务的效果如何 iGPT 可实现较好的图像补全效果。...研究者发现，尽管 BERT 模型的 linear probe 性能明显较差，但在微调方面 BERT 模型仍然表现亮眼： ?...考虑到这些局限性，该研究工作主要是概念证明，证明了基于 Transformer 的大型语言模型在一些新领域中可以学习优秀的无监督表征，而无需硬编码领域的知识。

1K3 0

大模型训练的艺术：从预训练到增强学习的四阶段之旅

训练这样复杂的模型并非一日之功，而是需历经精心设计的四个阶段：预训练、监督微调（SFT）、奖励模型训练、以及增强学习微调（RL）。本文将深入探索这四大阶段，揭示每一步骤背后的技术逻辑和实施细节。...这一步骤通常使用自监督学习策略，如掩码语言模型（如BERT）或对比学习（如SimCLR）。实施细节：模型会尝试预测被遮盖的部分或在图像中找出相似性，从而在无监督环境下学习数据的内在特征。...应用场景：预训练模型如BERT、RoBERTa在自然语言处理领域被广泛应用，为后续的微调和具体任务适应奠定了坚实的基础。 2....监督微调阶段（Supervised Finetuning, SFT）核心目标：将预训练得到的通用模型适应特定任务。...通过在特定领域的带标签数据集上进行微调，模型学习特定任务的输出模式，比如情感分析、命名实体识别或图像分类。

5.5K1 0

点击加载更多

独家 | 采用BERT的无监督NER（附代码）

遥感领域中无监督域适应综述

今日 Paper | 动态手势识别；领域独立无监督学习；基于BERT的在线金融文本情感分析等

没数据也能玩转BERT！无监督语义匹配实战

基于Bert-NER构建特定领域中文信息抽取框架

ReID：无监督及领域自适应的目标重识别概述

用微调的BERT回答问题

解决语义搜索痛点，基于对比学习的领域特定文本嵌入模型微调实践

FAIR最新无监督研究：视频的无监督时空表征学习

BERT微调效果不佳？不如试试这种大规模预训练模型新范式

MG-BERT:利用无监督原子表示学习来预测分子性质

一款多模态无监督泛领域AI知识引擎

RAG还是微调？微软出了一份特定领域大模型应用建设流程指南

BERT大魔王为何在商业环境下碰壁？

Transformer预训练模型已经变革NLP领域，一文概览当前现状

169 篇论文带你看 BERT 在 NLP 中的 2019 年！

Bert时代的创新：Bert在NLP各领域的应用进展

AI: GPT与BERT两大自然语言处理模型的比较

模型跨界成潮流？OpenAI用GPT-2做图像分类，实现SOTA性能

大模型训练的艺术：从预训练到增强学习的四阶段之旅

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐