1回答
我想在与特定领域(在我的例子中与工程相关)相关的文本上对BERT进行微调。训练应该是无人监督的，因为我没有任何标签或任何东西。这个是可能的吗？
浏览 27提问于2020-11-06得票数 5
回答已采纳
1回答
我读过很多文章和论文，提到了如何进行无监督的培训，而培训前的伯特模型。我想知道是否有可能在没有监督的情况下微调一个伯特模型，还是总是需要监督？
浏览 0提问于2021-09-23得票数 3
回答已采纳
1回答
我正在尝试为一些特定类型的文本生成良好的句子嵌入，使用句子转换模型测试相似度，而使用kmeans进行聚类并不能给出好的结果。有什么需要改进的想法吗？我正在考虑在我的数据集上训练任何句子转换器模型(它们只是句子，但没有任何标签)。如何特别针对ny数据重新训练现有模型以生成更好的嵌入。谢谢。
浏览 5提问于2020-12-08得票数 0
1回答
我想对一个预先训练好的BERT模型进行微调。但是，我的任务使用特定领域内的数据(比如生物医学数据)。此外，我的数据也是一种不同于英语的语言(比如荷兰语)。现在，我可以微调荷兰bert-base-荷兰案例预训练模型。然而，我该如何对生物医学BERT模型进行微调，比如BioBERT，它属于正确的领域，但语言错误？我曾经考虑过使用NM
浏览 4提问于2021-01-28得票数 2
1回答
我想在未标记的数据上对特定领域的BERT进行微调，并让输出层检查它们之间的相似性。我该怎么做呢？我是否需要首先微调分类器任务(或问题答案等)。然后拿到嵌入物？或者我可以只使用预训练的Bert模型，而不使用任务，并使用我自己的数据进行微调？
浏览 2提问于2020-04-22得票数 3
4回答
我想在特定的域上对BERT进行微调。我在文本文件中有该域的文本。我如何使用这些来微调BERT？我目前正在寻找。
我的主要目标是使用BERT实现句子嵌入。
浏览 3提问于2020-05-23得票数 6
我对使用BERT进行各种NLP/文本挖掘任务有了基本的了解。当谈到伯特的微调时，我总是看到微调是使用一些分类任务来执行的。那么，当我有一组完全没有标签的文档时，我应该如何改进BERT模型给出的单词/句子嵌入向量？我知道，BERT模型最初是针对没有标签的数据进行培训的，所以必须有一些方法。
浏览 0提问于2020-05-27得票数 2
我想用一些自己的数据集来训练/微调BERT模型，这些数据集只包含来自特定领域的原始数据，类似于BioBERT。在第一步中，我只想用这些原始数据训练BERT，而不是使用任何特定的NLP任务进行微调。所以，我想要构建一个库，我可以使用它来对特定任务的带注释的训练数据进行微调，例如NER等。这是否可能以我计划的方式实现？我尝
浏览 2提问于2021-03-28得票数 0
我希望在一个特定的领域使用未标注的数据来训练Electra模型。对于使用相同的数据进行无监督学习，然后在下游使用相同的数据进行监督学习任务，是否有任何反对意见？
浏览 0提问于2020-08-11得票数 3
2回答
我目前在数据科学领域，特别是在ML领域是新的。解决一个问题有多种方法。监督的，无监督的学习。我想知道什么是方法，以及如何在实际测试用例中准确地确定使用哪种算法。即使选择了特定的算法，我们如何知道其他算法可能比这个算法具有更高的精度和精度呢？
浏览 0提问于2017-05-26得票数 1
3回答
微调BERT的最后x层
、、、
我试着微调BERT只在特定的最后一层(比方说最后三层)。我想使用谷歌Colab进行TPU培训。我使用hub.Module加载BERT并对其进行微调，然后将微调后的输出用于我的分类任务。bert_module = hub.Module(BERT_MODEL_HUB, tags=tags, trainable=True) hub.Module可以选择将模型设置为可训练或不可训练，但不能将其设置为部分可训
浏览 67提问于2019-05-08得票数 2
1回答
我想微调伯特在一个特定的语言领域使用以下git：
该文件夹中的脚本期望一个文件作为输入，由未标记的文本组成，每行有一个句子，文档之间有一个空行。分句的原因是BERT训练的一部分涉及到下一个句子目标，在这个目标中，模型必须预测两个文本序列是否是来自同一文档的连续文本，并且为了避免任务过于简单，序列之间的分裂点总是在句子的末尾。因此，文件中的
浏览 3提问于2020-11-26得票数 0
我想使用领域语料库(情感相关文本)预训练BERT和RoBERTa传销。使用50k~100k单词需要多长时间。由于RoBERTa没有经过训练来预测下一个句子的目标，比BERT少一个训练目标，并且具有更大的小批量和学习率，我假设RoBERTa会快得多？
浏览 28提问于2020-02-09得票数 1
回答已采纳
2回答
伯特微调
、
我试图建立我的回答问题的模型，基于BERT und不理解微调的含义。我是否理解它是正确的，它就像对特定领域的适应？如果我想把它和维基百科的语料库结合起来，我只需要在我的网络中整合一个没有改变的预先训练过的模型？
浏览 0提问于2020-02-26得票数 2
回答已采纳
AI 领域面临者一个巨大的问题，如何做到无监督学习？因为有监督学习从数据清洗、特征工程、算法设计、模型训练与优化，到之后的实施、部署阶段，人力和时间成本很高，给 AI 的普及带来了不小麻烦。所以想问下目前AI领域无监督学习有哪些难点？
浏览 2362提问于2018-05-31
1回答
但是我假设由于我的数据(特定领域的数据)嵌入的单词很差，所以准确性很差。
由于word2vec是一种无监督的学习/自我监督的学习方式，所以可以在Keras的嵌入层中使用word2vec嵌入吗？如果是，那么我可以使用转移学习的word2vec
浏览 0提问于2019-04-26得票数 3
我有三个关于微调字向量的问题。求你帮帮我。我会很感激的！事先非常感谢！我的问题是，如果我想做微调，它是否意味着创建一个嵌入层?以及如何创建它？
当我们训练Word2vec时，我们使用无监督的训练，对吗？就像在我的例子中，我使用跳过图模型来获得我预先训练过的word2vec；但是当我拥有vec.bin并使用它作为我的单词缩写词时，如果我能够在vec.bin中微调单词到向量地图，这
浏览 13提问于2016-10-20得票数 5
6回答
我在读关于深度学习的论文。其中大多数都是指无监督学习。我正在尝试找出深度学习是否可以应用于文档分类问题。我知道有相当好的分类器可用。但我的目标是找出我们是否可以使用深度学习来达到这个目的。
浏览 7提问于2013-10-29得票数 10
因此，如果我正确理解，主要有两种方法使伯特适应特定的任务:微调(所有的权重都改变了，甚至是预先训练的)和基于特征的(预先训练的权重被冻结)。不过，我很困惑。
如果我想对伯特进行微调，那么使用蒙面语言模型和下一个句子预测不是唯一的选择吗？还有:是否有必要在上面再加一层神经网络？
浏览 3提问于2022-02-01得票数 1
回答已采纳
2回答
到目前为止，我已经尝试了以下两种方法：
BertForPreTraining model)Starting 从一个预先培训的BERT检查点开始，并继续使用蒙面语言建模(MLM) +下一句预测(NSP)头进行预培训(例如使用带有MLM目标的预先训练的BERT模型(例如，假设我们不需要NSP作为培训前部分的BertForMaskedLM模型)。但我仍然感到困惑的是，如果使用BertForPreTraining或BertForMaskedLM真的对伯特进行持续的预培训，或者这
浏览 5提问于2021-07-20得票数 5
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号