1回答
我正在运行这个文件：https://github.com/huggingface/pytorch-pretrained-BERT/blob/master/examples/run_classifier.py以下是一个输入批次的预测代码： input_ids = input_ids.to(device) segment_idselse:
pre
浏览 38提问于2019-05-19得票数 2
回答已采纳
1回答
我不确定这是否是提交这类问题的最佳地点，也许CrossValdation会更好。 我正在研究一个文本多类分类问题。我构建了一个基于BERT概念的模型，并在PyTorch (huggingface transformer library)中实现。该模型执行得很好，除非输入句子有OCR错误或等效地拼写错误。例如，如果输入是"NALIBU DRINK“，Bert标记器会生成'na'，'##lib'，'
浏览 38提问于2020-04-04得票数 0
2回答
结果输出必须是对被分成四列的测试注释集的预测，每个个性配置文件一列，例如，'Mind‘=1是外向的标签。pip install pytorch-pretrained-bertimport torch
from pytorch_pretrained_bert预训练的bert GitHub Repo和Youtube视频。我只是想
浏览 2提问于2019-06-23得票数 2
1回答
我只想使用Bert嵌入和使用Bert输出作为一个分类网的输入，我将从零开始构建。我认为相关的类是BertModel或BertForPreTraining。头包含两个“动作”：self.predictions是MLM (蒙面语言建模)，它赋予了BERT修正语法错误的能力，self.seq_relationship是NSP (下一句预测)，通常被称为分类头。BertLMPredict
浏览 8提问于2021-03-12得票数 4
回答已采纳
我找不到任何在IBM Watson中部署PyTorch模型的好参考资料。我已经从Hugging transformers库创建了Bert模型，并使用Pytorch实现。现在，我需要在IBM watson中部署PyTorch模型以进行实时预测。
我已经搜索了很多，但没有找到任何部署步骤的参考资料。
浏览 0提问于2020-09-22得票数 0
我有一个pytorch lightning代码，当使用bert-base或roberta-base时，它非常适合二进制分类任务，但不能用于roberta-large，即训练损失不会下降。我不知道为什么会发生这样的事情。我正在寻找这样一个问题的原因。谢谢
浏览 0提问于2020-07-15得票数 2
我正在尝试与BertForSequenceClassification 一起进行迁移学习 self.bert = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels= 17) return self.bert(x)
a = N
浏览 5提问于2020-04-23得票数 0
1回答
重新训练BERT模型
、、、、
我已经使用pytorch为分类任务训练了大约一百万个文本数据的BERT模型。在用新数据测试这个模型后，我得到了假阳性和假阴性。现在我只想用FN和FP重新训练现有的模型。我不想将FN和FP附加到现有的数据集，然后再次训练整个模型。如何仅使用这些FN和Fp重新训练此bert模型，而不是先前训练的模型。
浏览 31提问于2021-11-23得票数 0
我对如何使用huggingface transformers输出来训练一个简单的语言二进制分类器模型感到有点困惑，该模型可以预测阿尔伯特·爱因斯坦是否说过一句话。")
inputs = ["Hello World", "Hello There", "Bye输出的尺
浏览 29提问于2021-08-26得票数 1
1回答
我已经针对分类任务对BERT模型(使用huggingface库)进行了微调，以预测两种类型的帖子类别(例如，1和0 )。但是，我需要检索被预测为类别1的文档的“相关令牌”(例如)。我知道，一旦我用BERT模型将所有帖子标记为1(例如)，我就可以使用传统的TF-IDF方法。但我有以下问题:有没有可能用经过微调的BERT模型的架构来
浏览 19提问于2021-03-30得票数 0
我正在尝试将分类层添加到预训练的Bert模型中。我尝试了人们在网上发布的一些东西，比如： mod = list(model.children())
model.classifier = new_classifier 当我打印出模型时，我可以在摘要中看到新的层，但当我试
浏览 16提问于2021-08-08得票数 0
1回答
我正在尝试让pytorch模型运行在句子分类任务上。不幸的是，ClinicalBert模型只将文本分类为1个二进制标签，而我有281个二进制标签。，其中bert之后的最终分类器长度为281。如何从ClinicalBert模型加载预训练的Bert权重，而不加载分类权重？我目前尝试替换pytorch_pretrained_b
浏览 94提问于2020-04-14得票数 6
1回答
我试图使用BERT运行一个二进制监督的文本分类任务，但我不知道如何做到这一点。我试着用拥抱Face ()库运行BERT，但是我不知道如何处理进程的输出。经过大量的互联网搜索，我最终得到了以下课程(根据的说法)： def __init__(self):
self.tokenizer = BertToke
浏览 3提问于2021-02-03得票数 0
我是第一次运行一个用于文本分类的BERT模型。fastai.text import * from pytorch_pretrained_bert.modelingimport BertConfig, BertForSequenceClassification
from pytorch_pretrained_
浏览 5提问于2021-05-18得票数 0
2回答
据我所知，利用BERT进行某些NLP分类任务有两种方法：
BERT可以执行“特征提取”，其输出将进一步输入到另一个(分类)模型中。另一种方法是微调一些文本分类任务的BERT，方法是在预培训的BERT中添加一个或多个输出层，并对整个过程进行再培训(有不同数量的BERT层固定)。但是，如果在第二种情况下，我们修复了所有的层，并且添加了分类模型中<em
浏览 0提问于2020-03-26得票数 1
我有基于BERT的模型检查点，这是我在Tensorflow中从头开始训练的。我如何使用这些检查点来预测给定句子中的掩蔽词？例如，假设句子是，"CLS abc pqr MASK xyz SEP“，我想预测掩码位置的单词。 我该怎么做呢？我在网上搜索了很多，但每个人都在使用BERT来完成特定于任务的分类任务。而不是使用BERT来预测被屏蔽<
浏览 24提问于2019-09-11得票数 0
我想在分类层(我使用的是PyTorch lightning)之前添加一个额外的层(和dropout)，最好的方法是什么？
浏览 62提问于2021-05-05得票数 0
回答已采纳
给定一个情感分类数据集，我想对Bert进行微调。 正如你所知道的，BERT创造了预测下一个句子的方法，给定当前句子。因此，为了让网络意识到这一点，他们在第一句话的开头插入了一个[CLS]令牌，然后添加了[SEP]令牌来分隔第一句话和第二句话，最后在第二句话的末尾添加了另一个[SEP] (我不明白他们为什么要在末尾附加另一个令牌无论如何，对于文本分类，我在一些在线示例(参见BERT in Keras
浏览 190提问于2020-01-13得票数 6
1回答
我正在尝试重新加载一个DistilBertForSequenceClassification模型，我已经对其进行了微调，并使用它将一些句子预测到适当的标签(文本分类)中。在google中，在成功地培训了BERT模型之后，我在保存之后下载了它：trainer.save_model("distilbert_classification")下载的模型有三个文件: config.json、pytor
浏览 35提问于2022-08-09得票数 0
1回答
我正在尝试使用内部语料库更新预训练的BERT模型。我看过Huggingface的transformer文档，你会发现我有点困惑，below.My的目标是使用余弦距离计算句子之间的简单相似度，但我需要为我的特定用例更新预先训练的模型。我试图“重新训练”或更新模型，我假设special_token_1和special_token_2表示来自我的“内部”数据或语料库的“新句子”。这是正确
浏览 53提问于2019-10-30得票数 9
云服务器
ICP备案
对象存储
腾讯会议
云直播
腾讯云开发者
