我对使用BERT进行各种NLP/文本挖掘任务有了基本的了解。当谈到伯特的微调时，我总是看到微调是使用一些分类任务来执行的。那么，当我有一组完全没有标签的文档时，我应该如何改进BERT模型给出的单词/句子嵌入向量？我知道，BERT模型最初是针对没有标签的数据进行培训的，所以必须有一些方法。
浏览 0提问于2020-05-27得票数 2
1回答
我有一个话语数据集和相应的情感标签。我想使用情感标签的嵌入作为BERT的额外输入(为了简化事情，您可以说我希望初始化我的BERT模型中的一些令牌的嵌入)。有6-7个独特的标签。我计划使用像GloVe这样的静态嵌入来将标签映射到嵌入，但这将与BERT不兼容，后者期望输入嵌入大小为768。如何生成标签的静态嵌入？
浏览 3提问于2022-03-22得票数 0
1回答
我需要对专利进行分类，但我只标注了其中的几个，为了提高我的ML模型的性能，我想使用大量的专利来增加我的模型的语料库/词汇量。问题是，一旦我训练了我的单词嵌入功能，如何使用这个更大的语料库与我的训练数据-我的标签数据？你对怎么做有什么建议吗？抢夺
浏览 0提问于2020-07-15得票数 1
回答已采纳
1回答
我做了一个Keras模型来检测字符串值是Address，Company还是Date。我只使用了不同的公司名称，不同的日期共振峰和不同的街道地址进行培训。是否可以使用该模型来检测字符串(地址、公司或日期)在较大文本中的位置？我认为这种模型被称为NER模型(命名实体识别)。
我的模型接受字符串输入，并决定它是公司、个人还是地址。如何检测" Amazon“的开始索引和结束索引，或者如何从该文本中仅提取Amazon？因此，我想要：{"company"
浏览 4提问于2021-03-27得票数 3
我使用BERT预训练模型：https://github.com/google-research/bert 我运行了extract_features.py示例，如在readme.md中提取功能段落中所述。伙计们，如何转换结果，我在extract_features.py中得到了，以获得下一个标签/不是下一个标签？ 我想运行bert来检查两个句子是否相关，并查看结果。 谢谢!
浏览 21提问于2019-01-19得票数 1
回答已采纳
1回答
我想要创建一个文档排序模型，该模型在dataset中为一个示例查询返回类似的行。该语料库中的文本是标准英语，但没有任何标签(即没有查询相关的文档结构)。是否有可能使用在大型语料库(如bert或word2vec)上训练过的预先训练过的模型，并在未进行任何评估的情况下将其直接用于被刮过的数据集并获得良好的结果？如果不是这样，在MS宏数据集上训练一个模型并将其应用于这个语料库是否值得探索？
浏览 0提问于2021-07-06得票数 1
我是一个使用BERT模型的初学者。我正在关注来自Keras网站https://keras.io/examples/nlp/semantic_similarity_with_bert/#:~:text=Introduction,sentence但他们在示例中使用的数据集具有标签变量(‘相似度’)。是否有任何教程或指南使用BERT模型来预测与只有文本列的数据的语义相似度？
浏览 51提问于2021-04-06得票数 0
2回答
据我所知，利用BERT进行某些NLP分类任务有两种方法：
BERT可以执行“特征提取”，其输出将进一步输入到另一个(分类)模型中。另一种方法是微调一些文本分类任务的BERT，方法是在预培训的BERT中添加一个或多个输出层，并对整个过程进行再培训(有不同数量的BERT层固定)。但是，如果在第二种情况下，我们修复了所有的层，并且添加了分类模型中的所有层，那么第一种和第二种方法实际上是相同的，对吗？
浏览 0提问于2020-03-26得票数 1
1回答
我正在使用Huggingface的TFBertForSequenceClassification进行多标签tweets分类。在训练过程中，模型存档精度较好，但验证精度较差。模式如下：config = BertConfig.from_pretrained("bert-base-uncased", hidden_dropout_prob=0.5, num_labels=13)
bert_model = TFBertFo
浏览 0提问于2020-06-23得票数 1
1回答
问答中的问题生成+NLP
、、、
我可以用AllenAI做答案生成，但不确定如何生成问题？我尝试了一个，但它看起来不完整，需要更多的努力，因为我是NLP或ML的新手，所以不知道如何进行这些更改。
在回答问题时有什么帮助吗？我可以在现有的语言模型(如spacy模型)的基础上创建任何模型来生成实体，然后生成问题吗？
浏览 3提问于2019-11-11得票数 2
然而，它正在返回实体标签的内部-外部开始(IOB)格式，但.因此，我无法将管道的输出映射回我的原始文本。此外，输出以BERT令牌化格式掩蔽(默认模型为BERT-large)。例如：nlp_bert_lg = pipeline('ner'){'w
浏览 8提问于2020-03-30得票数 9
回答已采纳
1回答
def __init__(self, freeze_bert=False): @param bert: a BertModel objectto fine-tune the BERT model super(BertClassifier, self).D_in, H, D_out = 768, 50, 2
浏览 10提问于2021-03-11得票数 0
1回答
我正在尝试让pytorch模型运行在句子分类任务上。不幸的是，ClinicalBert模型只将文本分类为1个二进制标签，而我有281个二进制标签。因此，我正在尝试实现此代码https://github.com/kaushaltrivedi/bert-toxic-comments-multilabel/blob/master/toxic-bert-multilabel-classification.ipynb，其中<em
浏览 94提问于2020-04-14得票数 6
3回答
微调BERT的最后x层
、、、
我试着微调BERT只在特定的最后一层(比方说最后三层)。我想使用谷歌Colab进行TPU培训。我使用hub.Module加载BERT并对其进行微调，然后将微调后的输出用于我的分类任务。bert_module = hub.Module(BERT_MODEL_HUB, tags=tags, trainable=True) hub.Module可以选择将模型设置为可训练或不可训练，但不能将其设置为部分可训练(仅特定层) 有人知道如何使用hub.Module训练最后1、2或3层
浏览 67提问于2019-05-08得票数 2
我正在做一个项目，其中我有一些限制，我不能使用提取方法来总结一篇文章，因此必须使用BERT。如果这是一个标签问题(总结推文、评论、问题)，其中我有训练数据的相应标签，我会使用BERT中的向量作为LSTM的Keras嵌入层的输入，并构建一个具有输入和输出标签的模型。但问题是，我必须总结文本，而不是贴上标签的推文和评论。当我有与词汇表相对应的向量时，有没有办法(我确定有，因为我被问得很明确)可以使用BERT？
浏览 3提问于2020-01-21得票数 0
我正在读BERT模型论文。在预训练BERT模型的掩蔽语言模型任务中，本文表示模型将随机选择15%的令牌。在选择的标记( Ti )中，80%将被替换为掩码标记，10%的Ti保持不变，10%的Ti将替换为另一个单词。我认为模型只需要替换为掩码或其他单词就足够了。为什么模型必须随机选择一个单词并保持不变？
浏览 151提问于2020-09-23得票数 2
回答已采纳
1回答
我可以使用BERT (对于单词>500的文档)来实现这一点吗?或者是否有其他模型可以有效地完成这项任务？
浏览 7提问于2021-02-10得票数 1
我正在和BERT一起做一个文本分类任务。我基本上是在使用。这段代码使用train.tsv和dev.tsv (有标签)来微调BERT，使用test.tsv (没有标签)来进行预测。但是，我需要使用train-dev-test拆分来训练模型(train set)，计算超参数和损失函数(dev set)，并评估性能(test set)。与常规的训练-开发-测试拆分一样，所有拆分都包括标签。我还有第四个未标记的数据集可以进行预测。你知道有哪个仓库实现了4种模式的BERT (训练
浏览 3提问于2020-03-12得票数 0
1回答
Bert单词嵌入的微调
、、、、
我想加载一个预训练的Bert模型，并使用自定义数据集对其进行微调，特别是模型的单词嵌入。任务是使用所选单词的单词嵌入进行进一步分析。值得一提的是，数据集由tweet组成，没有标签。因此，我使用了BertForMaskedLM模型。 此任务是否可以使用输入ids (标记化的tweet)作为标签？我没有标签。只有一些推文是随机排列的。从这一点开始，我给出了我写的代码： 首先，我清除了数据集中的表情符号、非ASCII码字符等，如以下链接(2.3节)所述：https:/
浏览 56提问于2020-10-01得票数 0
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
