我想训练一个21级文本分类模型使用Bert。但是我的训练数据很少,所以下载了一个与5类类似的数据集,包含200万个样本。验证准确率达98%左右。现在,我想使用这个模型作为我的小定制数据的预训练模型。但是我得到了shape mismatch with tensor output_bias from checkpoint reader错误,因为检查点模型有5个类,而我的自定义数据有21个类。
NFO:tensorflow:Calling model_fn.
INFO:tensorflow:Running train on CPU
INFO:tensorflow:*** Features ***
我刚刚在一个由产品和标签(部门)组成的数据集上为一家电子商务网站训练了一个BERT模型。这是一个多类问题。我使用BertForSequenceClassification来预测每个产品的部门。我把它分成了训练和评估,我使用了pytorch的dataloader,我得到了一个很好的分数,没有过拟合。 现在我想在一个新的数据集上尝试它,以检查它如何在看不见的数据上工作。但我无法实现加载模型并应用于新的数据集。我得到以下错误: RuntimeError: Error(s) in loading state_dict for BertForSequenceClassification:
si
我对spacy和python很陌生,我正在使用python和nltk来训练我自己的spacy模型,这里是我的代码,我在这里训练数据和测试数据,如果我提供与文本数据相同的测试数据,但是我无法识别超过2个标签,而且每次我编译代码时标签识别是不同的和不正确的,我已经参考了spacy网站,但是我无法找到解决方案。请救救我!
from __future__ import unicode_literals, print_function
import plac
import random
from pathlib import Path
import spacy
# new entity label