我是第一次运行一个用于文本分类的BERT模型。fastai.text import * from pytorch_pretrained_bert.modelingimport BertConfig, BertForSequenceClassification
from pytorch_pretrained_bert
为了训练模型,我对序列进行了后填充,使所有序列具有相同的长度。生成的数据集具有此形状(1500,1000)。我曾经尝试过EMBEDDING+LSTM ( first mask_zero=True)对序列进行映射和分类,但即使模型达到了很高的精度,也可以根据序列的长度对模型进行随机/假数据的评估:表明该模型是对长度而不是值进行学习主要的问题是,即使我们在嵌入层中使用"mask_zero“,该模型在0上也会有更多的学习。我的问题是:
有人能建议一种方法来处理很长的序列吗?