我希望在模型中包含一个预先训练好的XLNet (或者可能是另一个最先进的转换器)来对其进行微调。 但是,当我将它包含在keras层中时,它就不起作用了。bug是 AttributeError: 'NoneType' object has no attribute 'shape' 在一线上 x = xlnetPretrainedModel(x) 因此,当模型用于输入层时如果在numpy数组上使用,XLNet模型可以工作,但是我就不能
我首先在文本分类任务中对Bert模型进行了微调,然后希望在TensorFlow中获得经过微调的模型的嵌入。不幸的是,我只能在第一行说output_hidden_states=True,在这里我下载了预先训练好的Bert模型,但在第二阶段我创建了一个tf.Keras.Model。下面是我如何制作和训练模型的代码:
from transformers import BertC
我正在处理一个NLP问题(句子分类),并决定使用HuggingFace的TFBertModel以及Conv1D、平面和密集层。我正在使用functional并编译我的模型。model with a max length of 50 words in a sentencedef build_model():
bert_encoder = TFBertModel.from_pretrained_______________________