我正在做一个二进制分类任务，我想尝试在huggingface BERT模型的最后一个隐藏层之上添加lstm层，但是，我无法到达最后一个隐藏层。有没有可能将BERT与LSTM结合起来？tokenizer = BertTokenizer.from_pretrained(model_path)
tain_inputs, train_labels, train_masks = data_prepare_<e
浏览 156提问于2021-01-18得票数 1
1回答
BERT序列标记
、、、
我正在使用一个由嵌入层和LSTM组成的模型来执行序列标记，在py电筒+ torchtext中。我已经把句子标记出来了。我不确定的是
浏览 0提问于2020-05-10得票数 0
回答已采纳
(我正在学习关于BERT word嵌入的 author教程，在本教程中，作者访问了BERT模型的中间层。)我想要的是使用HuggingFace的Transformers库访问TensorFlow2中BERT模型的单个输入令牌的最后4层。因为每个层输出一个长度为768的向量，所以最后4个层的形状为4*768=3072 (对于每个令牌)。
如何在TF/keras/TF2中实现这一点，以获得输入令牌的预
浏览 8提问于2020-04-27得票数 7
回答已采纳
我对NLP很感兴趣，我想出了Tensorflow和Bert，两者似乎都来自谷歌，似乎都是目前情绪分析最好的东西，但我不明白它们到底是什么，它们之间有什么区别.有人能解释一下吗？
浏览 3提问于2021-05-02得票数 0
回答已采纳
我试着用LSTM和预先训练的BERT嵌入来进行情感分类，然后用转换器进行语言翻译，首先我下载了!，该模型应该包括:一个嵌入层开始。至少一个LSTM layer.At，用于regularization.One最终密集层的至少一个Dropout层映射到输出。编译模型，使用categorical_crossentropy丢失和adam优化器。或者可能希望添加其他类型的度量，例如，Categorica
浏览 14提问于2022-06-19得票数 0
回答已采纳
2回答
在本例中，我需要使用BERT而不是LSTM。能用伯特代替LSTM这个词吗？inputs2 = Input(shape=(max_length,))
bert_output = BertLayer(n_fine_tune_layers=12, pooling="mean")(
浏览 6提问于2021-12-11得票数 2
我想在分类层(我使用的是PyTorch lightning)之前添加一个额外的层(和dropout)，最好的方法是什么？
浏览 62提问于2021-05-05得票数 0
回答已采纳
我使用的是pytorch，这是huggingface transformers link的模型 from transformers import BertTokenizerFast, BertForSequenceClassificationbert = BertForSequenceClassification.from_pretrained("bert-base-uncased",output_hidden_states=False) 在我正在构建的前向函数中，我现在调用了x1, x2 = self
浏览 282提问于2020-12-09得票数 3
给出了一个Huggingface模型。import AutoModelForSequenceClassification
replacement_layer = torch.rand([1024, 1024])
注:我不是试图用随机张量来替换一个层，而是用一个预定义的张量来代替它。当我试图通过state_dict()替换层<
浏览 34提问于2022-09-07得票数 1
回答已采纳
1回答
我想做情绪分析使用伯特嵌入和lstm层。这是我的密码：x = bert_preprocess(i)x = tf.keras.layers.Dropout(0.2, name="dropout")(x['pooled_output'])
x = tf.keras.layers.LSTM<
浏览 10提问于2022-04-23得票数 0
1回答
我想在预先训练好的TFDistilBertModel，TFXLNetModel和TFRobertaModel Huggingface模型之后添加额外的Dense层。我已经了解了如何使用TFBertModel实现这一点，例如output = output[1]因此，这里
浏览 4提问于2020-08-01得票数 4
回答已采纳
1回答
如何在伯特的基础上添加CNN层？
、、、、
我只是在玩bert (来自变压器的双向编码器表示)
假设我想在BERT模型的基础上添加任何其他模型或层，比如卷积神经网络层(CNN)、非线性层(NL)。我该怎么做？这就是我想要做的：📷
请说明使用sudo代码实现此操作的步骤，这将帮助我在BERT之上实现cnn。
浏览 0提问于2019-06-24得票数 5
2回答
我正在尝试为基本模型使用第一个单独的BertSelfAttention层，但我从torch.hub加载的模型似乎与hugginface transformers.models.bert.modeling_bert中使用的模型不同：
tokenizer = transformers.BertTokenizer.from_pretrained('bert-base-uncased', do_lowe
浏览 0提问于2021-05-05得票数 0
回答已采纳
我正在尝试使用序列到序列模型进行命名实体识别.我的输出是简单的IOB标记，因此我只想预测每个令牌(IOB)的3个标签的概率。我正在尝试使用HuggingFace实现EncoderDecoderModel --使用DistilBert作为编码器，以BertForTokenClassification作为解码器。，我可以清楚地看到具有out_features=3的线性分类层： )
(dropout): Dropout(p=0.1, inplace=False)/Decoder"
浏览 2提问于2021-10-25得票数 1
回答已采纳
3回答
我想在裸露的伯特模型转换器上添加一个密集的层，输出原始的隐藏状态，然后微调产生的模型。具体来说，我使用的是基础模型。这就是该模式应做的事情：
到目前为止，tokenizer = AutoTokenizer.from_pretrained("dbmdz/bert-base-
浏览 6提问于2020-10-01得票数 19
回答已采纳
我有一个当前的实现，即在TokenClassification头上使用Huggingface，但是由于性能有点慢，而且代价很高，所以我试图找到优化的方法。我检查了SPARKNLP实现，该实现缺乏经过预先培训的DISTILBERT，我是否认为有一种不同的方法，因此出现了一些有关这方面的问题：
Huggingface使用整个BERT模型，并为令牌分类添加了一个头这与获取BERT嵌入并将它们提供给另一个NN相同吗？我这样问是因为这是SPARKNLP方法，它帮助获取这些嵌入并将其用作另一个复杂N
浏览 2提问于2020-10-30得票数 2
回答已采纳
1回答
我正在学习变压器层，我觉得我已经有足够的一般想法，他们是危险的。我正在设计一个神经网络，我的团队想把它们包括进去，但我们不确定如何处理编码的序列，以及将它们插入模型的下一层的正确方法。我们想要处理它，以便我们可以插入编码序列到FC层后，立即变压器编码器。
浏览 0提问于2022-07-21得票数 2
回答已采纳
嗨，我在保存和加载一个tensorflow模型时遇到了一些严重的问题，这个模型结合了人脸转换器和一些自定义的层来进行分类。我使用的是最新的Huggingface transformers keras版本。其思想是使用distilbert提取特征，然后通过CNN运行特征进行分类和提取。我使用的是tensorflow keras和tensorflow版本2.2 bert
浏览 31提问于2020-05-17得票数 3
我正在研究一个TextClassification问题，我试图在huggingface-transformers库中给出的TFBertForSequenceClassification上训练我的模型。
浏览 6提问于2020-02-29得票数 9
4回答
我想在特定的域上对BERT进行微调。我在文本文件中有该域的文本。我如何使用这些来微调BERT？我目前正在寻找。
我的主要目标是使用BERT实现句子嵌入。
浏览 3提问于2020-05-23得票数 6
云服务器
ICP备案
对象存储
腾讯会议
云直播
腾讯云开发者
