训练BERT Keras模型时出现OOM错误
当训练BERT Keras模型时出现OOM错误，这通常是由于内存不足导致的。OOM错误表示"Out of Memory"，即内存不足。
解决OOM错误的方法有以下几种：
- 减少批量大小（Batch Size）：减小每个训练步骤中处理的样本数量，可以减少内存的使用。但这可能会导致训练速度变慢，因为每个批次的样本数量减少了。
- 减少模型的复杂度：BERT模型非常庞大，包含大量的参数。可以尝试减少模型的大小，例如减少隐藏层的数量或减少每个隐藏层的神经元数量。这样可以减少内存的使用，但可能会影响模型的性能。
- 使用更大的GPU：如果你的机器上有多个GPU，可以尝试使用更大的GPU来训练模型。更大的GPU具有更多的内存，可以容纳更大的模型和批量大小。
- 使用分布式训练：如果你有多台机器可以使用，可以尝试使用分布式训练来减少每台机器上的内存使用量。分布式训练将模型和数据分布在多台机器上进行训练，可以减少每台机器上的内存压力。
- 使用混合精度训练：混合精度训练是一种技术，可以在保持模型精度的同时减少内存使用。它利用半精度浮点数来存储模型参数，从而减少内存占用。
- 使用更小的输入：如果你的训练数据集非常大，可以尝试使用更小的输入数据集进行训练。这样可以减少内存的使用，但可能会影响模型的性能。
腾讯云提供了一系列与云计算相关的产品，例如云服务器、云数据库、云存储等。你可以根据具体的需求选择适合的产品来解决OOM错误。具体产品介绍和链接地址可以在腾讯云官方网站上找到。
相关·内容
我正在尝试使用tensorflow集线器上提供的预训练BERT来实现一个学习排名模型。我使用的是ListNet损失函数的一个变体，它要求每个训练实例都是与查询相关的几个排序文档的列表。我需要模型能够接受形状(batch_size，list_size，sentence_length)中的数据，其中模型在每个训练实例的'list_size‘轴上循环，返回排名并将它们传递给损失函数。在一个只包含密集层的简单模型中，通过增加输入层的维度很容易做到这一点。例如：
from tensorflow.keras.layers import Dense, Input
from tensorflow.ke
浏览 31提问于2021-05-16得票数 1
我正在尝试使用来自Keras集线器()的BERT多语言作为TensorFlow模型中的一个层。在不使用分发策略的情况下训练模型效果很好。但是，当尝试通过分发策略利用Google Cloud TPU时，训练模型失败，并出现以下错误：
ValueError: Variable (<tf.Variable 'bert/embeddings/word_embeddings:0' shape=(119547, 768) dtype=float32>) was not created in the distribution strategy scope of (<tens
浏览 4提问于2020-01-08得票数 1
1回答
我有一个推文语料库，我正在尝试使用BERT进行分类。我已经使用我的语料库成功地预先训练了BERT，并且它已经生成了检查点文件。现在我需要使用这个新的训练模型，并向其添加更多的层。我尝试使用keras_bert中的"load_trained_model_from_checkpoint“函数，但它失败了，并出现错误"cls/predictions/transform/dense/kernel not found in checkpoint”。有没有人能帮我修复这个bug。谢谢
浏览 9提问于2020-03-05得票数 0
1回答
我正在尝试从TensorFlow集线器微调BERT模型。我加载了预处理层和编码器，如下所示：
bert_preprocess_model = hub.KerasLayer('https://tfhub.dev/tensorflow/bert_multi_cased_preprocess/3')
bert_model = hub.KerasLayer('https://tfhub.dev/tensorflow/small_bert/bert_en_uncased_L-4_H-512_A-8/1')
这是我的模型定义：
def build_classifier_mo
浏览 9提问于2021-03-10得票数 0
我正在与TensorFlow和凯拉斯在TPU上工作，我需要加载预先训练的BERT模型并将其转换为TPU模型。我首先加载了模型，它工作得很好。 def _load_bert(self):
logging.info('Loading BERT from %s', self.bert_path)
config_path = os.path.join(self.bert_path, 'bert_config.json')
checkpoint_path = os.path.join(self.bert_path, 'bert_mode
浏览 62提问于2019-07-02得票数 1
回答已采纳
我正在使用Tensorflow为一个二进制情感分析类调整BERT。我想使用自定义训练循环/损失函数。然而，当我训练模型时，我得到了以下错误：ValueError: Internal error: Tried to take gradients (or similar) of a variable without handle data: Tensor("transformer_encoder/StatefulPartitionedCall:1019", shape=(), dtype=resource)。 为了进行调试，我尝试将我的训练循环简化为只计算标准的二进制交叉熵，这应
浏览 27提问于2021-08-17得票数 0
我想在预训练的BERT模型的最后一层之后添加一个回归层。所以它应该是这样的：
output = bert_model([input_ids,attention_masks])
output = output[1]
output = tf.keras.layers.Dense(100,activation='relu')(output)
但我不知道如何冻结BERT模型，只训练回归层。有可能吗？
浏览 32提问于2021-05-13得票数 0
1回答
我正在使用Huggingface的TFBertForSequenceClassification进行多标签tweets分类。在训练过程中，模型存档精度较好，但验证精度较差。我试着用一些辍学来解决过度适应的问题，但是表现仍然很差。模式如下：
# Get and configure the BERT model
config = BertConfig.from_pretrained("bert-base-uncased", hidden_dropout_prob=0.5, num_labels=13)
bert_model = TFBertForSequenceClassifica
浏览 0提问于2020-06-23得票数 1
我正在尝试为Yelp二进制分类任务训练一个简单的模型。 Load BERT编码器： gs_folder_bert = "gs://cloud-tpu-checkpoints/bert/keras_bert/uncased_L-12_H-768_A-12"
bert_config_file = os.path.join(gs_folder_bert, "bert_config.json")
config_dict = json.loads(tf.io.gfile.GFile(bert_config_file).read())
bert_config = bert
浏览 40提问于2020-09-27得票数 1
我在我的功能模型中使用了bert-for-tf2的这个预先训练的模型，如下所示：
def build_model(model_dir, batch_size, max_seq_num, max_seq_len):
bert_params = bert.params_from_pretrained_ckpt(model_dir)
l_bert = bert.BertModelLayer.from_params(bert_params, name="bert", trainable=False)
input_ids = tf.keras.layers.In
浏览 11提问于2021-04-20得票数 1
我正在尝试保存一个基于预训练的Bert模块'uncased_L-12_H-768_A-12‘的微调的二进制分类模型。我使用的是tf2。 代码设置了模型结构： bert_classifier, bert_encoder =bert.bert_models.classifier_model(bert_config, num_labels=2) 然后： # import pre-trained model structure from the check point file
checkpoint = tf.train.Checkpoint(model=bert_encoder)
chec
浏览 119提问于2020-11-10得票数 0
我正在尝试安装keras-bert，如这里所解释的：。本教程展示了如何使用R使用Keras加载和训练BERT模型。
但是，当我在Anaconda提示符(Windows)中运行：
conda install keras-bert
我得到以下错误：
Collecting package metadata (current_repodata.json): done
Solving environment: failed with initial frozen solve. Retrying with flexible solve.
Collecting package metadata (repod
浏览 7提问于2020-06-23得票数 1
回答已采纳
我已经创建了一个接受形状输入的模型(无，512)。下面是我的模型的总结
训练特征形状
train_ids.shape
(10, 512)
训练响应变量的形状
indus_cat_train.shape
(10, 49)
我的模型运行完美，如果我使用
history = model.fit(
train_ids, indus_cat_train, epochs=2, validation_data=(
valid_ids, indus_cat_valid))
然而，我的实际数据集非常大，同时为完成的数据集提供大量内存并关闭所有进程。
我想分批或一个一个地提供所有
浏览 2提问于2020-07-13得票数 1
学习使用bert-基大小写和分类模型.该模型的代码如下：
def mao_func(input_ids, masks, labels):
return {'input_ids':input_ids, 'attention_mask':masks}, labels
dataset = dataset.map(mao_func)
BATCH_SIZE = 32
dataset = dataset.shuffle(100000).batch(BATCH_SIZE)
split = .8
ds_len = len(list(dataset))
train = d
浏览 12提问于2022-01-18得票数 3
3回答
我正在尝试使用Tensorflow对Huggingface中预先训练好的BERT模型进行微调。一切都很顺利，模型的构建和训练都没有错误。但当我尝试保存模型时，它停止并显示错误"IndexError: list index out of range“。我正在使用谷歌Colab和TPU。
任何帮助都将不胜感激！
代码：
import tensorflow as tf
from tensorflow.keras import activations, optimizers, losses
from transformers import TFBertModel
def create_mod
浏览 22提问于2021-03-10得票数 3
嗨，我在保存和加载一个tensorflow模型时遇到了一些严重的问题，这个模型结合了人脸转换器和一些自定义的层来进行分类。我使用的是最新的Huggingface transformers keras版本。其思想是使用distilbert提取特征，然后通过CNN运行特征进行分类和提取。只要得到正确的分类，我已经做好了所有的工作。
问题是在训练后保存模型，然后再次加载模型。
我使用的是tensorflow keras和tensorflow版本2.2
以下是设计模型、训练模型、评估模型，然后保存和加载模型的代码
bert_config = DistilBertConfig(dropout=0
浏览 31提问于2020-05-17得票数 3
4回答
我试图加载一个预先训练的BERT模型，使用变压器库在一个起重器培训工作中，我得到了“没有模块命名的keras错误”。您可以在下面找到相关的代码、导入和requirements.txt
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.wrappers.scikit_learn import KerasClassifier
from tensorflow.keras import
浏览 7提问于2022-08-02得票数 1
回答已采纳
1回答
在为NER训练BERT-CRF模型时，我遇到了一个未知的问题。我对CRF模型使用了keras.contrib。 下面是导入的库。 !pip install transformers
!pip install git+https://www.github.com/keras-team/keras-contrib.git
import pandas as pd
import numpy as np
from transformers import TFBertModel, BertTokenizer, BertConfig
import tensorflow as tf
from tensorf
浏览 213提问于2021-04-14得票数 1
1回答
我正在尝试微调一个伯特模型上的谷歌Colab从Tensorflow集线器使用这个。
但是，我遇到了以下错误：
InternalError: RET_CHECK failure (third_party/tensorflow/core/tpu/graph_rewrite/distributed_tpu_rewrite_pass.cc:2047) arg_shape.handle_type != DT_INVALID input edge: [id=2693 model_preprocessing_67660:0 -> cluster_train_function:628]
当我运行我的m
浏览 11提问于2021-12-25得票数 3
回答已采纳
我目前的一个任务是将任何文本分类问题的基于keras BERT的模型转换为.pb文件。为此，我已经有了一个函数，它接受keras模型，但重点是，当我试图下载任何预训练版本的BERT时，它们总是没有任何用于分类的顶层，因此我应该在BERT之前手动添加tf.keras.layers.Input层，并在BERT之上添加任何神经网络架构(在CLS嵌入之后)。我的最终目标是摆脱微调的需要，并获得一些已经进行了微调的现成模型。我发现transformer库可能对此很有用，因为他们为某些数据集准备了一些基于BERT的模型。无论如何，使用他们的文档中的以下代码可以通过隐藏维度返回形状1的张量和标记数量。
fr
浏览 1提问于2021-04-06得票数 0
我已经通过tf.keras使用google BERT训练了一个文本分类器。 我的数据集由50,000行数据组成，平均分布在5个标签上。这是一个更大的数据集的子集，但我选择了这些特定的标签，因为它们彼此完全不同，以避免在训练过程中出现混淆。 我按如下方式创建数据拆分： train, test = train_test_split(df, test_size=0.30, shuffle=True, stratify=df['label'], random_state=10)
train, val = train_test_split(train, test_size=0.1, s
浏览 33提问于2020-06-13得票数 2
回答已采纳
1回答
我正在使用Keras训练微调的BERT模型。然而，当我开始在GPU上进行培训时，我遇到了OOM错误。下面是我的模型的代码。 max_len = 256
input_word_ids = tf.keras.layers.Input(shape=(max_len,), dtype=tf.int32, name="input_word_ids")
input_mask = tf.keras.layers.Input(shape=(max_len,), dtype=tf.int32, name="input_mask")
segment_ids = t
浏览 70提问于2021-09-15得票数 0
回答已采纳
我正在尝试使用BERT预训练模型来进行多类分类(3类)。下面是我使用该模型的函数，还添加了一些额外的功能： def create_model(max_seq_len, bert_ckpt_file):
with tf.io.gfile.GFile(bert_config_file, "r") as reader:
bc = StockBertConfig.from_json_string(reader.read())
bert_params = map_stock_config_to_params(bc)
bert_params.ad
浏览 400提问于2021-08-18得票数 6
我一直在尝试使用BERT训练句子相似度模型，但我遇到了这个错误。我确实找遍了，但找不到解决方案，有人能帮我吗？附加代码供您参考。 # Create the model under a distribution strategy scope.
strategy = tf.distribute.MirroredStrategy()
with strategy.scope():
# Encoded token ids from BERT tokenizer.
input_ids = tf.keras.layers.Input(
shape=(max_length
浏览 44提问于2021-11-19得票数 -1
1回答
我首先在文本分类任务中对Bert模型进行了微调，然后希望在TensorFlow中获得经过微调的模型的嵌入。不幸的是，我只能在第一行说output_hidden_states=True，在这里我下载了预先训练好的Bert模型，但在第二阶段我创建了一个tf.Keras.Model。下面是我如何制作和训练模型的代码：
max_len = 55
from transformers import BertConfig, BertTokenizer, TFBertModel
def build_custome_model():
bert_encoder = TFBertModel.from_p
浏览 29提问于2021-02-16得票数 1
回答已采纳
我想使用Bert语言模型来训练多类文本分类任务。之前我使用LSTM训练，没有任何错误，但Bert给了我这个错误。我收到这个错误如下，我真的不知道如何解决它，谁能帮助我吗？ 不幸的是，在keras库中使用Bert的文档很少。 !wget --quiet https://raw.githubusercontent.com/tensorflow/models/master/official/nlp/bert/tokenization.py
import tensorflow_hub as hub
from bert import tokenization
module_url = 'ht
浏览 72提问于2021-04-11得票数 0
回答已采纳
我正在尝试使用预先训练的Bert模型的tensorflow，它有约1.1亿帕拉姆，这是几乎不可能训练这些副秘书长使用我的gpu。整个层的冻结使得所有这些参数都无法训练。
是否有可能使该层部分可培训？就像有几百万个平行线是可以训练的，而其余的则是无法训练的？
input_ids_layer = tf.keras.layers.Input(shape=(max_len,), dtype=tf.int32, name='input_ids')
input_attention_layer = tf.keras.layers.Input(shape=(max_len,), dtype=
浏览 4提问于2022-03-25得票数 0
我使用了TFBertModel和Tensorflow模型来结合和训练拥抱的面部变形。我想保存每个时代的val_accuracy的最佳模型。我使用'tensorflow检查点‘，但我得到了error.How我是否可以保存每个时代的最佳模型与transformers在tensorflow？ from tensorflow.keras.callbacks import EarlyStopping
from tensorflow.keras.initializers import TruncatedNormal
from tensorflow.keras.losses import Cate
浏览 187提问于2021-06-19得票数 0
1回答
我试图用BERT模型训练一个5类情绪分析模型(1-非常消极，2-消极，3-中立，4-正，5-非常积极)。
from transformers import BertTokenizer, TFBertForSequenceClassification
from transformers import InputExample, InputFeatures
model = TFBertForSequenceClassification.from_pretrained("bert-base-cased")
tokenizer = BertTokenizer.from
浏览 25提问于2022-10-23得票数 0
回答已采纳
使用以下函数定义创建模型
def create_model(max_length = 256):
bert_model = TFBertModel.from_pretrained('bert-base-uncased')
for layer in bert_model.layers:
layer.trainable = False
input_ids = tf.keras.Input(shape = (max_length, ), dtype = tf.int32, name = 'input_ids')
attention_masks
浏览 7提问于2021-11-16得票数 0
回答已采纳
在这里，我训练bert模型。下面是我用来训练的代码，当我加载保存的预测模型时，它显示了这个错误。有人能帮帮我吗？
import tensorflow as tf
import logging
from tensorflow.keras.layers import (
Dense,
Flatten,
Conv1D,
Dropout,
Input,)
from tensorflow.keras.models import Sequential
from tensorflow.keras.optimizers import Adam
from tensorflow.keras import Mode
浏览 4提问于2022-08-31得票数 1
我正在使用tensorflow的预训练BERT模型进行基于标记的分类，以自动标记句子中的因果。
为了访问BERT，我使用了来自huggingface：的TFBertForTokenClassification-Interface
我用来训练的句子都是根据BERT-tokenizer转换成记号(基本上是单词到数字的映射)，然后在训练之前填充到一定的长度，所以当一个句子只有50个记号，另一个只有30个时，第一个句子用50个单词填充，第二个句子用70个单词填充，得到的通用输入句子长度是100。
然后，我训练我的模型来预测每个标记，这个标记属于哪个标记；无论它是原因的一部分，还是结果的一部分，或者都不
浏览 0提问于2020-07-08得票数 1
我正在使用transformers TFBertForSequenceClassification.from_pretrained和‘bert-base-multilingual uncased’)和keras来构建我的模型。 loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
# metric
metric = tf.keras.metrics.SparseCategoricalAccuracy('accuracy')
# optimizer
optimizer = tf.kera
浏览 26提问于2020-08-31得票数 1
1回答
我正尝试在Colab中用ktrain运行DistilBert，但是我得到了“错误，太多的值无法解包”。我正在尝试执行有毒评论分类，我从CivilComments上传了'train.csv‘，我可以运行BERT，但不能运行DistilBert #prerequisites:
!pip install ktrain
import ktrain
from ktrain import text as txt
DATA_PATH = '/content/train.csv'
NUM_WORDS = 50000
MAXLEN = 150
label_columns = [&#
浏览 36提问于2021-04-23得票数 1
这就是我如何为分类任务构建模型： def bert_for_classification(transformer_model_name, max_sequence_length, num_labels):
config = ElectraConfig.from_pretrained(
transformer_model_name,
num_labels=num_labels,
output_hidden_states=False,
output_attentions=Fal
浏览 37提问于2021-07-17得票数 0
回答已采纳
(我正在学习关于BERT word嵌入的 author教程，在本教程中，作者访问了BERT模型的中间层。)
我想要的是使用HuggingFace的Transformers库访问TensorFlow2中BERT模型的单个输入令牌的最后4层。因为每个层输出一个长度为768的向量，所以最后4个层的形状为4*768=3072 (对于每个令牌)。
如何在TF/keras/TF2中实现这一点，以获得输入令牌的预训练模型的中间层？(稍后，我将尝试为句子中的每个令牌获取令牌，但现在一个令牌就足够了)。
我正在使用HuggingFace的BERT模型：
!pip install transformers
fro
浏览 8提问于2020-04-27得票数 7
回答已采纳
1回答
我正在使用huggingface TFBertModel来做一个分类任务(来自here：)，我正在使用添加了头部密集层的裸TFBertModel，而不是TFBertForSequenceClassification，因为我不知道如何使用后者使用预先训练的权重来仅微调模型。 据我所知，在BERT和ALBERT中，微调应该会给我大约80%或更多的准确率，但我甚至无法接近这个数字： Train on 3600 samples, validate on 400 samples
Epoch 1/2
3600/3600 [==============================] - 177s 49
浏览 186提问于2020-04-23得票数 4
我正试图建立这幅图中所示的模型：
我从HuggingFace的transformers获得了一个经过预先训练的BERT和相应的标记器，其方式如下：
from transformers import AutoTokenizer, TFBertModel
model_name = "dbmdz/bert-base-italian-xxl-cased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
bert = TFBertModel.from_pretrained(model_name)
该模型将提供一系列意大利推
浏览 18提问于2021-09-15得票数 8
回答已采纳
3回答
我试图解决一个多标签分类(数据集是tweet文本)结合使用伯特和CNN。作为一个基准，我会将它与其他单词嵌入进行比较，其中一个是Word2vec。经过多次尝试，Word2vec-CNN的表现似乎略好于伯特-CNN，这是我最后一次尝试的结果：
Word2vec-CNN
precision (macro): 0.89
recall (macro): 0.87
f1-score (macro): 0.88
accuracy (test set): 0.81
hamming loss: 0.062
BERT-CNN
precision (macro): 0.86
recall (macr
浏览 0提问于2021-04-18得票数 2
回答已采纳
我正在尝试使用tensorflow 2.0和GPU (ResNet34 940 M)来训练深度剩余网络(总共有21,302,722个参数)。顺序模型定义如下：
model = keras.models.Sequential()
model.add(DefaultConv2D(64, kernel_size=7, strides=2,
input_shape=[224, 224, 3]))
model.add(keras.layers.BatchNormalization())
model.add(keras.layers.Activation(&
浏览 3提问于2020-01-13得票数 0
回答已采纳
BTHOG。
我定义并精调移动多语言bert模型，该模型使用以下keras代码构建：
bert_preprocess = hub.KerasLayer("https://tfhub.dev/tensorflow/bert_multi_cased_preprocess/3")
bert_encoder = hub.KerasLayer("https://tfhub.dev/tensorflow/mobilebert_multi_cased_L-24_H-128_B-512_A-4_F-4_OPT/1", trainable=True)
i = tf.keras.l
浏览 28提问于2022-05-09得票数 0
我有一个tf数据集，为了减少内存负载，我正在尝试实现批处理。该模型不需要批处理，但我得到OOM错误，因此尝试批处理。
数据集
ds = tf.data.Dataset.from_tensors(( (train_ids, train_masks), labels ))
>>>ds
<TensorDataset shapes: (((22500, 64), (22500, 64)), (22500,)), types: ((tf.int16, tf.int16), tf.int16)>
批处理
BATCH_SIZE = 4
ds = ds.batch(BATCH_
浏览 3提问于2020-04-15得票数 0
回答已采纳
我想使用Bert语言模型来训练多类文本分类任务。之前我使用LSTM训练，没有任何错误，但Bert给了我这个错误。我收到这个错误如下，我真的不知道如何解决它，谁能帮助我吗？ 不幸的是，在keras库中使用Bert的文档很少。 错误： TypeError Traceback (most recent call last)
<ipython-input-177-7b203e5e7f55> in <module>()
3
4 model.compile(optimizer = tf.ke
浏览 260提问于2021-04-11得票数 0
回答已采纳
1回答
为了更深入地了解NLP的工作原理，我在Kaggle浏览了一些笔记本。我偶然发现了一本自然语言推理任务的笔记本，用来预测给定的前提和假设之间的关系。它使用经过预先训练的BERT模型来完成这项任务。
我有一个关于build_model()函数的问题：
max_len = 50
def build_model():
bert_encoder = TFBertModel.from_pretrained("bert-base-multilingual-cased")
input_word_ids = tf.keras.Input(shape=(max_len,), dtyp
浏览 7提问于2022-01-13得票数 0
回答已采纳
1回答
我必须用28个可能的类做一个文本分类任务。我决定把伯特的模型加载成一个预先训练过的模型，并对其进行微调，以解决我的问题。事情是，训练是非常缓慢的(在GPU上)，而我确保冻结伯特的层，所以我只需要训练一个密集的一层结束。下面是我用来创建模型的代码：
from tensorflow.keras.layers import Input
from tensorflow.keras import Model
from transformers import TFDistilBertModel, DistilBertConfig
distil_bert = 'distilbert-base-un
浏览 1提问于2020-10-28得票数 1
我正在做一个项目，其中我有一些限制，我不能使用提取方法来总结一篇文章，因此必须使用BERT。如果这是一个标签问题(总结推文、评论、问题)，其中我有训练数据的相应标签，我会使用BERT中的向量作为LSTM的Keras嵌入层的输入，并构建一个具有输入和输出标签的模型。但问题是，我必须总结文本，而不是贴上标签的推文和评论。当我有与词汇表相对应的向量时，有没有办法(我确定有，因为我被问得很明确)可以使用BERT？
浏览 3提问于2020-01-21得票数 0
我试着用LSTM和预先训练的BERT嵌入来进行情感分类，然后用转换器进行语言翻译，首先我下载了
!pip install ktrain
!pip install tensorflow_text
我导入了必要的库
import pathlib
import random
import numpy as np
from typing import Tuple, List
import matplotlib.pyplot as plt
import matplotlib.ticker as ticker
from sklearn.model_selection import train_test_
浏览 14提问于2022-06-19得票数 0
回答已采纳
我正在尝试使用TensorFlow集线器上经过预先训练的伯特模型来做一些简单的非线性规划。我在使用Python3.9.13和TensorFlow v2.9.2的2021年I(苹果硅)上。但是，预处理任何数量的文本都会返回一个"NotFoundError“，我似乎无法解决这个问题。到预处理模型的链接在这里：()和我已经粘贴了下面的代码/错误消息。有人知道为什么会发生这种事吗?我怎样才能解决它？提前谢谢。
代码
bert_preprocess = hub.KerasLayer("https://tfhub.dev/tensorflow/bert_en_uncased_preproc
浏览 14提问于2022-11-24得票数 0
回答已采纳
1回答
我有一个pandas dataset where col1 ->输入文本(使用预训练的记号赋值器对文本进行标记化)，col2 ->二进制分类0,1.将其转换为tensorflow数据集
dataset = tf.data.Dataset.from_generator(lambda: dataset, output_types=(tf.string, tf.int32))
创建模型
def build_classifier_model():
text_input = tf.keras.layers.Input(shape=(), dtype=tf.string, name=&#
浏览 1提问于2021-01-02得票数 0
1回答
我想在预先训练好的TFDistilBertModel，TFXLNetModel和TFRobertaModel Huggingface模型之后添加额外的Dense层。我已经了解了如何使用TFBertModel实现这一点，例如
output = bert_model([input_ids,attention_masks])
output = output[1]
output = tf.keras.layers.Dense(32,activation='relu')(output)
因此，这里我需要使用BERT输出元组的第二项(即索引为1的项)。根据的说法，TFBertModel在这
浏览 4提问于2020-08-01得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
