我正在与TensorFlow和凯拉斯在TPU上工作，我需要加载预先训练的BERT模型并将其转换为TPU模型。我首先加载了模型，它工作得很好。')
config_path,
checkpoint_path_bert = <em
浏览 62提问于2019-07-02得票数 1
回答已采纳
1回答
我们正在尝试使用我们准备的语料库对BERT进行预训练。在本教程()的帮助下，我尝试使用云壳使用TPU v3对BERT进行预训练，但云壳的使用限制为每周60小时，这不允许我们有效地执行非常耗时的计算，如BERT预训练。如果我们想在谷歌云平台上
浏览 4提问于2021-11-09得票数 0
我正在尝试使用来自Keras集线器()的BERT多语言作为TensorFlow模型中的一个层。在不使用分发策略的情况下训练模型效果很好。但是，当尝试通过分发策略利用Google Cloud TPU时，训练模型失败，并出现以下错误：
ValueError: Variable (<tf.Variable 'bert/embeddings&#x
浏览 4提问于2020-01-08得票数 1
我正在尝试使用Tensorflow集线器使用BERT进行文本分类。代码在Colab GPU上运行良好，但当我将其转换为Colab TPU时，它显示以下'uninitialized layer‘错误。compute_output_shape(self, input_shape): #step=be
浏览 77提问于2019-06-05得票数 1
1回答
我正在尝试微调一个伯特模型上的谷歌Colab从Tensorflow集线器使用这个。这个错误只发生在我尝试使用TPU时(在CPU上运行很好，但是训练时间很长)。下面是我设置TPU和模型的代码：import os
clust
浏览 11提问于2021-12-25得票数 3
回答已采纳
在这里，我训练bert模型。下面是我用来训练的代码，当我加载保存的预测模型时，它显示了这个错误。有人能帮帮我吗？Dropout,from tensorflow.keras.models import Sequential tf.tpu.experimental.initialize_tpu_sy
浏览 4提问于2022-08-31得票数 1
1回答
我正在使用一个预先训练过的keras模型，我想通过Google Colaboratory在TPU上运行它，但是我得到了以下错误：
from keras_xlnet
浏览 3提问于2019-10-29得票数 6
我正在尝试为Yelp二进制分类任务训练一个简单的模型。Load BERT编码器： gs_folder_bert = "gs://cloud-tpu-checkpoints/bert/keras_bert/uncased_L-12_H-768_A-12" os.path.join(gs_folder_bert</em
浏览 40提问于2020-09-27得票数 1
3回答
微调BERT的最后x层
、、、
我试着微调BERT只在特定的最后一层(比方说最后三层)。我想使用谷歌Colab进行TPU培训。我使用hub.Module加载BERT并对其进行微调，然后将微调后的输出用于我的分类任务。bert_module = hub.Module(BERT_MODEL_HUB, tags=tags, trainable=True) hub.Module可以选择将模型设置为可训练
浏览 67提问于2019-05-08得票数 2
我正试着用TPU在google colab上做一些基本的字符分类。我不知道问题出在哪里，因为我在创建numpy数组时使用了float32。我也不知道cond_8/Merge:0指的是什么。我加载的输入文件是一个表示大量28x28灰度图像的JSON数组
[{"label":25,"data":[[[1],[.56720000]...],...]}]我已
浏览 0提问于2019-07-27得票数 5
从TPU官方文档中可以看出，培训文件必须在GCP上 https://cloud.google.com/tpu/docs/troubleshooting#cannot_use_local_filesystem但我有一个较小的数据集(但训练将需要很长时间，因为训练基于采样/排列)，可以全部加载到内存中(1-2 gb)。我想知道我是否可以以某种方式直接将数据对象传输到TPU，然后它可以使用<
浏览 12提问于2020-07-11得票数 0
我正在尝试使用tensorflow集线器上提供的预训练BERT来实现一个学习排名模型。我使用的是ListNet损失函数的一个变体，它要求每个训练实例都是与查询相关的几个排序文档的列表。我需要模型能够接受形状(batch_size，list_size，sentence_length)中的数据，其中模型在每个训练实例的</e
浏览 31提问于2021-05-16得票数 1
我已经在TPU上训练了我的模型，结果似乎很适合测试。TPU_model.h5加载reconstructed_model = keras.models.load_model("TPU_model.h5")。使用reconstructed_model.predict_classes(tensored_image)时，结果是不正确的。尝试过reconstructed_
浏览 0提问于2021-01-16得票数 2
2回答
我试着用TPU来完成谷歌上的BERT模型。变量(tf.Variable shape=(768，) dtype=float32)不是在0x7f6a1fad3390的(tensorflow.python.distribute.tpu_strategy.TPUStrategyV1这很可能是因为并非所有层或模型或优化器都是在分发策略范围之外创建的。试着确保您的代码看起来类似于下面的代码。使用strategy
浏览 2提问于2019-08-02得票数 1
我已经在谷歌Colab上为cifar10数据集建立了一个残差神经网络模型，但它在TPU硬件上运行非常慢。 我有另一个常规的卷积神经网络，它在google colab上运行良好。此模型使用keras Sequential API，而残差神经网络使用Functional API，不确定这是否是问题所在。我已经尝试更改批处理大小，但没有任何帮助。下面是我的程序的链接。https://c
浏览 41提问于2019-06-15得票数 0
model = tf.contrib.tpu.keras_to_tpu_model(model, tpu_model.fit(...)
请注意，我使用相同的tpu_model进行批量预测和训练。tpu_model.predi
浏览 5提问于2019-01-27得票数 0
1回答
我想知道，当人们说预训练的bert模型时，是否只训练了最终的分类神经网络 或 通过反向传播和分类神经网络，transformer内部是否有任何更新
浏览 121提问于2021-02-04得票数 1
回答已采纳
在加载我使用tf-hub的预训练BERT进行了微调的模型时观察KeyError:'CaseFoldUTF8' while loading the model
浏览 58提问于2021-04-30得票数 1
我是深度学习和自然语言处理的新手，现在正试图开始使用预先训练好的Google BERT模型。因为我打算用BERT构建一个QA系统，所以我决定从SQuAD相关的微调开始。我在the official Google BERT GitHub repository中遵循了README.md的说明。num_train_epochs=2.0 \ --doc_stride=12
浏览 161提问于2019-04-06得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
