腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
使用
BERT
模型
进行
推断
时
没有
batch_size
python
、
tensorflow
、
machine-learning
、
deep-learning
、
text-classification
我正在研究Tensorflow
BERT
语言
模型
的二进制分类问题。这是谷歌colab的link。在保存和加载
模型
进行
训练后,我在
进行
预测时出现错误。def _call_model_fn(self, features, labels, mode, config): /usr/local/lib/python3.6/dist-packages/
bert
= params["
batch_size
"
浏览 47
提问于2019-07-02
得票数 6
回答已采纳
1
回答
我不能用别人的
模型
来产生输入到我的,在发电机。我该怎么解决这个问题?
python
、
tensorflow
、
keras
我试图在SQuAD v1.1数据集上
使用
经过预先训练的
BERT
模型
来训练一个神经网络。有人建议我先获取
BERT
模型
的输出,然后将它们作为输入输入到我的神经网络中。print(v) 当我向它提供测试数据
时
,这是可行的: yield batch_features,batch_targets
浏览 0
提问于2019-08-29
得票数 3
1
回答
使用
可训练的权重组合相同维度的两个张量,以获得最终的输出张量
deep-learning
、
neural-network
、
nlp
、
pytorch
、
question-answering
在处理与问答(MRC)相关的问题
时
,我实现了两种不同的架构,它们独立地给出了两个张量(令牌上的概率分布)。这两个张量都是维度(
batch_size
,512)。我希望获得表单(
batch_size
,512)的最终输出。如何
使用
可训练权重组合两个张量,然后根据最终预测训练
模型
?编辑(附加信息): 因此,在我的NN
模型
的前向函数中,我
使用
BERT
模型
对512个令牌
进行
编码。这些编码是768维的。除此之外,我还有另一个建立在
浏览 5
提问于2020-06-21
得票数 0
1
回答
如何将
bert
嵌入传递给LSTM层
tensorflow
、
keras
、
deep-learning
、
bert-language-model
我想做情绪分析
使用
伯特嵌入和lstm层。这是我的密码:x =
bert
_preprocess(i)x = tf.keras.layers.Dropout(0.2, name="dropout")(x['pooled_output']) x = tf.keras.layers.LSTMtf.keras.layer
浏览 10
提问于2022-04-23
得票数 0
1
回答
如何在我的
模型
中
使用
经过预先训练的
bert
模型
作为嵌入层?
tensorflow
、
bert-language-model
我在我的功能
模型
中
使用
了
bert
-for-tf2的这个预先训练的
模型
,如下所示:
bert
_params =
bert
.params_from_pretrained_ckpt(model_dir) l_
bert
=
bert
.BertModelLayer.from_params= l_<e
浏览 11
提问于2021-04-20
得票数 1
2
回答
PyTorch到ONNX导出,不支持ATen运算符,ONNX运行时挂起
pytorch
、
onnx
、
caffe2
我想将基于roberta-base的语言
模型
导出为ONNX格式。该
模型
使用
ROBERTA嵌入并执行文本分类任务。但是,当我试图
使用
导出的ONNX
模型
执行
推断
时
,它会在
没有
日志或stdout的情况下停止。从官方文档中我看到,以这种方式导出的
模型
可能只能由Caffe2运行。 这层不是在基础冻结罗伯塔
模型
内,所以这是我自己添加的额外层。是否有可能用相似的层来替代冒犯层,并对
模型
进行
再培训
浏览 66
提问于2022-02-22
得票数 1
回答已采纳
1
回答
如何用
bert
嵌入来训练神经网络
模型
,而不是像手套/快速文本那样的静态嵌入?
python
、
machine-learning
、
neural-network
、
artificial-intelligence
、
pytorch
我想找一些人来训练一个传统的神经网络
模型
,它的
bert
嵌入是动态生成的(
BERT
上下文化嵌入,它为相同的单词生成不同的嵌入,当不同的上下文出现时,它会产生不同的嵌入)。在正常的神经网络
模型
中,我们会用手套或快速文本嵌入来初始化
模型
,我不想复制像这样的
浏览 0
提问于2019-03-27
得票数 6
1
回答
用于标记分类的Tensorflow
BERT
-在训练和测试
时
排除pad-标记的准确性
python
、
tensorflow
、
named-entity-recognition
、
huggingface-transformers
、
bert-language-model
我正在
使用
tensorflow的预训练
BERT
模型
进行
基于标记的分类,以自动标记句子中的因果。为了访问
BERT
,我
使用
了来自huggingface:的TFBertForTokenClassification-Interface 我用来训练的句子都是根据
BERT
-tokenizer转换成记号(基本上是单词到数字的映射),然后在训练之前填充到一定的长度,所以当一个句子只有50个记号,另一个只有30个
时
,第一个句子用50个单词填充,第二个句子用70个单词填充
浏览 0
提问于2020-07-08
得票数 1
1
回答
从BertForSequenceClassification中提取特征
python
、
nlp
、
bert-language-model
、
huggingface-transformers
大家好,目前我正在尝试开发一个用于冲突检测的
模型
。
使用
和微调
BERT
模型
,我已经得到了相当统计的结果,但我认为
使用
其他一些功能,我可以获得更好的准确性。我把自己定位在这个Tutorial上。经过微调后,我的
模型
如下所示: ==== Embedding Layer ====
bert
.encoder.layer.0.
浏览 55
提问于2021-03-27
得票数 1
回答已采纳
1
回答
测试Tensorflow对象检测API
时
的内存错误
python
、
tensorflow
、
object-detection
、
object-detection-api
、
faster-rcnn
我用自定义数据集(调整大小的图像1280x1080)训练了faster_rcnn_nas
模型
。我的GPU是Nvidia Quadro P5000,我可以在这台计算机上测试
模型
。当我用GTX 1060
进行
测试
时
,它会崩溃并产生内存错误。但是,当我测试预先训练的faster_rcnn_nas
时
,效果很好。我所做的:我限制了我
浏览 5
提问于2020-03-20
得票数 2
1
回答
如何在HuggingFace变压器库中获取预训练的
BERT
模型
的中间层输出?
tensorflow
、
keras
、
tensorflow2.0
、
huggingface-transformers
、
bert-language-model
(我正在学习关于
BERT
word嵌入的 author教程,在本教程中,作者访问了
BERT
模型
的中间层。)我想要的是
使用
HuggingFace的Transformers库访问TensorFlow2中
BERT
模型
的单个输入令牌的最后4层。如何在TF/keras/TF2中实现这一点,以获得输入令牌的预训练
模型
的中间层?(稍后,我将尝试为句子中的每个令牌获取令牌,但现在一个令牌就足够了)。我正在
使用
HuggingFace的
BERT
浏览 8
提问于2020-04-27
得票数 7
回答已采纳
2
回答
从具有多个标签的Pandas数据框创建Tensorflow数据集?
pandas
、
tensorflow
、
keras
、
tensorflow-datasets
我找不到一种方法将数据集作为数组加载到其中,并且调用model.fit()
时
,我读取了许多答案,尝试在df_to_dataset()中
使用
以下代码。tf.Tensor: shape=(), dtype=string, numpy=b'[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1.0, 0, 0, 0, 0, 0, 0]'>) 当我不
使用
任何类型转换
时
=
batch_size
) val_ds = df_to_dataset(df_val,
batch_si
浏览 115
提问于2021-10-26
得票数 0
回答已采纳
1
回答
使用
BERT
编码器的二进制分类
模型
保持50%的准确率
python
、
tensorflow
、
keras
我正在尝试为Yelp二进制分类任务训练一个简单的
模型
。('yelp_polarity_reviews', with_info=True,
batch_size
=-1, as_supervised=True)train_x = encode_examples(train_x_orig) train_y = train_y_orig
使用
BERT
嵌入数据: encoder
浏览 40
提问于2020-09-27
得票数 1
1
回答
ValueError:如果选择“
bert
”
模型
,则应该
使用
预处理_mode= '
bert
‘,反之亦然
python
、
machine-learning
、
nlp
、
bert-language-model
、
ktrain
%%timeimport ktrain(x_train_
bert
, y_train_
bert
), (x_val_
bert
, y_val_
bert
preproc) learner = ktrain.get_learner(model,train_data=(train_X, train_y), val_data=(test_X, test_y),
batch_size
= ktrain.get_learner(model,train_d
浏览 8
提问于2022-07-04
得票数 0
2
回答
我如何在
bert
预训练
模型
中获得最后一个transformer编码器的所有输出,而不仅仅是cls令牌输出?
neural-network
、
pytorch
、
text-classification
、
bert-language-model
、
huggingface-transformers
我
使用
的是pytorch,这是huggingface transformers link的
模型
from transformers import BertTokenizerFast, BertForSequenceClassification
bert
= BertForSequenceClassification.from_pretrained("
bert
-base-uncased",output_hidden_states=False) 在我正在构建的前向函数中,我现在调用了x1, x2 = self
浏览 282
提问于2020-12-09
得票数 3
4
回答
重量
没有
更新?
nlp
、
pytorch
、
text-classification
、
loss-function
、
huggingface-transformers
torch.nn as nn
batch_size
') j = 0 for i in range(0,len(X_train),
batch_size
浏览 10
提问于2020-08-02
得票数 3
3
回答
使用
自定义X和Y数据训练TFBertForSequenceClassification
nlp
、
pytorch
、
tensorflow2.0
、
huggingface-transformers
、
bert-language-model
我正在研究一个TextClassification问题,我试图在huggingface-transformers库中给出的TFBertForSequenceClassification上训练我的
模型
。我遵循了他们的页面上给出的示例,我能够
使用
tensorflow_datasets.load('glue/mrpc')对给定的示例数据运行示例代码。如何定义自己的X,对X
进行
标记化,并用X和Y准备train_dataset。其中X表示我的输入文本,Y表示给定X的分类类别。
浏览 6
提问于2020-02-29
得票数 9
1
回答
如何从检查点文件中加载一个调整好的pytorch
模型
?
python
、
machine-learning
、
pytorch
、
google-colaboratory
、
huggingface-transformers
我在Py手电中微调了一个伯特
模型
,并通过torch.save(model.state_dict(), 'model.pt')保存了它的检查点。现在,当我想重新加载
模型
时
,我必须再次解释整个网络,重新加载权重,然后推送到设备上。下面是培训代码,您可以尝试运行在colab本身!但我想拯救
模型
本身。 下面是我编写的当前
推断
代码。= AutoModel.from_pretrain
浏览 9
提问于2022-03-21
得票数 1
回答已采纳
2
回答
Tensorflow:计算精度,回忆,F1分数
python
、
tensorflow
、
machine-learning
、
huggingface-transformers
、
bert-language-model
我从Huggingface构建了一个
BERT
模型
(基于
Bert
-基-多语种),并希望用它的精确性、召回和F1评分来评估该
模型
,因为准确性并不总是最佳的评估标准。tfdataset_test = tfdataset_test.batch(
BATCH_SIZE
)MODEL_NAME = '
bert
-base-multilingual-cased'Some layers of TFBertForSequen
浏览 18
提问于2022-01-05
得票数 1
1
回答
用大数据集- Keras在上训练seq2seq
模型
tensorflow
、
keras
、
google-colaboratory
、
seq2seq
、
google-cloud-tpu
我正试图在Google上
使用
Keras训练一个序列序列
模型
,用于机器翻译。我有一个数据集,可以加载到内存中,但我必须对其
进行
预处理,才能将其提供给
模型
。我将此函数用作批处理生成器: ''' Generate a batchencoder_input_data_ids, encoder_input_data_masks, dec
浏览 3
提问于2021-02-13
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
百分点认知智能实验室出品:TPU与BERT的邂逅
招商证券BERT压缩实践(二):如何构建3层8bit模型?
使用ML和DNN 建模的技巧总结
我的BERT!改改字典,让BERT安全提速不掉分
Google发布24个小型BERT模型,直接通过MLM损失进行预训练
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券