腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
将LSTM/GRU添加到
keras
tensorflow中的
BERT
嵌入
lstm
、
word-embedding
、
tf.keras
我正在试验
BERT
嵌入,遵循下面的代码https://github.com/strongio/
keras
-
bert
/blob/master/
keras
-
bert
.py 以下是代码的重要部分(第265-267行):
bert
_output = BertLayer(n_fine_tune_layers=3)(
bert
_inputs) dense = tf.
keras
.layers.Den
浏览 24
提问于2019-06-15
得票数 4
1
回答
如何
使用
Keras
创建
BERT
层
?
tensorflow
、
deep-learning
、
text-classification
我正在尝试
使用
BERT
层
来将文本评论分为正面或负面: # similar to tutorial:except Exception:import tensorflow as tf from tensorflow.
keras
layer clas
浏览 4
提问于2020-04-28
得票数 0
回答已采纳
1
回答
在长文本分类中,
如何
利用
Bert
作为段落编码器实现网络?
python
、
keras
、
nlp
、
bert-language-model
我正在做一个长的文本分类任务,在文档中有10000多个单词,我计划
使用
Bert
作为段落编码器,然后逐步将段落的嵌入提供给BiLSTM。该网络如下: 伯特
层
:(max_paragraph_len,paragraph_embedding_size)
如何
用<e
浏览 3
提问于2019-11-05
得票数 2
1
回答
HuggingFace变压器
如何
在添加额外的
keras
层
后冻结变压器
keras
、
deep-learning
、
nlp
、
bert-language-model
、
huggingface-transformers
我想在预训练的
BERT
模型的最后一
层
之后添加一个回归
层
。所以它应该是这样的:output = output[1]但我不知道
如何
冻结
BERT
模型,只训练回归
层
。
浏览 32
提问于2021-05-13
得票数 0
1
回答
如何
访问Huggingface预先培训过的
BERT
模型的特定
层
?
tensorflow
、
keras
、
nlp
出于实验目的,我需要访问编码器的嵌入
层
。也就是说,假设Tensorflow实现,
层
定义为tf.
keras
.layers.Embedding(.)。例如,在转换器的编码器部分设置嵌入()
层
的'embeddings_regularizer=‘参数的方法是什么?
浏览 4
提问于2021-04-12
得票数 2
回答已采纳
1
回答
如何
提高
BERT
keras
hub
层
输入的秩(ndim)以进行学习排名
python
、
keras
、
information-retrieval
、
bert-language-model
、
tensorflow-hub
我正在尝试
使用
tensorflow集线器上提供的预训练
BERT
来实现一个学习排名模型。我
使用
的是ListNet损失函数的一个变体,它要求每个训练实例都是与查询相关的几个排序文档的列表。在一个只包含密集
层
的简单模型中,通过增加输入
层
的维度很容易做到这一点。我正在尝试对
BERT
模型及其预处理
层
执行相同的操作:import tensorflow_hub as hub import tensorflow_text=
be
浏览 31
提问于2021-05-16
得票数 1
1
回答
如何
将新的向量连接到现有的
Bert
向量?
tensorflow
、
embedding
、
bert-language-model
、
word-embedding
现在,我想将
bert
的“池化输出”
层
与这个实体向量连接在一起,作为下一
层
的输入。这可能会提高原始
Bert
的性能。
如何
在
Keras
中做到这一点?这是从教程中定义文本分类器模型的微调代码: def build_classifier_model(): encoder = hub.KerasLayer(tfh
浏览 93
提问于2021-06-24
得票数 0
回答已采纳
2
回答
在带有肋
层
的分配策略范围中没有
创建
变量。
python
、
tensorflow
、
keras
、
google-colaboratory
、
tpu
这很可能是因为并非所有
层
或模型或优化器都是在分发策略范围之外
创建
的。试着确保您的代码看起来类似于下面的代码。
使用
strategy.scope():Model.compile(.) class BertLayer(tf.
keras
.layers.Layer): def __init__(self, n
浏览 2
提问于2019-08-02
得票数 1
1
回答
如何
在HuggingFace变压器库中获取预训练的
BERT
模型的中间层输出?
tensorflow
、
keras
、
tensorflow2.0
、
huggingface-transformers
、
bert-language-model
(我正在学习关于
BERT
word嵌入的 author教程,在本教程中,作者访问了
BERT
模型的中间层。)我想要的是
使用
HuggingFace的Transformers库访问TensorFlow2中
BERT
模型的单个输入令牌的最后4
层
。因为每个
层
输出一个长度为768的向量,所以最后4个
层
的形状为4*768=3072 (对于每个令牌)。
如何
在TF/
keras
/TF2中实现这一点,以获得输入令牌的预训练模型的中间层?
浏览 8
提问于2020-04-27
得票数 7
回答已采纳
1
回答
如何
将
bert
嵌入传递给LSTM
层
tensorflow
、
keras
、
deep-learning
、
bert-language-model
我想做情绪分析
使用
伯特嵌入和lstm
层
。这是我的密码:x =
bert
_preprocess(i)x = tf.
keras
.layers.Dropout(0.2, name="dropout")(x['pooled_output']) x = tf.
浏览 10
提问于2022-04-23
得票数 0
1
回答
使用
BERT
编码器的二进制分类模型保持50%的准确率
python
、
tensorflow
、
keras
Load
BERT
编码器: gs_folder_
bert
= "gs://cloud-tpu-checkpoints/
bert
/
keras
_
bert
/uncased_L-12_H-768_A-12"train_x = encode_examples(train_x_orig) t
浏览 40
提问于2020-09-27
得票数 1
1
回答
如何
从不接受张量/NumPy数组作为参数的函数中
创建
层
?
python
、
tensorflow
、
keras
我正在尝试
使用
这些函数来
创建
Lambda
层
,然后将其馈送到另一个
Keras
模型中。'] = '1'from
keras
_
bert
import load_trained_model_from_checkpoint token_dict = {}impo
浏览 16
提问于2019-09-08
得票数 0
回答已采纳
1
回答
BERT
语句嵌入:
如何
获得句子嵌入向量
keras
、
nlp
、
embedding
、
word-embedding
、
sentence
为了在Tensorflow 2.0中将
BERT
模型包装为
Keras
层
,我
使用
了模块
bert
-for-tf2,我遵循了将
BERT
模型实现为
Keras
层
的指南。我试图从一个句子中提取嵌入;在我的例子中,这个句子是"Hello“model_word_embedding = tf.
keras
.Sequential([ tf.
keras</
浏览 4
提问于2019-12-13
得票数 1
1
回答
BERT
编码
层
是不可训练的
python
、
tensorflow
、
keras
、
bert-language-model
我正在尝试从TensorFlow集线器微调
BERT
模型。我加载了预处理
层
和编码器,如下所示:
bert
_model = hub.KerasLayer('https://tfhub.dev/tenso
浏览 9
提问于2021-03-10
得票数 0
1
回答
TypeError:
层
的输入应该是张量。Got: last_hidden_state
python
、
tensorflow
、
huggingface-transformers
、
bert-language-model
我一直在尝试
使用
BERT
训练句子相似度模型,但我遇到了这个错误。我确实找遍了,但找不到解决方案,有人能帮我吗?附加代码供您参考。" # Loading pretrained
BERT
model.
bert
_model = transformers.TFBertModel.from_pretrained("
bert
-base-uncased") # Freeze the
BERT
model
bert
_model.t
浏览 44
提问于2021-11-19
得票数 -1
1
回答
TensorFlow在密集输出
层
的输入形状误差与model.summary()所说的不一致
python
、
tensorflow
、
tf.keras
、
huggingface-transformers
我正在处理一个NLP问题(句子分类),并决定
使用
HuggingFace的TFBertModel以及Conv1D、平面和密集
层
。我正在
使用
functional并编译我的模型。但是,在model.fit()期间,在输出密集
层
会出现形状错误。embedding =
bert
_encoder([input_word_ids, input_mask, input_type_ids])[0] conv_layer = tf.
keras
.layers.Conv1D_1的输入0与
层</e
浏览 1
提问于2020-08-22
得票数 0
1
回答
得到错误“两种形状的维度0必须相等,但为2和1”。当尝试拟合角星模型时
python
、
tensorflow
、
keras
、
tf.keras
然后,我
创建
了一个简单的模型(只是为了测试),它包含了一个密集的16个relu
层
和一个密集的1个乙状结肠
层
。我用BinaryCrossentropy损失和Adam优化器编译了模型。如果
使用
2 softmax
层
(
使用
BinaryCrossentropy或sparse_categorical_crossentropy),则会得到另一个错误:ValueError: logits和标签必须具有相同的形状Tensorflow和
keras
版本: 2.5.0 train = pd.r
浏览 5
提问于2021-08-17
得票数 0
1
回答
如何
从tensorflow集线器设置
BERT
预处理
层
的output_shape?
tensorflow
、
keras
、
deep-learning
、
huggingface-transformers
、
bert-language-model
我正在为文本分类构建一个简单的
BERT
模型,
使用
tensorflow集线器。/tfhub.dev/tensorflow/
bert
_en_uncased_preprocess/3") tex
浏览 10
提问于2022-09-18
得票数 2
回答已采纳
1
回答
向Huggingface转换器添加额外的
层
python
、
tensorflow
、
keras
、
nlp
、
huggingface-transformers
我想在预先训练好的TFDistilBertModel,TFXLNetModel和TFRobertaModel Huggingface模型之后添加额外的Dense
层
。我已经了解了
如何
使用
TFBertModel实现这一点,例如output = output[1]因此,这里
浏览 4
提问于2020-08-01
得票数 4
回答已采纳
1
回答
在TPUStrategy范围内
使用
BERT
作为hub.KerasLayer编译模型失败
python
、
python-3.x
、
tensorflow
、
tensorflow2.0
、
tensorflow-hub
我正在尝试
使用
来自
Keras
集线器()的
BERT
多语言作为TensorFlow模型中的一个
层
。在不
使用
分发策略的情况下训练模型效果很好。以下是我用于构建和训练模型的代码: in_id = tf.
keras
.layers.Input(shape=(MAX_SEQ_LENGTH,), name="")(
bert
_inputs) dense = tf.
keras
.la
浏览 4
提问于2020-01-08
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用keras创建一个简单的生成式对抗网络
如何使用BERT进行自然语言处理?
【信息抽取】如何使用BERT进行关系抽取
招商证券BERT压缩实践(二):如何构建3层8bit模型?
如何通过几行 Python 代码,使用BERT进行词嵌入?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券