我遵循这个example来使用BERT进行情感分类。tf.keras.layers.Input(shape=(), dtype=tf.string) "https://tfhub.dev/tensorflowhub.KerasLayer(
"https://tfhub.dev/tensorflow/bert_en_uncased_L-12_H-768_A-1
浏览 34提问于2021-08-26得票数 0
(我正在学习关于BERT word嵌入的 author教程，在本教程中，作者访问了BERT模型的中间层。)我想要的是使用HuggingFace的Transformers库访问TensorFlow2中BERT模型的单个输入令牌的最后4层。因为每个层输出一个长度为768的向量，所以最后4个层的形状为4*768=3072 (对于每个令牌)。
如何在TF/keras/TF2中</
浏览 8提问于2020-04-27得票数 7
回答已采纳
1回答
快速和慢速标记器产生不同的结果
、、、、
具体地说，当我运行填充掩码管道时，分配给填充掩码的单词的概率对于快速和慢速记号赋予器是不同的。此外，尽管快速标记器的预测保持不变，而与输入的句子数量和长度无关，但对于慢速标记器则不是如此。='bert-base-cased', \
s1 =
浏览 27提问于2020-04-12得票数 3
7回答
我看不出伯特是如何在不使用解码器的情况下做出预测的，这是之前所有模型的一部分，包括变压器和标准RNN。如何在不使用解码器的情况下在BERT体系结构中进行输出预测？怎么才能完全消除解码器呢？换句话说，我可以用什么解码器和伯特一起生成输出文本？如果BERT只编码，我可以使用什么库/工具从嵌入解码？
浏览 0提问于2019-12-21得票数 22
回答已采纳
1回答
有人可以简单地列出为CS新手构建BERT文本分类器所涉及的任务吗？我的方法包括获取一个段落长度的人道主义援助活动描述列表(在CSV文件中具有相应的标题和扇区代码)，并使用单独的扇区代码列表及其句子长描述构建一个能够将扇区代码分配给描述的分类器。对于训练、测试和评估，我将把我的分类器生成的代码与CSV文件中的代码进行比较。有什么关于高级任务/步骤的想法，以帮助我制定项目任务核对表？我启动了一个谷歌CoLab笔记本，制作了两个CSV文
浏览 15提问于2021-11-12得票数 0
在尝试使用Transformers库中提供的encode_plus方法为BERT编码问答对时，我遇到了一个奇怪的错误。 我使用的是来自this Kaggle competition的数据。我的目标是将以下编码作为BERT的输入： CLS question_title question_body SEP应答SEP 但是，当我尝试使用 tokenizer = transformers.BertTokenizer.from_pretrained("bert-base-uncased") 并且
浏览 115提问于2020-04-20得票数 7
我有一个关于变压器自我注意层的问题。在处理小批中不同长度的序列时，我们使用pad序列，使批处理中的所有序列都具有相同的长度。假设数据集中的大多数序列都是<500个元素长，但是有一些非常长的序列可以是1000s的元素长。如果我想在不截断的情况下处理那些非常长的序列，那么即使输入批次不包含任何长序列，多头自我关注层的大小也必须根据最长的序列量身
浏览 0提问于2022-09-08得票数 0
回答已采纳
但是，BERT对长文档有一个问题。它支持的序列长度只有512，但我所有的简历都有1000多个单词。我真的被困在这里了。像截断文档这样的方法并不适合这个目的。
有没有其他模型可以做到这一点？
浏览 9提问于2020-12-02得票数 0
我希望在整个文档上使用BERT-嵌入来实现NER。一个文档由几个句子组成，每个句子都由标记组成，并有可变的长度。现在，我用BERT为每个句子创建单词嵌入，并为每个句子创建pad。但我如何在微调环境下做到这一点呢？我的输入有以下形状:文档、句子、标记然后，我想将伯特的输出放入一个带有形状文档、句子*标记的bidir
浏览 0提问于2019-03-31得票数 0
我想使用Tensorflow进行序列标记，也就是词性标记的一部分。我尝试使用这里概述的相同的模型： (它概述了一个将英语翻译成法语的模型)。由于在标注中，输入序列和输出序列具有完全相同的长度，所以我配置了桶，使输入序列和输出序列具有相同的长度，并试图在ConLL 2000上使用该模型学习POS标签。然而，解码器似乎有时输出一个短于输入</
浏览 8提问于2015-11-16得票数 4
tokenized_texts], maxlen=MAX_LEN, dtype="long", truncating="post", padding="post")
完整的代码在这个中可用。为了避免这个错误，我将上面的语句修改为下面的语句，获取
浏览 0提问于2019-02-25得票数 5
1回答
问题是：
系统只会接收或删除单个单词。
另外，我想知道在我的系统中，节点的权重是否都是0和1(因为它只能接受或删除单个单词)，或者是中间值，比如保留单词的概率。概述这一进程
转换我所有的字符串(或单词？)变成一维数
浏览 2提问于2017-07-17得票数 0
回答已采纳
1回答
我有一堆带有文本的文档，我想标记文档是否属于体育、食品、政治等。我可以使用BERT (对于单词>500的文档)来实现这一点吗?或者是否有其他模型可以有效地完成这项任务？
浏览 7提问于2021-02-10得票数 1
9回答
我们知道BERT有一个标记的最大长度限制= 512，那么如果一篇文章的长度远远大于512，比如文本中有10000个标记，如何使用BERT？
浏览 3提问于2019-10-31得票数 47
给定一个情感分类数据集，我想对Bert进行微调。 正如你所知道的，BERT创造了预测下一个句子的方法，给定当前句子。无论如何，对于文本分类，我在一些在线示例(参见BERT in Keras with Tensorflow hub)中注意到的是，他们添加了[CLS]标记，然后添加句子，最后添加另一个[SEP]标记。在其他研究工作(例如Enriching Pre-trained Language Model with Entity Information for Relation Class
浏览 190提问于2020-01-13得票数 6
我想要创建序列分类bert模型。模型输入为2句。但是，我想用大上下文数据对模型进行微调，该数据由多个句子组成(标记的数量可能超过512)。如果训练数据的大小和实际输入数据的大小不同，可以吗？
谢谢
浏览 0提问于2022-03-25得票数 1
1回答
解释了伯特的产出
、、、、
伯特编码器输出的关键是default、encoder_outputs、pooled_output和sequence_output
据我所知，encoder_outputs是每个编码器的输出，pooled_output
浏览 3提问于2021-11-04得票数 2
回答已采纳
1回答
我正在使用TensorFlow的TextLineDataset读取一个大型文本文件。我希望将数据集标记化，并创建一个滑动窗口，并将标记化文本分为两部分--输入和标签。然后，我想要创建一个指定长度的序列，预先填充0。我想遍历文本，并使用除了最后一个作为输入和最后一个作为标签。因此，我的目标是首先将文本标记为如下所示：ipsum: 2,sit: 4,...然后创建一个
浏览 6提问于2022-03-30得票数 2
回答已采纳
我读了很多文章，人们都说BERT对NLU有好处，而GPT对NLG有好处。但它们在结构上的关键区别在于是否在自我注意中添加了掩膜，并以不同的方式训练了模型。从下面的代码中，如果我理解正确的话，我们可以自由选择是否添加注意掩码。
那么我能否得出这样的结论：“BERT的预训练参数对NLU有好处”，“GPT2的预训练参数对NLG有好处”？
浏览 8提问于2021-03-29得票数 0
2回答
注意力对自动编码器有意义吗？
、、、、
在自动编码器的背景下，我在努力思考注意力的概念。我相信我理解注意seq2seq翻译的用法--经过训练后，我们可以同时使用编码器和解码器来创建语言翻译(例如)。由于我们在生产中还在使用译码器，所以我们可以利用注意机制。
但是，如果自动编码器的主要目标是生成输入向量的潜在压缩表示，该怎么办？我说的是一些情况，在培训之后，我们基本上可以处理模型的解码器部分。例如，如果我在没有注意的情况下使用LSTM，那么“经典”方法就是使用最后一个隐藏状态作为上下文向量--它应该表示
浏览 6提问于2019-09-28得票数 17
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
