使用Bert (huggingface)分类器解决tf.keras模型的问题

文章/答案/技术大牛

发布

1回答

python、tensorflow2.0、huggingface-transformers

我正在训练一个使用Bert (huggingface)的二进制分类器。该模型如下所示： def get_model(lr=0.00001): bert = TFBertModel.from_pretrainedmodel.compile(optimizer=adam, loss="binary_cro

浏览 38提问于2020-01-09得票数 4

回答已采纳

1回答

如何微调BERT基础(无基础模型)以生成嵌入？

nlp、bert-language-model、word-embedding、summarization、fine-tune

在互联网上，我找到的只是分类tasks.But的例子，在我的问题中没有标签。(我只有一组tweet)。我的任务如下:使用BERT生成单词嵌入，现在在下一个任务中使用这个单词嵌入。我的目标:我想对BERT进行微调，以产生更好的单词嵌入。如何做到这一点？

浏览 15提问于2021-11-12得票数 0

1回答

Tensorflow预测两个句子相互追逐的可能性

python、tensorflow、keras

我使用AWS Textract从文档中提取文本，但是，一些句子被撕开，我需要使用Tensorflow将它们重新组合在一起。我对TensorFlow非常陌生，因此我不知道需要什么样的模型配置才能实现这一点。这里有一些我需要模型来预测的例子。], { }, "part": "computer in the room." &quo

浏览 11提问于2021-01-12得票数 0

回答已采纳

1回答

如何在BertForSequenceClassification之上添加额外的致密层？

text-classification、bert-language-model、pytorch-lightning

我想在分类层(我使用的是PyTorch lightning)之前添加一个额外的层(和dropout)，最好的方法是什么？

浏览 62提问于2021-05-05得票数 0

回答已采纳

1回答

Huggingface中的过度拟合

overfitting、bert、huggingface

我正在使用Huggingface的TFBertForSequenceClassification进行多标签tweets分类。在训练过程中，模型存档精度较好，但验证精度较差。我试着用一些辍学来解决过度适应的问题，但是表现仍然很差。模式如下：config = BertConfig.from_pretrained("bert-base-unc

浏览 0提问于2020-06-23得票数 1

1回答

使用BERT的文本分类-如何处理拼写错误的单词

pytorch、text-classification、huggingface-transformers、bert-language-model、misspelling

我不确定这是否是提交这类问题的最佳地点，也许CrossValdation会更好。我正在研究一个文本多类分类问题。我构建了一个基于BERT概念的模型，并在PyTorch (huggingface transformer library)中实现。该模型执行得很好，除非输入句子有OCR错误或等效地拼写错误。例如，如果输入是"NALIBU DRINK“，Bert标记器会生成'na&#x

浏览 38提问于2020-04-04得票数 0

1回答

我做了一个Keras模型来检测字符串值是Address，Company还是Date。我只使用了不同的公司名称，不同的日期共振峰和不同的街道地址进行培训。对于预处理，我使用了向量化器： transformerVectoriser = ColumnTransformer(transformers=[('vector char', CountVectorizer是否可以使用该模型来检测字符串(地址、公司或日期)在较大文本

浏览 4提问于2021-03-27得票数 3

1回答

使用BERT模型检索“相关令牌”(已经过微调)

keyword、bert-language-model、huggingface-transformers、attention-model

我已经针对分类任务对BERT模型(使用huggingface库)进行了微调，以预测两种类型的帖子类别(例如，1和0 )。但是，我需要检索被预测为类别1的文档的“相关令牌”(例如)。我知道，一旦我用BERT模型将所有帖子标记为1(例如)，我就可以使用传统的TF-IDF方法。但我有以下问题:有没有可能用经过微调的BERT模型

浏览 19提问于2021-03-30得票数 0

1回答

为什么TFBertForSequenceClassification.from_pretrained('bert-base-chinese')不能使用？

huggingface-transformers

我想用huggingface做中文文本相似度： tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') model = TFBertForSequenceClassification.from_pretrained('bert-base-chinese') 它不工作，系统报告错误： Some weights of the model checkpoint at bert-base-chinese were not但

浏览 460提问于2020-07-13得票数 1

1回答

BERT嵌入SPARKNLP或BERT在拥抱面标记分类中的应用

nlp、bert-language-model、huggingface-transformers、johnsnowlabs-spark-nlp

目前，我的工作是生产一个新的模式在星火。我有一个当前的实现，即在TokenClassification头上使用Huggingface，但是由于性能有点慢，而且代价很高，所以我试图找到优化的方法。我检查了SPARKNLP实现，该实现缺乏经过预先培训的DISTILBERT，我是否认为有一种不同的方法，因此出现了一些有关这方面的问题： Huggingface使用整个BERT模型<

浏览 2提问于2020-10-30得票数 2

回答已采纳

3回答

将BERT模型转换为TFLite

python、tensorflow、tensorflow-lite、bert-language-model

我有这个代码的语义搜索引擎建立使用预先训练的bert模型。我想将此模型转换为tflite，以便将其部署到google mlkit。我想知道如何转换它。我想知道是否有可能将其转换为tflite。但我不知道从何说起代码： from sentence_transformers import SentenceTransformer # Load the BERT model.sentence-transformers/blob/master/d

浏览 59提问于2020-04-01得票数 3

1回答

错误：'utf-8‘编解码器无法解码7526-7527位置的字节:无效的连续字节

python、utf-8、load

我在直接下载Bert模型(公司的隐私政策)时遇到连接问题，所以我在https://github.com/huggingface/transformers/blob/master/src/transformers/tokenization_bert.py下载了BertTokenizer 并得到了我的模型令牌器的txt文件。“<em

浏览 13提问于2020-01-13得票数 0

回答已采纳

2回答

用于命名实体识别的PyTorch Huggingface* NLP*

python、nlp、data-science、named-entity-recognition、huggingface-transformers

我已经用了相当长一段时间了，用PyTorch实现谷歌的 by 来制作1.0数据集。直到最后一次(11月至2月)，我一直在使用库，并获得了一个F分数 of 0.81为我的命名实体识别任务，通过微调模型。模型的指定最大序列长度(632 >512个)。通过BERT运行此序列将导致索引错误。完整的代码在这个中可用。为了避免这个错误，我将上面的语句修改为下面的语句，获取任何序列的前512个标记，并进行必要的更改，

浏览 0提问于2019-02-25得票数 5

1回答

问答中的问题生成+NLP

python、machine-learning、nlp、nlp-question-answering

我有一个数据集(大约3K到4K) excel文件，每个文件都有大约12K的记录，这些记录是FAQ、电子邮件会话、博客评论、聊天等的组合。例如：样本问题- What are IIT colleges in India?客户的要求是- 从(上面的示例答案)段落中生成尽可能多的简单问题以及他们<e

浏览 3提问于2019-11-11得票数 2

1回答

BertTokenizer加载问题

deep-learning、nlp、pytorch、bert

在我的kaggle内核中，我没有这个本地目录。如何解决这个问题？MAX_LEN = 200 TEST_CSV = "test.csv" PROJECT_NAME = "bert-base2"OSError: Can't load t

浏览 0提问于2022-06-16得票数 1

回答已采纳

2回答

如何将标记器输出转换为Huggingface* Transformers中Trainer所需的train_dataset？*

python、huggingface-transformers

我尝试使用huggingface transformers的文档进行标记化。from transformers import AutoTokenizerencoded_input= tokenizer(batch_of_sequences) 预训练的标记器给出了包含以下三个关键字的字典输出： encoded_input = {

浏览 107提问于2020-08-21得票数 3

1回答

EncoderDecoderModel转换解码器的分类器层

python、pytorch、huggingface-transformers

我正在尝试使用序列到序列模型进行命名实体识别.我的输出是简单的IOB标记，因此我只想预测每个令牌(IOB)的3个标签的概率。我正在尝试使用HuggingFace实现EncoderDecoderModel --使用DistilBert作为编码器，以BertForTokenClassification作为解码器。output_attentions=False) decoder.save_pretrain

浏览 2提问于2021-10-25得票数 1

回答已采纳

3回答

OSError:错误无文件名['pytorch_model.bin'，'tf_model.h5'，'model.ckpt.index']

python、tensorflow、pytorch、bert-language-model

当我在线加载BERT预训练模型时，我得到了这个错误OSError: Error no file named ['pytorch_model.bin', 'tf_model.h5', 'model.ckpt.index

浏览 2485提问于2020-07-18得票数 3

回答已采纳

1回答

用Tensorflow vs PyTorch实现BERT

tensorflow、pytorch、bert

BERT是Google开发的NLP模型。最初的BERT模型是由TensorFlow团队建立的，也有一个使用PyTorch构建的BERT版本。这两种模式的主要区别是什么？

浏览 0提问于2020-05-07得票数 1

回答已采纳

2回答

Tensorflow和Bert到底是什么，它们之间有什么区别？

nlp、tensorflow2.x

我对NLP很感兴趣，我想出了Tensorflow和Bert，两者似乎都来自谷歌，似乎都是目前情绪分析最好的东西，但我不明白它们到底是什么，它们之间有什么区别.有人能解释一下吗？

浏览 3提问于2021-05-02得票数 0

回答已采纳

点击加载更多