腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
CLI
命令
训练
BERT
、
、
、
、
我已经从transformer存储库下载了HuggingFace
BERT
模型,找到了here,并希望通过
使用
run_ner.py脚本在自定义NER标签上
训练
模型,因为它在“命名实体识别”一节中被引用为我在代码中定义了模型(“
bert
-base-德语-大小写”)、数据(“数据/语句_数据.txt”)和标签(“data_dir /labels.txt)”作为默认值。现在,我在
命令
行中
使用
以下输入: python run_ner.py --output_dir="
浏览 76
提问于2020-11-02
得票数 0
回答已采纳
3
回答
OSError:错误无文件名['pytorch_model.bin','tf_model.h5','model.ckpt.index']
、
、
、
当我在线加载
BERT
预
训练
模型时,我得到了这个错误OSError: Error no file named ['pytorch_model.bin', 'tf_model.h5', 'model.ckpt.index
浏览 2485
提问于2020-07-18
得票数 3
回答已采纳
1
回答
针对不同语言的特定领域微调
BERT
?
、
、
、
我想对一个预先
训练
好的
BERT
模型进行微调。但是,我的任务
使用
特定领域内的数据(比如生物医学数据)。此外,我的数据也是一种不同于英语的语言(比如荷兰语)。现在,我可以微调荷兰
bert
-base-荷兰案例预
训练
模型。然而,我该如何对生物医学
BERT
模型进行微调,比如BioBERT,它属于正确的领域,但语言错误?我曾经考虑过
使用
NMT,但我不认为它是可行的,也不值得为此付出努力。如果我在没有对模型进行任何更改的情况下进行微调,我担心模型不会很好地学习任务,因为它是在完全不同
浏览 4
提问于2021-01-28
得票数 2
3
回答
微调
BERT
的最后x层
、
、
、
我试着微调
BERT
只在特定的最后一层(比方说最后三层)。我想
使用
谷歌Colab进行TPU培训。我
使用
hub.Module加载
BERT
并对其进行微调,然后将微调后的输出用于我的分类任务。
bert
_module = hub.Module(
BERT
_MODEL_HUB, tags=tags, trainable=True) hub.Module可以选择将模型设置为可
训练
或不可
训练
,但不能将其设置为部分可
训练
(仅特定层) 有人知道如何
浏览 67
提问于2019-05-08
得票数 2
1
回答
如何
使用
另一种经过预先
训练
的
BERT
模型和ktrain文本分类器?
、
、
我们如何
使用
不同的预先
训练
的模型,为文本分类器在the库?
使用
时: model = text.text_cl
浏览 5
提问于2020-09-03
得票数 1
回答已采纳
1
回答
使用
谷歌云平台TPU v3对
BERT
进行预培训
、
、
、
我们正在尝试
使用
我们准备的语料库对
BERT
进行预
训练
。在本教程()的帮助下,我尝试
使用
云壳
使用
TPU v3对
BERT
进行预
训练
,但云壳的
使用
限制为每周60小时,这不允许我们有效地执行非常耗时的计算,如
BERT
预
训练
。如果我们想在谷歌云平台上
使用
TPU v3对
BERT
进行不间断的预
训练
,最好的方法是什么? 如果可能的话,如果你能提供一个具体的流程,那将是非常有帮助的
浏览 4
提问于2021-11-09
得票数 0
2
回答
在poolingLayer -nlp中加载
BERT
嵌入模型时出现"Param nlp不存在“错误
、
我的NLP管道
使用
来自johnsnowlabs的预
训练
的
BERT
嵌入模型"
bert
_base_uncased“。但是当加载这个下载的模型时,我得到了以下异常。
浏览 32
提问于2021-04-02
得票数 1
回答已采纳
1
回答
通过TF-hub导入后冻结
BERT
层并对其进行
训练
?
、
我想通过tf-hub函数hub.module(
bert
_url,trainable = True)导入
BERT
预
训练
模型,并将其用于文本分类任务。我计划
使用
一个大型语料库来微调
BERT
的权重,以及几个输入为
BERT
输出的密集层。然后我想冻结
BERT
的层,只
训练
BERT
之后的致密层。我怎样才能有效地做到这一点呢?
浏览 25
提问于2020-03-29
得票数 0
1
回答
如何从Tensorflow checkpoint (ckpt)文件中预测
BERT
-base中句子中的掩蔽词?
、
、
、
、
我有基于
BERT
的模型检查点,这是我在Tensorflow中从头开始
训练
的。我如何
使用
这些检查点来预测给定句子中的掩蔽词?我在网上搜索了很多,但每个人都在
使用
BERT
来完成特定于任务的分类任务。而不是
使用
BERT
来预测被屏蔽的单词。 请帮我解决这个预测问题。我
使用
create_pretraining_data.py创建数据,并
使用
官方
BERT
存储库(https://github.com/
浏览 24
提问于2019-09-11
得票数 0
1
回答
bert
中的反向传播
、
、
我想知道,当人们说预
训练
的
bert
模型时,是否只
训练
了最终的分类神经网络 或 通过反向传播和分类神经网络,transformer内部是否有任何更新
浏览 121
提问于2021-02-04
得票数 1
回答已采纳
1
回答
使用
领域文本预
训练
BERT
/RoBERTa语言模型,估计需要多长时间?哪个更快?
、
、
我想
使用
领域语料库(情感相关文本)预
训练
BERT
和RoBERTa传销。
使用
50k~100k单词需要多长时间。由于RoBERTa没有经过
训练
来预测下一个句子的目标,比
BERT
少一个
训练
目标,并且具有更大的小批量和学习率,我假设RoBERTa会快得多?
浏览 28
提问于2020-02-09
得票数 1
回答已采纳
1
回答
基于大型语料库的Word2Vec文本分类
、
、
、
、
我正在做一个小项目,我想
使用
word2vec技术作为文本表示方法。我需要对专利进行分类,但我只标注了其中的几个,为了提高我的ML模型的性能,我想
使用
大量的专利来增加我的模型的语料库/词汇量。问题是,一旦我
训练
了我的单词嵌入功能,如何
使用
这个更大的语料库与我的
训练
数据-我的标签数据? 我的数据集由2000项专利组成,这些专利都贴上了标签。用于
训练
我的单词嵌入语料库的专利有300万项(我2000年的一些标签专利已经包含在这个更大的语料库中),这是我用Gensim
训练</em
浏览 0
提问于2020-07-15
得票数 1
回答已采纳
2
回答
BERT
作为特征提取器与微调
BERT
层固定的区别
、
、
、
据我所知,利用
BERT
进行某些NLP分类任务有两种方法:
BERT
可以执行“特征提取”,其输出将进一步输入到另一个(分类)模型中。另一种方法是微调一些文本分类任务的
BERT
,方法是在预培训的
BERT
中添加一个或多个输出层,并对整个过程进行再培训(有不同数量的
BERT
层固定)。
浏览 0
提问于2020-03-26
得票数 1
1
回答
领域特定数据的蒙面语言建模
、
、
、
一开始,我考虑从零开始对语言模型(比如
BERT
)进行预培训,但不幸的是,我的数据并不能帮助以前的模型学习新的连接,更不用说从头开始学习嵌入式了。现在,我想到的是用我自己的词汇表创建一个转换器模型,它由特定于域的数据中的单词组成(在用空格分隔它们之后,而不是
使用
转换器令牌器)。这样,词汇量就会更小,位置和关系也会更快、更容易地了解。我可以
使用
这个体系结构(即NMT)并为输入和输出提供纯文本吗?或者我应该在输入中屏蔽一些标记,并将完整的句子作为标签吗? 还有其他建议吗?
浏览 0
提问于2021-04-24
得票数 1
1
回答
使用
BERT
编码器的二进制分类模型保持50%的准确率
、
、
我正在尝试为Yelp二进制分类任务
训练
一个简单的模型。Load
BERT
编码器: gs_folder_
bert
= "gs://cloud-tpu-checkpoints/
bert
/keras_
bert
/uncased_L-12_H-768_A-12"train_x = enco
浏览 40
提问于2020-09-27
得票数 1
2
回答
用于命名实体识别的PyTorch Huggingface NLP
、
、
、
、
直到最后一次(11月至2月),我一直在
使用
库,并获得了一个F分数 of 0.81为我的命名实体识别任务,通过微调模型。tokenized_texts], maxlen=MAX_LEN, dtype="long", truncating="post", padding="post") 完整的代码在这个中可用。为了避免这个错误,我将上面的语句修改为下面的语句,获取任何序列的前512个标记
浏览 0
提问于2019-02-25
得票数 5
1
回答
重新
训练
BERT
模型
、
、
、
、
我已经
使用
pytorch为分类任务
训练
了大约一百万个文本数据的
BERT
模型。在用新数据测试这个模型后,我得到了假阳性和假阴性。现在我只想用FN和FP重新
训练
现有的模型。我不想将FN和FP附加到现有的数据集,然后再次
训练
整个模型。如何仅
使用
这些FN和Fp重新
训练
此
bert
模型,而不是先前
训练
的模型。
浏览 31
提问于2021-11-23
得票数 0
2
回答
去除
Bert
中用于文本分类的SEP标记
、
给定一个情感分类数据集,我想对
Bert
进行微调。 正如你所知道的,
BERT
创造了预测下一个句子的方法,给定当前句子。无论如何,对于文本分类,我在一些在线示例(参见
BERT
in Keras with Tensorflow hub)中注意到的是,他们添加了[CLS]标记,然后添加句子,最后添加另一个[SEP]标记。当我的任务只
使用
一句话时,为什么在输入文本的末尾添加[SEP]标记/没有好处?
浏览 190
提问于2020-01-13
得票数 6
1
回答
如何在
BERT
的帮助下找到段落的上下文?
我正在寻找一种方法来用
BERT
运行一个简单的例子。如何
使用
谷歌
BERT
分析上下文?https://github.com/google-research/
bert
例如,我有一段维基百科文本,以及来自谷歌的预
训练
BERT
模型。如何将段落传递给
BERT
并获得主要上下文的文本表示?谢谢!EDTED: 示例:我们有一个段落 “我正在寻找一种
使用
BERT
运行一个简单示例的方法。如何
使用
谷歌
浏览 18
提问于2019-01-16
得票数 1
回答已采纳
2
回答
将模型重量分别保存在移相器中
、
、
、
、
我正在
使用
PyTorch来
训练
一个深度学习模式。我想知道我是否可以单独节省模型重量。__init__() self.out = nn.Linear(768,1)def forward(self, ids, mask, token_type): x = self.
bert
(ids, mask, token_type)[1]x = self.out(x
浏览 5
提问于2021-12-13
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何快速部署本地训练的 Bert-VITS2 语音模型到 Hugging Face
基于transformer的BERT模型来做完形填空,直接无敌了
模型秒变API只需一行代码,支持TensorFlow等框架
“一键”部署分布式训练,微软“群策MARO”上新集群管理助手
如何通过几行 Python 代码,使用BERT进行词嵌入?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券