腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(5961)
视频
沙龙
1
回答
如何
微调
BERT
基础(无基础模型)以生成
嵌入
?
nlp
、
bert-language-model
、
word-embedding
、
summarization
、
fine-tune
在互联网上,我找到
的
只是分类tasks.But
的
例子,在我
的
问题中没有标签。(我只有一组tweet)。我
的
任务如下:使用
BERT
生成
单词
嵌入
,现在在下一个任务中使用这个
单词
嵌入
。我
的
目标:我想对
BERT
进行
微调
,以产生更好
的
单词
嵌入
。如何做到这一点?
浏览 15
提问于2021-11-12
得票数 0
1
回答
huggingface pytorch-transformers:如何使用特定值初始化
嵌入
?
nlp
、
huggingface-transformers
我正在对
的
bert
模型进行
微调
。有没有办法手动设置某个
单词
片段
的
初始
嵌入
?例如使
单词
"dog“
的
初始
嵌入
等于torch.ones(768)。谢谢!
浏览 19
提问于2019-08-21
得票数 4
2
回答
我们能否只使用
BERT
进行词
嵌入
,然后使用SVM/RNN进行意图分类?
nlp
、
rnn
、
svm
、
word-embeddings
、
bert
根据本文,"用于意图分类
的
系统包含以下内容
的
两个组件:字
嵌入
和分类器。“本文还对
BERT
+SVM和Word2Vec+SVM进行了评估。我试图做
的
相反,比较两个不同
的
分类器(RNN和SVM)使用伯特
的
字
嵌入
。我只想用
BERT
将
单词
映射到向量中,并将结果输入到分类器(SVM/
浏览 0
提问于2020-08-04
得票数 4
1
回答
BERT
作为分类服务?
text
、
nlp
、
classification
我在分类任务中对
BERT
进行了
微调
。
bert
-as-a-service允许获取
单词
嵌入
,但我想获取输入文本
的
类。这个问题最好在这里描述:https://github.com/hanxiao/
bert
-as-service/issues/213 你有什么建议吗?
浏览 10
提问于2019-09-19
得票数 0
1
回答
当我有没有标签
的
文本文档数据集时,如何使用
BERT
的
微调
?
deep-learning
、
nlp
、
transfer-learning
、
bert
我对使用
BERT
进行各种NLP/文本挖掘任务有了基本
的
了解。当谈到伯特
的
微调
时,我总是看到
微调
是使用一些分类任务来执行
的
。那么,当我有一组完全没有标签
的
文档时,我应该如何改进
BERT
模型给出
的
单词
/句子
嵌入
向量?我知道,
BERT
模型最初是针对没有标签
的
数据进行培训
的
,所以必须有一些方法。
浏览 0
提问于2020-05-27
得票数 2
1
回答
Bert
单词
嵌入
的
微调
python
、
pytorch
、
word-embedding
、
bert-language-model
、
language-model
我想加载一个预训练
的
Bert
模型,并使用自定义数据集对其进行
微调
,特别是模型
的
单词
嵌入
。任务是使用所选
单词
的
单词
嵌入
进行进一步分析。值得一提
的
是,数据集由tweet组成,没有标签。此任务是否可以使用输入ids (标记化
的
tweet)作为标签?我没有标签。只有一些推文是随机排列
的
。从这一点开始,我给出了我写
的
代码: 首先,我清除了数据集中
的
浏览 56
提问于2020-10-01
得票数 0
1
回答
如何从
bert
finetuned模型中获取
嵌入
?
pytorch
、
transformer
、
bert-language-model
我已经使用transformer和torch对'
bert
-base-uncased‘模型进行了
微调
,它给了我pytorch_model.bin、vocab.txt和其他文件作为输出。加载模型后,我如何获得完整
单词
的
嵌入
,就像一个矩阵,它将每个
单词
映射到它
的
嵌入
向量
浏览 7
提问于2020-05-29
得票数 1
回答已采纳
1
回答
从段落或文档网中
嵌入
基于变压器
的
模型(如Doc2Vec)
nlp
、
bert
、
transformer
、
embeddings
、
doc2vec
我有一组包含不同长度序列
的
数据。平均序列长度为600。,'Walk']As变压器是NLP任务
的
最先进
的
方法.我在想,如果变压器模型可以用于类似的任务。但是它使用了一个经过预先训练
的
BERT
模型(可能是用于语言<e
浏览 0
提问于2021-04-22
得票数 1
4
回答
如何在未标记
的
数据上
微调
BERT
?
nlp
、
pytorch
、
huggingface-transformers
、
bert-language-model
我想在特定
的
域上对
BERT
进行
微调
。我在文本文件中有该域
的
文本。我如何使用这些来
微调
BERT
?我目前正在寻找。 我
的
主要目标是使用
BERT
实现句子
嵌入
。
浏览 3
提问于2020-05-23
得票数 6
1
回答
关于文本分类任务迁移学习
的
任何有用提示
classification
、
nlp
、
transfer-learning
、
text-classification
我正在做一个监督
的
二进制文本分类任务。对于每个站点
的
文本来说,域内性能看起来都很好。(92%~94%)。然而,如果我将一个站点
的
文本培训模型直接应用到另一个站点
的
文本上(不进行
微调
),那么性能就会大大降低。(7%-16%
的
精度降级)。我已经尝试过
的
方法:
Bert
嵌入
+
浏览 0
提问于2020-07-21
得票数 2
回答已采纳
1
回答
对ELMO,
BERT
,Word2Vec
的
怀疑
machine-learning
、
nlp
、
lstm
、
word-embeddings
、
bert
我在Quora上读到了一个答案,其中一位NLP从业者说,使用ELMO和
BERT
嵌入
作为LSTM或某些RNN
的
输入将违背ELMo和
BERT
的
目的。我不同意上述说法。通常,我们将
单词
传递给LSTM,以获得特定上下文
的
表达,我知道这一点。但是,我们传递
的
是word2vec而不是单一热点,因为处理后
的
上下文表示会更好。同样,常识指出,如果我们将ELMO或
BERT
词
嵌入
到LSTM,它应该输出比word2vec
浏览 0
提问于2023-04-02
得票数 0
2
回答
使用
BERT
词
嵌入
生成同义词或相似词
nlp
、
word-embedding
我想使用
BERT
单词
嵌入
生成同义词或类似的
单词
。我开始使用
BERT
做这件事。对于以后
的
软件集成,它必须用Java语言完成,所以我选择了easy-
bert
()。看起来我可以通过这种方式获得
单词
嵌入
: try(
Bert
bert
=
Bert
.load(new File("com/robrua/nlp/easy-
bert
浏览 4
提问于2020-03-05
得票数 2
2
回答
伯特:使用上下文标记向量对整个预训练模型端到端
的
vs进行
微调
。
word-embeddings
、
bert
在伯特
的
官方github页面中,它提到:我想知道,在哪些情况下,只使用令牌向量,将是更有益
的
(除了内存问题)?
浏览 0
提问于2019-05-27
得票数 3
1
回答
从
BERT
模型中提取
单词
特征
word-embedding
、
bert-language-model
、
latent-semantic-analysis
如你所知,我们可以在句子中提取
单词
的
BERT
特征。我
的
问题是,我们是否也可以提取句子中未包含
的
单词
特征?例如,
bert
特征
的
单个
单词
,如“狗”,“人”等。
浏览 140
提问于2020-10-15
得票数 0
回答已采纳
1
回答
如何为领域特定
的
表征学习任务训练
bert
模型?
python
、
embedding
、
bert-language-model
、
sentence-transformers
我正在尝试为一些特定类型
的
文本生成良好
的
句子
嵌入
,使用句子转换模型测试相似度,而使用kmeans进行聚类并不能给出好
的
结果。有什么需要改进
的
想法吗?我正在考虑在我
的
数据集上训练任何句子转换器模型(它们只是句子,但没有任何标签)。如何特别针对ny数据重新训练现有模型以生成更好
的
嵌入
。谢谢。
浏览 5
提问于2020-12-08
得票数 0
1
回答
微调
BERT
,无需对其进行领域特定语料库
的
预培训。
nlp
、
bert
、
search
我正在使用
BERT
/SBERT + ElasticSearch 8构建一个内部语义搜索引擎,其中根据答案与查询
的
余弦相似性来检索答案。要搜索
的
文档在某种程度上是特定领域
的
,据我
的
估计,大约10%
的
词汇表不存在于
BERT
模型接受培训
的
Wiki或公共爬行数据集中。这些基本上是“捏造”词-利基产品和品牌名称。所以我
的
问题是: 我是否应该先在我
的
特定语料库上预先训练一个
BERT
/SBER
浏览 0
提问于2022-10-16
得票数 1
回答已采纳
1
回答
仅针对
嵌入
的
BERT
的
无监督
微调
?
nlp
、
similarity
、
bert-language-model
我想在未标记
的
数据上对特定领域
的
BERT
进行
微调
,并让输出层检查它们之间
的
相似性。我该怎么做呢?我是否需要首先
微调
分类器任务(或问题答案等)。然后拿到
嵌入
物?或者我可以只使用预训练
的
Bert
模型,而不使用任务,并使用我自己
的
数据进行
微调
?
浏览 2
提问于2020-04-22
得票数 3
1
回答
针对特定于上下文
的
嵌入
角色
微调
BERT
模型
python
、
nlp
、
bert-language-model
我正在试图找到关于如何训练
BERT
模型
的
信息,可能是从Huggingface Transformers库中,以便
嵌入
它
的
输出与我正在使用
的
文本
的
上下文更紧密地相关。然而,我能找到
的
所有例子都是关于为另一个任务
微调
模型
的
,比如classification。有没有人碰巧有一个
BERT
微调
模型
的
例子,用于掩蔽标记或下一句预测,输出另一个根据上下文
微调
的
浏览 15
提问于2021-04-17
得票数 3
回答已采纳
1
回答
pandas数据框列
的
BERT
字
嵌入
python
、
pandas
、
nlp
、
bert-language-model
我正在做一个使用Tamil Universal Dependency dataset
的
NLP项目。我已经将数据预处理成一个数据框,其中
的
列是令牌及其依赖标记。我想使用mBERT模型执行
单词
嵌入
。由于数据集是一个预先训练
的
模型,因此它已经被标记化,如附加
的
数据框所示。我不确定如何继续,因为当令牌被转换为令牌id时,令牌器错误地标记了令牌id。
浏览 15
提问于2021-10-31
得票数 0
1
回答
无位置
嵌入
的
伯特
huggingface-transformers
、
bert-language-model
、
word-embedding
我试图在HuggingFace中构建一个管道,它不会使用
BERT
中
的
位置
嵌入
,以便研究特定用例
的
嵌入
作用。我已经查看了文档和代码,但是我还没有找到实现这样一个模型
的
方法。我是否需要修改伯特
的
源代码,还是有一个配置我可以摆弄?
浏览 6
提问于2022-10-10
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
用于自然语言处理的BERT-双向Transformers的直观解释
如何通过几行 Python 代码,使用BERT进行词嵌入?
对 PyTorch BERT 模型进行微调,并将其部署到 Amazon SageMaker 上的 Amazon Elastic Inference
微软提出新预训练语言模型DeBERTa:仅需一半数据且效果优于BERT、RoBERTa
从单词嵌入到文档距离:WMD一种有效的文档分类方法
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券