腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(939)
视频
沙龙
1
回答
BERT
词
嵌入
的大小/范数的意义是什么?
、
我们通常将
词
嵌入
之间的相似度与余弦相似度进行比较,但这只考虑了
向量
之间的角度,而不是范数。对于word2vec,随着单词在更多的上下文中使用,
向量
的范数会减少。因此,停用词接近于0,并且非常独特,高意义的
词
往往是大的
向量
。
BERT
是上下文敏感的,所以这个解释并不完全涵盖
BERT
嵌入
。有没有人知道矢量震级对
BERT
有什么意义?
浏览 1
提问于2019-07-23
得票数 4
1
回答
Bert
单词
嵌入
的微调
、
、
、
、
我想加载一个预训练的
Bert
模型,并使用自定义数据集对其进行微调,特别是模型的单词
嵌入
。任务是使用所选单词的单词
嵌入
进行进一步分析。值得一提的是,数据集由tweet组成,没有标签。从这一点开始,我给出了我写的代码: 首先,我清除了数据集中的表情符号、非ASCII码字符等,如以下链接(2.3节)所述:https://www.kaggle.com/jaskaransingh/
bert
-fine-tuning-with-pytorch') if torch.cuda.is_ava
浏览 56
提问于2020-10-01
得票数 0
2
回答
句子
嵌入
的文本相似性
、
、
我目前的做法如下:我平均这些
向量
来创建最终的特征
向量
。 利用余弦相似度对特征
向量
进行比较。
浏览 0
提问于2019-09-19
得票数 8
回答已采纳
2
回答
如何使用
BERT
获得句子中短语的上下文
嵌入
?
、
我使用更多的从
BERT
获得句子
嵌入
。利用这一点,我可以获得
嵌入
的句子或短语。例如:我可以得到像这样的句子的
嵌入
,“系统不工作给服务中心,但是在替换”“时没有响应。我还可以
嵌入
一个短语,比如"no“。但是,我希望在的上下文中
嵌入
“no”,该系统不能提供给服务中心,但不能响应替换“”。任何关于如何获得这一点的提示都将是有帮助的。提前谢谢。
浏览 4
提问于2020-06-26
得票数 1
回答已采纳
1
回答
BERT
语句
嵌入
与LSA
嵌入
的差异
、
、
BERT
即服务()允许提取语句级
嵌入
。假设我有一个预先训练的LSA模型,它给了我一个300维
词
向量
,当我试图比较两个句子的语义一致性时,我想知道在哪种情况下LSA模型会比
BERT
表现得更好?
浏览 5
提问于2020-03-03
得票数 0
2
回答
我们能否只使用
BERT
进行
词
嵌入
,然后使用SVM/RNN进行意图分类?
、
、
、
、
根据本文,"用于意图分类的系统包含以下内容的两个组件:字
嵌入
和分类器。“本文还对
BERT
+SVM和Word2Vec+SVM进行了评估。我试图做的相反,比较两个不同的分类器(RNN和SVM)使用伯特的字
嵌入
。我只想用
BERT
将单词映射到
向量
中,并将结果输入到分类器(SVM/RNN)中。伯特同时支持文字
嵌入
和文本分类吗?有人有解释吗?我尝试用Python测试的内容
浏览 0
提问于2020-08-04
得票数 4
2
回答
伯特字
嵌入
中的元素是什么?
、
、
、
据我所知,伯特是一个字
嵌入
,可以微调或直接使用。 对于较旧的单词
嵌入
(word2vec、Glove),每个单词在
嵌入
中只表示一次(每个字有一个
向量
)。这是一个问题,因为它没有考虑到同音
词
。这对
嵌入
词
本身意味着什么?每个单词标记还有一个
向量
吗?如果是,如何考虑上下文?如果不是,
嵌入
的格式是什么?
浏览 0
提问于2020-02-11
得票数 3
回答已采纳
2
回答
使用
BERT
词
嵌入
生成同义
词
或相似
词
、
我想使用
BERT
单词
嵌入
生成同义
词
或类似的单词。我开始使用
BERT
做这件事。对于以后的软件集成,它必须用Java语言完成,所以我选择了easy-
bert
()。看起来我可以通过这种方式获得单词
嵌入
: try(
Bert
bert
=
Bert
.load(new File("com/robrua/nlp/easy-
bert
/
bert
-uncased-L-
浏览 4
提问于2020-03-05
得票数 2
1
回答
如何使数组作为一个字
嵌入
,类似于tf.keras.datasets.imdb.get_word_index?
、
、
、
我想做一个名为word_index的单词
嵌入
,类似于tf.keras.datasets.imdb.get_word_index {'fawn': 34701, 'tsukino': 52006, 'nunnery
浏览 4
提问于2021-06-20
得票数 0
回答已采纳
1
回答
对ELMO,
BERT
,Word2Vec的怀疑
、
、
、
、
我在Quora上读到了一个答案,其中一位NLP从业者说,使用ELMO和
BERT
嵌入
作为LSTM或某些RNN的输入将违背ELMo和
BERT
的目的。我不同意上述说法。同样,常识指出,如果我们将ELMO或
BERT
词
嵌入
到LSTM,它应该输出比word2vec更多的上下文丰富的单词。我说得对吧?但是为什么不以这种方式将ELMo和
BERT
的上下文
嵌入
传递给LSTM呢?我看到了一篇文章,作者在文章中使用了ELMo
嵌入
,每个单词的平均<
浏览 0
提问于2023-04-02
得票数 0
1
回答
是否有更快的方法来获得
BERT
中给定的子字
嵌入
、
、
、
、
使用
bert
.tokenizer,我可以在一个句子中得到子
词
is和单词跨度,例如,给定句子“这是一个示例”,我得到"th“、"##is”、" an“、"##ple”的encoded_text
嵌入
,以及word_spansword_spans):有没有更快的方法将同一
词
的所有子
词
的
向量
组合在
浏览 3
提问于2022-04-10
得票数 0
1
回答
从
BERT
模型中提取单词特征
、
、
如你所知,我们可以在句子中提取单词的
BERT
特征。我的问题是,我们是否也可以提取句子中未包含的单词特征?例如,
bert
特征的单个单词,如“狗”,“人”等。
浏览 140
提问于2020-10-15
得票数 0
回答已采纳
2
回答
哪种模型更适合关键
词
集分类?
、
、
、
、
有一个类似的任务叫做文本分类。例如:input ["tomato", "potato"] --> target class "vegetable"input ["apple", "Peking", "in summer&
浏览 0
提问于2019-12-26
得票数 2
回答已采纳
3
回答
在使用Spacy,
Bert
时,是否有必要对文本分类进行停用词删除、词干提取/词汇化?
、
、
、
当使用Spacy,
Bert
或其他高级NLP模型来获得文本的
向量
嵌入
时,文本分类是否有必要进行停用词删除、词干提取和词汇化?Text=“婚礼上供应的食物非常美味” 1.由于Spacy,
Bert
是在巨大的原始数据集上训练的,在使用
bert
/spacy生成用于文本分类任务的
嵌入
之前,在这些文本上应用停用词删除、词干提取和词汇化是否有任何好处2.我可以理解,当我们使用countvectorizer,tfidf
向量
器来实现句子的
嵌入
时,去掉停用词,词干
浏览 4
提问于2020-08-28
得票数 7
1
回答
如何使用
BERT
获得单词的
向量
?
、
、
、
我需要使用
BERT
得到单词
向量
,得到这个函数,我认为它应该是我需要的。def get_
bert
_embed_matrix(sentences): model = transformers.AutoModel.from_pretrained('
bert
-base-uncased', config=model_config)tokenizer
浏览 0
提问于2022-01-14
得票数 1
1
回答
我在哪里可以得到
BERT
的预训练
词
嵌入
?
、
、
我知道
BERT
的总词汇量为30522,其中包含一些单词和子
词
。我想得到
BERT
的初始输入
嵌入
。因此,我的要求是获得[30522, 768]大小的表,我可以通过标记id对其进行索引,以获得其
嵌入
内容。
浏览 50
提问于2020-07-28
得票数 0
回答已采纳
2
回答
基于弹性搜索的语义相似度研究
、
我浏览了一些博客,他们说通用句子编码器用于语义相似性的弹性搜索,我们可以使用
BERT
而不是ULSE吗,他们还说
嵌入
搜索必须遍历所有文档。它能被优化吗。
浏览 33
提问于2020-08-03
得票数 0
1
回答
在Keras
嵌入
层中使用
BERT
嵌入
、
、
、
、
我希望在LSTM的
嵌入
层中使用
BERT
Word
向量
嵌入
,而不是通常的默认
嵌入
层。有什么办法我能做到吗?
浏览 0
提问于2020-07-07
得票数 6
1
回答
变压器对RNN的基本怀疑
、
、
、
、
但是我已经看到,基于
BERT
的模型的输出可以用作word
嵌入
。如果我有句“外面很热吗?”我的LSTM的输出也可以用作单词
嵌入
,就像我们对
BERT
做的一样? 我的理解是,LSTM用于识别单词之间的依赖关系,并使用所学的权重来执行分类/类似任务。
浏览 0
提问于2022-07-29
得票数 0
回答已采纳
3
回答
nlp任务中微调的意义
、
、
、
、
根据这些分类,静态
词
向量
(如word2vec )是一个特征提取模型,每个
向量
都编码单词的意义。像
Bert
这样的当前模型考虑上下文。
Bert
是一种语言表示模型。这意味着,它内部可以用上下文词
向量
来表示单词。比如说,在
Bert
模型的基础上,我们创建了一些特定于任务的层。现在,如果我们微调,根据定义,较低级别(语言表示层)的权重至少
浏览 0
提问于2019-05-27
得票数 7
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
嵌入向量能否理解数字?BERT竟不如ELMo?
如何通过几行 Python 代码,使用BERT进行词嵌入?
TensoFlow 实战 3层网络求解嵌入词向量,附代码详解
神经网络词嵌入:如何将《战争与和平》表示成一个向量?
一文讲透预训练模型的改进训练算法 ,轻松达到State of the Art
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券