腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
BERT
词
嵌入的大小/范数的意义是什么?
、
我们通常将
词
嵌入之间的相似度与余弦相似度进行比较,但这只考虑了
向量
之间的角度,而不是范数。对于word2vec,随着单词在更多的上下文中使用,
向量
的范数会减少。因此,停用词接近于0,并且非常独特,高意义的
词
往往是大的
向量
。
BERT
是上下文敏感的,所以这个解释并不完全涵盖
BERT
嵌入。有没有人知道矢量震级对
BERT
有什么意义?
浏览 1
提问于2019-07-23
得票数 4
3
回答
nlp任务中微调的意义
、
、
、
、
根据这些分类,静态
词
向量
(如word2vec )是一个特征提取模型,每个
向量
都编码单词的意义。像
Bert
这样的当前模型考虑上下文。
Bert
是一种语言表示模型。这意味着,它内部可以用上下文词
向量
来表示单词。比如说,在
Bert
模型的基础上,我们创建了一些特定于任务的层。现在,如果我们微调,根据定义,较低级别(语言表示层)的权重至少
浏览 0
提问于2019-05-27
得票数 7
1
回答
Bert
单词嵌入的微调
、
、
、
、
我想加载一个预训练的
Bert
模型,并使用自定义数据集对其进行微调,特别是模型的单词嵌入。任务是使用所选单词的单词嵌入进行进一步分析。值得一提的是,数据集由tweet组成,没有标签。从这一点开始,我给出了我写的代码: 首先,我清除了数据集中的表情符号、非ASCII码字符等,如以下链接(2.3节)所述:https://www.kaggle.com/jaskaransingh/
bert
-fine-tuning-with-pytorch') if torch.cuda.is_available() else torc
浏览 56
提问于2020-10-01
得票数 0
1
回答
BERT
语句嵌入与LSA嵌入的差异
、
、
BERT
即服务()允许提取语句级嵌入。假设我有一个预先训练的LSA模型,它给了我一个300维
词
向量
,当我试图比较两个句子的语义一致性时,我想知道在哪种情况下LSA模型会比
BERT
表现得更好?
浏览 5
提问于2020-03-03
得票数 0
2
回答
句子嵌入的文本相似性
、
、
我目前的做法如下:我平均这些
向量
来创建最终的特征
向量
。 利用余弦相似度对特征
向量
进行比较。
浏览 0
提问于2019-09-19
得票数 8
回答已采纳
1
回答
Tensorflow
bert
标记化未知
词
我目前正在做以下tf教程:
bert
_model_name = '
bert
_en_uncased_L-12_H-768_A-12' tfhub_handl
浏览 8
提问于2021-03-10
得票数 0
回答已采纳
2
回答
如何使用
BERT
获得句子中短语的上下文嵌入?
、
我使用更多的从
BERT
获得句子嵌入。利用这一点,我可以获得嵌入的句子或短语。例如:我可以得到像这样的句子的嵌入,“系统不工作给服务中心,但是在替换”“时没有响应。我还可以嵌入一个短语,比如"no“。
浏览 4
提问于2020-06-26
得票数 1
回答已采纳
1
回答
是否有更快的方法来获得
BERT
中给定的子字嵌入
、
、
、
、
使用
bert
.tokenizer,我可以在一个句子中得到子
词
is和单词跨度,例如,给定句子“这是一个示例”,我得到"th“、"##is”、" an“、"##ple”的encoded_text嵌入,以及word_spansword_spans):有没有更快的方法将同一
词
的所有子
词
的
向量
组合在一起
浏览 3
提问于2022-04-10
得票数 0
1
回答
我可以使用具有非线性的堆叠自动编码器训练Word2vec吗?
、
、
、
每次我读到Word2vec,嵌入都是通过一个非常简单的自动编码器获得的:只有一个隐藏层,初始层是线性激活,输出层是softmax。 我的问题是:为什么我不能用堆叠的自动编码器训练一些Word2vec模型,有几个隐藏层和更花哨的激活函数?(当然,输出端的softmax将被保留。) 我从来没有找到任何关于这方面的解释,因此欢迎任何提示。
浏览 16
提问于2019-06-27
得票数 1
回答已采纳
2
回答
伯特字嵌入中的元素是什么?
、
、
、
对于较旧的单词嵌入(word2vec、Glove),每个单词在嵌入中只表示一次(每个字有一个
向量
)。这是一个问题,因为它没有考虑到同音
词
。据我所知,伯特处理这个问题的方法是将上下文理解为宽容。这对嵌入
词
本身意味着什么?每个单词标记还有一个
向量
吗?如果是,如何考虑上下文?如果不是,嵌入的格式是什么?
浏览 0
提问于2020-02-11
得票数 3
回答已采纳
1
回答
如何使用
BERT
获得单词的
向量
?
、
、
、
我需要使用
BERT
得到单词
向量
,得到这个函数,我认为它应该是我需要的。def get_
bert
_embed_matrix(sentences): model = transformers.AutoModel.from_pretrained('
bert
-base-uncased', config=model_config)tokenizer
浏览 0
提问于2022-01-14
得票数 1
2
回答
我们能否只使用
BERT
进行
词
嵌入,然后使用SVM/RNN进行意图分类?
、
、
、
、
“本文还对
BERT
+SVM和Word2Vec+SVM进行了评估。我只想用
BERT
将单词映射到
向量
中,并将结果输入到分类器(SVM/RNN)中。
浏览 0
提问于2020-08-04
得票数 4
1
回答
如何使数组作为一个字嵌入,类似于tf.keras.datasets.imdb.get_word_index?
、
、
、
我对机器学习很陌生。我看到了来自IMDB的Movie二进制分类代码。我试图对自己的数据集使用相同的代码(其中列是"text":这是我的情绪化句子,“标签”:0或1)。{'fawn': 34701, 'tsukino': 52006, 'nunnery': 52007, 'sonja': 16816, 'vani': 63951, 'woods': 1408
浏览 4
提问于2021-06-20
得票数 0
回答已采纳
1
回答
对ELMO,
BERT
,Word2Vec的怀疑
、
、
、
、
我在Quora上读到了一个答案,其中一位NLP从业者说,使用ELMO和
BERT
嵌入作为LSTM或某些RNN的输入将违背ELMo和
BERT
的目的。我不同意上述说法。同样,常识指出,如果我们将ELMO或
BERT
词
嵌入到LSTM,它应该输出比word2vec更多的上下文丰富的单词。我说得对吧?但是为什么不以这种方式将ELMo和
BERT
的上下文嵌入传递给LSTM呢?我看到了一篇文章,作者在文章中使用了ELMo嵌入,每个单词的平均
向量
用于logistic回归和基于树的模型。因此,如果X
浏览 0
提问于2023-04-02
得票数 0
1
回答
为什么单词预测是自然语言处理中的一种痴迷?
、
我听说过伯特在蒙面
词
预测方面有多棒,也就是从一个句子中预测一个缺失的单词。语言模型的基本任务是在空白中预测单词,或者预测单词在特定上下文中发生的概率。
浏览 0
提问于2019-10-16
得票数 8
回答已采纳
2
回答
使用
BERT
词
嵌入生成同义
词
或相似
词
、
我想使用
BERT
单词嵌入生成同义
词
或类似的单词。我开始使用
BERT
做这件事。对于以后的软件集成,它必须用Java语言完成,所以我选择了easy-
bert
()。看起来我可以通过这种方式获得单词嵌入: try(
Bert
bert
=
Bert
.load(new File("com/robrua/nlp/easy-
bert
/
bert
-uncased-L-12-H-768-A-12"
浏览 4
提问于2020-03-05
得票数 2
1
回答
伯特从哪里得到它预测的代币?
、
、
、
当
BERT
被用于蒙面语言建模时,它掩盖了一个标记,然后尝试预测它。伯特从哪里得到它预测的标记?
浏览 0
提问于2020-11-16
得票数 2
回答已采纳
1
回答
如何在aclImdb数据集上使用预训练的静态
词
向量
、
、
、
我试着用LSTM和预先训练的
BERT
嵌入来进行情感分类,然后用转换器进行语言翻译,首先我下载了!在最快的收敛性和稳定性之间找到平衡model = text.text_classifier('
bert
', trn , preproc=preproc)is selected model, then preprocess_mode='%s' should be used and vice versa" --> 111
浏览 14
提问于2022-06-19
得票数 0
回答已采纳
1
回答
Doc2Vec捕获的信息是伯特捕获的信息的子集吗?
、
、
、
Doc2Vec和
BERT
都是用于创建文本
向量
的NLP模型。原始的Doc2Vec模型保持了768的矢量,而原始的
BERT
模型保持了300大小的
向量
。我想我可以将伯特
向量
投影到一个D2V子空间中,并将这些
向量
与D2V
向量
进行比较,但这取决于这样一个假设,即我要将伯特
向量
投射到的子空间实际上是可与D2V空间相比较的(即相同类型的信息)。
浏览 12
提问于2022-08-23
得票数 0
1
回答
是否可以在R中使用SET with data.table赋值多个列/值?
、
、
as the index/columns of a list seems to do the trick, even if it seems a tiny bit repetitive/clunky
bert
_MISS <- paste0(
bert
, "_MISS") ## rename the c
浏览 12
提问于2021-05-30
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hsigmoid加速词向量训练
词向量之DNN模型
嵌入向量能否理解数字?BERT竟不如ELMo?
自然语言处理之词To词向量
玩转词向量:用fastText预训练向量做个智能小程序
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券