如何衡量在另一种语言上训练的Word2vec模型的准确性？

文章/答案/技术大牛

发布

1回答

gensim、word2vec

我已经训练了一个word2vec模型，不是针对英语，而是针对亚洲语言“僧伽罗语”。在后面的阶段，我将使用这个经过训练的模型来获取句子的相似性，以便检测僧伽罗语文档中的抄袭。请给我解释一下如何衡量训练过的模型的准确性。我是一名大学生。我以前对这些事情一无所知。

浏览 24提问于2019-01-20得票数 0

回答已采纳

1回答

窗口如何影响跳过文法的准确性？

neural-network、word2vec、word-embedding

我想知道skip-gram模型的window_size如何影响词嵌入时预测相似词的准确性。在什么情况下，准确率会下降和上升。谢谢。

浏览 4提问于2020-03-11得票数 0

4回答

如何计算WordNet中没有出现的英语单词的相似度？

python、nltk、similarity

一种特殊的自然语言实践是使用WordNet计算两个单词之间的相似度。我从下面的python代码开始我的问题：sport = wordnet.synsets("sport")[0]lol = wordnet.synsets("lol")print(lol)[]那么我们就不能考虑它们之

浏览 0提问于2016-07-09得票数 6

2回答

使用不同语法的word2vec

word2vec、word-embedding

如果在不同的语言和不同的语法上实现word2vec，会有什么效果？我的意思是word2vec是第一次在英语语料库上实现，如果我们使用另一种语言语料库，会有什么影响吗？

浏览 26提问于2019-07-28得票数 0

1回答

有没有什么模型/分类器最适合这样的基于NLP的项目呢？

machine-learning、deep-learning、nlp、text-classification

我已经写了一个程序来分析来自网站的一段给定的文本，并对其有效性进行结论分类。代码基本上将描述(实时取自给定网页的HTML )向量化，并从中获取一些输入作为特征以做出决策。还有一些更多的功能，比如网站的域名和一些我已经明确计算过的关键字。我所能达到的最高准确率是RandomForestClassifier (>90%)。除了加入更复杂的模型外，我不确定我可以做些什么来提高这种准确性。我尝试使用MLP，但对于任何

浏览 3提问于2020-01-04得票数 0

1回答

与“yes”和“no”相似或表示“yes”和“no”的单词

nlp、synonym

我想知道是否有基本上表示“是”或“否”的词的语料库？如果没有，有哪些可能的算法/技术来收集这些信息？我刚刚开始学习NLP，所以如果这是一个显而易见的问题，请容忍我。谢谢!

浏览 5提问于2016-06-22得票数 1

1回答

NLP文本自动编码器，在诗意表中生成文本

deep-learning、nlp、text-generation

我想要创建一个NLP自动编码器，它碰巧只生成符合诗意韵律的文本，例如，'iambic五音步‘。也就是说，输出应该是10个音节长的一系列从句，并以“duh-DUH DUH”的动词重音大声朗读。莎士比亚和他的同时代人在他们的许多诗歌中都采用了这种形式。我能想到的唯一方法就是收集这种格式的文本行，然后在这些文件上训练一个自动编码器。由于网络在训练时只发出五步音符，所以在预测时

浏览 0提问于2019-02-03得票数 2

1回答

是否需要对使用TFMOT修剪的模型进行重新培训？

tensorflow、deep-learning

我正在尝试使用TFMOT (Tensorflow model Optimization ToolKit)修剪一个预先训练好的模型。是否有必要重新训练修剪后的模型以获得更小的gzip大小？如果不重新训练，模型gzip大小不会减小。

浏览 39提问于2020-11-05得票数 0

2回答

理解为什么合唱只会略有改善

machine-learning、ensemble-modeling

我有两个模特，A和B，在Imagenet上受过训练。它们在Imagenet验证集上的准确率分别为35.6%和28.64%，而其集成(平均分数)的准确率为35.68%。另一件事是向我建议的是相互信息，但我不知道如何应用它在这种情况下。为什么集成的准确性不降低(到两个精度的平均值)或提高？是否有一种方法可以对这两个网络的输出进行可视化/

浏览 0提问于2019-02-07得票数 1

1回答

基于PCA的文本分类降维方法

python、python-2.7、scikit-learn、pca、naivebayes

我是做文本分类的文档，我有大约4k的分类和110万的数据样本。 X1 X2 X3 X4 D2 1，因为它们在所有行中都有相同的值。首先，当我从110万个数据构造矩阵时，我将得到具有90k特征的巨大矩阵。为了减少矩阵维数，我使用了降维技术PCA，我使用Truncate

浏览 0提问于2017-11-02得票数 1

3回答

nlp任务中微调的意义

nlp、word2vec、word-embeddings、transfer-learning、bert

一种是特征提取，在对实际任务进行训练时，不改变预训练模型的权重，另一种是可以改变预训练模型的权值。像Bert这样的当前模型考虑上下文。Bert是

浏览 0提问于2019-05-27得票数 7

1回答

帮助Keras序列模型输出

machine-learning、python

我已经为MNIST数据集训练了一个带有keras的顺序模型，这是我使用的代码。如何从输出中的这些指标中了解我的模型性能。如果可能的话请解释。

浏览 0提问于2018-11-10得票数 1

回答已采纳

1回答

在CPU环境中使用预训练的LSTM和Bert模型--如何加速预测？

python、tensorflow、nlp、lstm、bert

我在Azure上使用GPU训练了两个文本分类模型。模型如下Word2Vec (tensorflow)我将模型保存到文件(.h5)中供以后使用。我加载了模型，并在只有CPU可用的计算机中。它们都工作得很好，但是model.predict(text)函数预测文本类的速度非常慢，例如，平均每秒有1条tweet大小的消息。在</e

浏览 0提问于2020-10-15得票数 0

回答已采纳

2回答

Word2Vec -具有高交叉验证分数的模型对测试数据的性能非常差

machine-learning、cross-validation、word2vec、sentiment-analysis

在对twitter数据进行情感分析时，我遇到了一个我无法解决的问题。我想训练一个RandomForest分类器来检测仇恨言论。因此，我使用了一个带标签的数据集，其中的tweet被标记为1，表示仇恨言论，0表示正常的tweet。对于矢量化，我使用的是Word2Vec。我首先执行了一个超参数化，为分类器找到了好的参数。在超参数化期间，我使用了重复的分层KFold交叉验证(评分=准确性)，这里的<

浏览 81提问于2020-07-14得票数 2

回答已采纳

1回答

如何在我自己的R语料库上训练word2vec模型？

r、word2vec、word-embedding、natural-language-processing

我想在我自己的语料库上使用R中的rword2vec包训练word2vec模型。用于训练模型的word2vec函数需要一个train_file。R中的包文档只说明这是训练文本数据，但没有指定如何创建它。在GitHub上的示例中使用的训练数据可以从这里下载：http:

浏览 15提问于2019-05-01得票数 2

回答已采纳

3回答

为什么word2vec的表现要比CountVectorizer和TfidfVectorizer差得多？[文本分类]

machine-learning、text-mining、scikit-learn、word2vec

两个嵌入向量器都是先创建的，利用w2v库从文档中启动gensim，然后对文档中的所有给定的单词进行向量映射，然后取对应于单个单词的所有向量的平均值对它们进行矢量化。在完成这一步之后，我尝试将这些嵌入向量器作为输入输入到几个模型中，比如OneVsRestClassifier、RandomForestClassifier和ExtraTreesClassifier。因此，就指南中显示的内容而言，所有模型的表现都超出了我<e

浏览 0提问于2017-05-24得票数 1

1回答

使用词嵌入从大型语料库中查找概念

gensim、word2vec、word-embedding

我正在尝试从Konkani语言的语料库中发现新的概念。我在1)领域特定语料库上训练了两个模型，2)在报纸语料库上。我已经使用Gensim word2vec来训练模型，但是我无法在向量空间中获得具有相似含义的术语。我做错了什么

浏览 1提问于2016-02-28得票数 1

2回答

术语准确性和验证准确性之间的区别是什么

python、keras、lstm

我已经使用Keras的LSTM构建了一个模型，该模型可以检测堆栈溢出上的两个问题是否重复。当我运行模型时，我在纪元中看到了类似这样的东西。==============] - 67s - loss: 0.3136 - acc: 0.8581 - val_loss: 0.3518 - val_acc: 0.8391 我正在尝试理解这些术语中的每一个的含义上面的哪个值是我的模型的

浏览 1提问于2018-07-15得票数 20

回答已采纳

2回答

Word2Vec比较不同尺寸模型的向量

python、nlp、artificial-intelligence、gensim、word2vec

我已经为不同的语言训练了几个使用gensim的word2vec模型，但是每个语言的size都是不同的。向量如下所示：如何将vec_sp用作不同向量大小的不同模型的输入： word_vectors_en.most_similar(positive=[vec_s

浏览 3提问于2020-02-18得票数 3

点击加载更多