TypeError:不可哈希类型: training word2vec中的'list‘
TypeError:不可哈希类型: training word2vec中的'list'
这个错误是在使用Word2Vec训练模型时出现的。它表明在训练过程中使用了不可哈希类型的数据，而Word2Vec模型要求输入的数据必须是可哈希类型的。
在Word2Vec中，训练数据通常是一个由句子组成的列表，每个句子又是一个由单词组成的列表。这些单词列表必须是可哈希的，以便在训练过程中进行索引和查找。
解决这个错误的方法是确保训练数据是可哈希的。如果训练数据中包含了不可哈希类型的数据，可以考虑对其进行预处理，将其转换为可哈希的类型，例如将列表转换为元组。
以下是一个示例代码，展示了如何使用Word2Vec训练模型：
from gensim.models import Word2Vec
# 训练数据，每个句子由单词组成的列表
sentences = [['this', 'is', 'an', 'example', 'sentence'],
['another', 'example', 'sentence']]
# 将训练数据转换为可哈希的类型（元组）
sentences = [tuple(sentence) for sentence in sentences]
# 训练Word2Vec模型
model = Word2Vec(sentences, min_count=1)
# 使用模型进行相关操作
# ...
在这个示例中，我们将训练数据中的每个句子转换为元组，确保其可哈希。然后使用转换后的数据训练Word2Vec模型。
腾讯云相关产品和产品介绍链接地址：
相关·内容
1回答
Gensim:在培训中丢失文字/标记
python、gensim、word2vec
我在sentences.txt有一个由维基媒体转储文件组成的语料库，我有一个句子叫“नीरजःहाँमाताजी！स्कूलख़त्महोतेसीधाघरआऊँगा”
现在，当我试图提取单词向量时，总是有一两个单词在训练时被遗漏了(尽管它包含在要训练的列表中)，并且我得到了KeyError。有什么方法可以改善训练，使它不会经常漏掉单词？
这里有一个证据证明它确实发生了。tok.wordtokenize是一个单词标记器。sentences.txt.中存储的语料库中的句子列表( sent.drawlist()和sents.drawlist() )
>>> sentence =
浏览 2提问于2017-07-07得票数 0
回答已采纳
1回答
从文件到语句的word2vec模型流数据的训练
python、streaming、nltk、gensim、word2vec
我需要处理大量的txt文件来构建word2vec模型。现在，我的txt文件有点混乱，我需要删除所有的“\n”换行符，从我加载的字符串(txt-file)中读取所有句子，然后标记每个句子，以便使用word2vec模型。
问题是:我不能一行行地读文件，因为有些句子不会一行行结束。因此，我使用“nltk.tokenizer.tokenize()”，它将文件分割成句子。
我不知道如何将字符串列表转换为列表列表，其中每个子列表都包含句子，同时通过生成器传递。
或者我真的需要将每个句子保存到一个新的文件中(每行一句)才能通过生成器传递它吗？
好吧，我的代码看起来如下：‘tokenizer = nl
浏览 1提问于2019-07-20得票数 0
回答已采纳
1回答
Word2Vec词汇表只生成字母和符号
python、python-3.x、tokenize、gensim、word2vec
我是Word2Vec的新手，我试图根据它们的相似性对单词进行聚类。首先，我使用nltk来分隔句子，然后使用生成的句子列表作为Word2Vec的输入。然而，当我打印单词时，它只是一堆字母、数字和符号，而不是单词。具体来说，其中一个字母的示例是"< gensim.models.keyedvectors.Vocab object at 0x00000238145AB438>，‘L’“：
# imports needed and logging
import gensim
from gensim.models import word2vec
import logging
impo
浏览 0提问于2019-02-28得票数 2
回答已采纳
1回答
当应用word2vec时，只显示字符，而不显示单词؟
python、nlp、text-mining、word2vec
这是我的代码，你可以看到我正在将句子标记为word，但当我在句子中应用word2vec模型时，我仍然有一个问题。我使用阿拉伯语文本anaconda版本4.7.12 sentences = nltk.sent_tokenize(str(sentences1))
sentences = [nltk.word_tokenize(sentence) for sentence in sentences]
for i in range(len(sentences)):
sentences[i] = [word for word in sentences[i] if word not in stopwor
浏览 47提问于2019-12-06得票数 0
1回答
如何利用Genism在Word2vec模型中进行在线培训
python-3.x、nlp、word2vec、word-embedding
利用Genism库，我们可以加载模型，并在添加新句子时更新词汇表。这意味着，如果您保存模型，您可以继续训练它以后。我查阅了样本数据，假设我的词汇表中有一个词是以前训练过的(即“女性”)。然后，假设我有了新句子，并使用model.build_vocab(new_sentence，update=True)和model.train(new_sentence)更新了模型。现在，在我的new_sentence中，我在前一个词汇表中有一些已经存在的单词(“妇女”)，还有一些在前一个词汇表中不存在的新单词(“女孩”)。在更新了词汇表后，我在语料库中既有新词也有旧词。我用Model.wv‘’women‘检查过
浏览 1提问于2021-05-26得票数 0
回答已采纳
1回答
用PathLineSentences在gensim word2vec中嵌入多词ngram短语
python、gensim、word2vec
我有大约82个gzipped文件(每个文件大约180 82，总计14 82)，其中每个文件包含新的行分隔语句。我正在考虑使用gensim Word2Vec的来训练词汇表上的word2vec模型。这样，列表就会进入内存中。
现在我还想让嵌入包含多个单词的短语。但是从来看，我似乎需要一个已经训练过的短语检测器和我所有的句子。
from gensim.models import Phrases
# Train a bigram detector.
bigram_transformer = Phrases(all_sentences)
# Apply the trained MWE detector
浏览 2提问于2021-01-05得票数 0
回答已采纳
3回答
基于word2vec的句子嵌入
python、gensim、word2vec、embedding
我想比较不同句子中提到的同一个词的差异，例如“旅行”。我想做的是：
将提及“旅行”一词的句子作为纯文本；
在每句话中，用travel_sent_x代替“旅行”。
对这些句子进行word2vec模型的训练。
计算travel_sent1、travel_sent2和其他重标记的“旅行”之间的距离，这样每个句子的“旅行”就有了自己的矢量，用于比较。
我知道word2vec需要更多的句子来训练可靠的向量。官方页面推荐包含数十亿字的数据集，但我的数据集中没有这样的数字(我有数千个单词)。
我试着用以下几句话来测试模型：
Sentences
Hawaii makes
浏览 5提问于2020-09-07得票数 3
回答已采纳
2回答
Word2vec Gensim精度分析
python、nlp、gensim、word2vec
我正在开发一个NLP应用程序，其中我有一个文本文件集。我想使用Gensim word2vec算法创建单词向量。
我做了90%的训练和10%的测试。我在适当的集合上训练了模型，但我想在测试集上评估模型的准确性。
我在网上浏览过任何关于准确性评估的文档，但我找不到任何方法让我这么做。有人知道有一个函数可以进行精确分析吗？
我处理测试数据的方法是从测试文件夹中的文本文件中提取所有的句子，然后把它变成一个巨大的句子列表。在那之后，我使用了一个我认为是正确的函数(结果是它给了我这个错误：TypeError:不知道如何处理uri)。我就是这样做的：
test_filenames = glob.glob(&
浏览 0提问于2018-10-10得票数 7
1回答
如何利用word2vec和CNN (2D)一起进行文本分类？
neural-network、deep-learning、keras、gensim、word2vec
有Convolution1D示例没有word2vec。
目前，我正在使用gensim来训练word2vec模型。
我想使用word2vec和keras (2D而不是1D)来进行文档分类(中文文本)。我在cnn上学习了文本分类的基本流程，并想做一个测试。
例如(我想象的步骤)：
使用一个好的中文标记文本集来训练word2vec模型
model = gensim.models.Word2Vec(new_sentences，workers=10，size=200，min_count=2)
将我的句子数据集标记为单词列表数据集(最长的句子有8000多个单词，最短小于50)
1‘你们’，‘好’，
浏览 4提问于2017-01-17得票数 2
回答已采纳
1回答
在你自己的语料库中训练快速文本词嵌入
python、tensorflow、gensim、word-embedding、fasttext
我想在我自己的语料库上训练快速文本。然而，在继续之前，我有一个小问题要问。我需要每个句子作为一个不同的项目在语料库中，还是我可以有多个句子作为一个项目？
例如，我有一个DataFrame：
text | summary
------------------------------------------------------------------
this is sentence one this is sentence two continue | one two other
ot
浏览 2提问于2021-10-15得票数 2
回答已采纳
1回答
训练过的word2vec模型词汇表中缺少的单词
python、tensorflow、nltk、gensim、word2vec
我目前正在使用python，在那里我使用我提供的句子来训练一个Word2Vec模型。然后，我保存并加载模型，以获得用于训练模型的句子中每个单词的单词嵌入。但是，我得到以下错误。
KeyError：“单词'n1985_chicago_bears‘不在词汇表中”
然而，在培训期间提供的一项判决如下。
sportsteam n1985_chicago_bears teamplaysincity city chicago
因此，我想知道为什么在词汇中遗漏了一些单词，尽管这些词是从句子语料库中训练出来的。
在自己的语料库上训练word2vec模型
import nltk
import n
浏览 1提问于2019-05-08得票数 4
回答已采纳
3回答
有没有可能从python的句子语料库中重新训练一个向量模型(例如GoogleNews- word2vec -negative300.bin)？
python、nlp、gensim、word2vec
我正在使用预先训练好的Google新闻数据集，通过使用python中的Gensim库来获取单词向量。
model = Word2Vec.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
加载模型后，我将训练评论句子转换为向量
#reading all sentences from training file
with open('restaurantSentences', 'r') as infile:
x_train = infile.readline
浏览 2提问于2016-02-01得票数 11
1回答
单词不在词汇表中
python-3.x、word2vec
第一次使用word2vec时，我处理的文件是XML格式的。我想遍历专利以找到每个标题，然后应用word2vec来查看是否有相似的单词(以指示相似的标题)。
到目前为止，我已经使用元素树解析了XML文件以检索每个标题，然后应用sent_tokenizer，然后应用tweet tokenizer返回一个句子列表，其中每个单词都已被标记化(不确定这是否是最好的方法)。然后，我将标记化的句子放入我的word2vec模型中，并使用一个单词进行测试，看看它是否返回了一个向量。这似乎只对第一句话中的一个单词有效。我不确定它是否能识别所有的句子？
import numpy as np
impo
浏览 18提问于2019-06-10得票数 3
2回答
Word2Vec中字向量的特征
machine-learning、word-embeddings、word2vec、nlp、sentiment-analysis
我试着做情绪分析。为了把单词转换成单词向量，我使用了Word2Vec模型。假设我将所有的句子都列在一个名为“句子”的列表中，然后将这些句子传递给word2vec，如下所示：
model = word2vec.Word2Vec(sentences, workers=4 , min_count=40, size=300, window=5, sample=1e-3)
由于我对单词向量不感兴趣，我有两个疑问：
1-将特征数设置为300，可以定义单词向量的特征。但这些特征意味着什么呢？如果该模型中的每个单词都由一个1x300numpy数组表示，那么这300个特征对这个单词意味着什么？
2-在上述模
浏览 0提问于2016-09-09得票数 12
回答已采纳
1回答
python上使用gensim Word2Vec的不同模型
python、nlp、gensim、word2vec
我正在尝试应用在python中的gensim库中实现的word2vec模型。我有一个句子列表(每个句子都是一个单词列表)。
例如，让我们有：
sentences=[['first','second','third','fourth']]*n
我实现了两个相同的模型：
model = gensim.models.Word2Vec(sententes, min_count=1,size=2)
model2=gensim.models.Word2Vec(sentences, min_count=1,size=2)
我意识到，模型有时是相
浏览 5提问于2016-06-10得票数 1
回答已采纳
1回答
KeyError：“单词‘限制’不在词汇表中”，同时为文本生成单词嵌入向量，从文本文件中读取。
python、deep-learning、text-files、word2vec
当我读取一个文本文件以生成单词嵌入向量时，我得到了这个错误："KeyError:单词‘限制’不是词汇表中的‘限制’，而‘限制’这个词在文本文件中。我想知道我用于读取文本文件(一个简单段落)的代码是否错误？
我的代码是下面的WRITTN：
from gensim.models import Word2Vec
# define training data
with open('D:\\test.txt', 'r') as file:
sentences = ""
#read from textfile
for line in file:
浏览 5提问于2020-05-17得票数 0
回答已采纳
1回答
用Gensim 4.0.1 Word2Vec模型进行界外误差索引
python、gensim、word2vec
错误image1：
Error image2:
我刚开始研究word2vec模型。下面是代码，我想使用句子列表来完善word2vec模型(来自Gensim 4.1.0)
from gensim.models import Word2Vec, KeyedVectors
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '2'
sentences = [['this', 'is', 'the', 'first', 'sentence'
浏览 2提问于2021-05-26得票数 3
2回答
如何最优地处理words 2 vocab的词汇
python、numpy、optimization、gensim、word2vec
我有一个一千万句句子的清单，每个句子包含多达70个单词。
我对每个单词运行gensim word2vec，然后取每个句子的简单平均数。问题是我使用的是min_count=1000，所以很多单词都不在这个词中。
为了解决这个问题，我将词汇表数组(包含大约10000个单词)与每个句子相交，如果该交集中至少还有一个元素，则返回它的简单平均值，否则，它返回一个零向量。
问题是，当我在整个数据集上运行它时，计算每个平均值需要很长的时间，甚至在分割成多个线程时，我希望得到一个更好的解决方案，可以运行得更快。
我是在一个EC2 r4.4xlarge实例上运行这个程序的。
我已经试过改用doc2vec，它速度
浏览 0提问于2019-02-15得票数 4
回答已采纳
1回答
Word2Vec模型不是训练，输入的句子在列表中同时使用句子序列和标记词。
python、gensim、word2vec
我阅读了word2vec教程，并能够使用Text8Corpus的示例数据进行培训。，但是当我尝试测试自定义数据时，模型并不是训练。输入采用python列表中的unicode字符串格式。而且min_count也被设置为1，因为它不是以上述输入格式进行的培训，所以我尝试检查给定教程中的输入类型，但我收到的格式如下:类‘gensim.model.word2vect.ext8Corpus’。因此，不知道如何在列表中训练unicode字符串语句的自定义数据。有人能引导我朝正确的方向走吗？
输入的例子：[U‘’SENTENCE_START‘，U’the‘，u’‘let’，u‘’him‘，u’‘like’
浏览 1提问于2017-04-24得票数 1
2回答
TF的Word2Vec嵌入
machine-learning、nlp、word2vec、language-model、tfidf
当您训练word2vec模型(例如使用gensim)时，您提供了一个单词/句子列表。但是，似乎没有办法为计算的词语指定权重，例如使用TF-以色列国防军。
通常的做法是将单词向量嵌入与相关的TF-IDF权重相乘吗？或者word2vec能以某种方式有机地利用这些优势吗？
浏览 0提问于2018-03-04得票数 16
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
