可以用LDA的锤子实现来绘制pyLDAvis图吗?我使用LDA_Model没有问题,但是当我使用Mallet时,我会得到:
'LdaMallet' object has no attribute 'inference'
我的代码:
pyLDAvis.enable_notebook()
vis = pyLDAvis.gensim.prepare(mallet_model, corpus, id2word)
vis
在Python.Gensim实现中,我使用LDA进行主题建模,允许我们将alpha设置为'auto‘,如下所示:
alpha ({numpy.ndarray, str}, optional) –
’asymmetric’: Uses a fixed normalized asymmetric prior of 1.0 / topicno.
’auto’: Learns an asymmetric prior from the corpus (not available if distributed==True).
对于
我已经导入了我需要的所有包 from gensim import corpora
from gensim import models
from gensim.models import LdaModel
from gensim.models import TfidfModel
from gensim.models import CoherenceModel 然后我需要运行LdaMallet模型,所以我像这样导入它们 from gensim.models.wrappers import LdaMallet 当运行下面的代码时,我得到了一些Namerror mallet_path = '
我需要为我的uni项目创建一个主题建模,我所做的就是尝试重复这个人正在做的事情:https://www.youtube.com/watch?v=TgXLq1XIdA0 到目前为止,我正在运行他的代码,直到第45行,我将它复制到这里: #creating our first topic model :)
#importing the necessary libraries
import gensim, nltk, os
#defining lists to work on with
#tokens from each file stored here
texts = []
#files
我正在使用Gensim的Mallet包装器进行主题建模- LdaMallet(path_to_mallet_binary, corpus=corpus, num_topics=100, id2word=words, workers=6, random_seed=2) 虽然上面的工作速度惊人地快,但获取每个文档(n=40,000)的主题分布的步骤(见下文)花费了很长的时间。 #Store topic distributuon for all documents
all_topics=[]
for x in tqdm(range(0, len(doc_list))):
all_topic
我正在尝试使用Gensim的Mallet包装器。当我运行以下代码时: import os
import gensim
os.environ.update({
'MALLET_HOME':
r":C\Users\me\OneDrive - My Company\Documents\Projects\Current\mallet-2.0.8"
})
lda_mallet = gensim.models.wrappers.LdaMallet(
r"C:\Users\me\OneDrive - My C
所以我试着在数据集上运行LDA槌。它接受引理标记和一堆文本,这是我们的数据集。问题是当我们运行时,会弹出一条冻结消息,所有已经运行的旧方法都会重新开始运行。它说,这是由于多处理开始之前,另一个完成。不知道该怎么解决。这是在MacOS上运行的。代码和输出如下。
import gensim
from gensim.models.coherencemodel import CoherenceModel
from gensim.corpora import Dictionary
from gensim.models.ldamodel import LdaModel
import os.path
de
我正在尝试加载一个保存的gensim lda槌:
ldamallet = gensim.models.wrappers.LdaMallet(mallet_path, corpus=corpus, num_topics=n_topics,id2word=id2word)
ldamallet.save('ldamallet')
当测试新查询(使用原始语料库和字典)时,第一次加载时一切似乎都很好。
ques_vec = [dictionary.doc2bow(words) for words in data_words_list]
for i, row in enumerate(
看上去很多人都和Mallet有问题。
import os
from gensim.models.wrappers import LdaMallet
os.environ.update({'MALLET_HOME':r'C:/Users/myusername/Desktop/Topic_Modelling/mallet-2.0.8'})
mallet_path = r'C:/Users/myusername/Desktop/Topic_Modelling/mallet-2.0.8/bin/mallet'
model = gensim.mod
我在试图访问jupyter笔记本中的gensims木槌时出错了。我将指定的文件'mallet‘与我的笔记本放在同一个文件夹中,但似乎无法访问它。我试着从C驱动器路由到它,但仍然得到了相同的错误。(请帮助:)
import os
from gensim.models.wrappers import LdaMallet
#os.environ.update({'MALLET_HOME':r'C:/Users/new_mallet/mallet-2.0.8/'})
mallet_path = 'mallet' # update this
当我试图逃跑时:
def remove_stopwords(texts):
return [[word for word in simple_preprocess(str(doc)) if word not in stop_words] for doc in texts]
def make_bigrams(texts):
return [bigram_mod1[doc] for doc in texts]
# Remove Stop Words
data_words_nostops1 = remove_stopwords(data_words1)
# Form Bigra
这可以从windows命令行执行:
c:\mallet\bin\mallet run
我试过了
subprocess.call(['c:\mallet\bin\mallet', 'run'])
得到一个错误
WindowsError: [Error 2] The system cannot find the file specified
我试过了
subprocess.call(['c:/mallet/bin/mallet', 'run'])
并得到错误
WindowsError: [Error 193] %1 is not a
我试图运行Mallet`s的主题建模,但得到了以下错误:
Couldn't open cc.mallet.util.MalletLogger resources/logging.properties file.
Perhaps the 'resources' directories weren't copied into the 'class' directory.
Continuing.
Exception in thread "main" java.lang.IllegalArgumentException: Trouble
LDA Mallet主题建模有很多示例,但没有一个示例显示如何将主导主题、贡献百分比和主题关键字添加到原始数据框架中。假设这是数据集和我的代码
数据集:
Document_Id Text
1 'Here goes one example sentence that is generic'
2 'My car drives really fast and I have no brakes'
3 'Your car is slow and needs no brakes'
4
我在一个列表中存储了不同的LDA模型(在相同的文本上,但都有不同的#主题)。现在,我想将这个列表和其中的所有型号保存到我的磁盘上。然而,我不确定这是如何工作的。我应该把is当做一个列表还是一个LDA模型? 在gensim website上,我找到了以下代码: from gensim.test.utils import datapath
>>>
>>> # Save model to disk.
>>> temp_file = datapath("model")
>>> lda.save(temp_file