我正在尝试使用Java中的Apache Spark ML创建一个LDA模型。输入文档为字符串格式。我得到的主题是数字格式，而不是word格式。我发现了一个类似的问题，但遗憾的是，解决方案是在R- 中，但我正在使用Java语言中的Spark的ML库寻找解决方案。
任何帮助都将不胜感激。谢谢!
浏览 3提问于2016-08-30得票数 1
1回答
我们需要对直播流上的twitter推文进行主题建模，输入使spark流，并将数据存储到HDFS。在收集的数据上运行批处理作业。批处理任务是在tweet中查找底层主题。为此，我们使用潜在狄利克雷分配(LDA)算法来找出主题。我们接收最大字符数为140的推文形式的数据，并将其存储为HDFS中的一行。我是LDA算法的新手，对此有基本的了解，因为主题模型是基于n个文档中的单词共现得出的
我
浏览 1提问于2017-04-17得票数 1
我正在使用Spark 1.3.0 (Scala2.10.X) MLlib LDA算法和Spark Java API。当我试图在运行时从LDA模型中读取文档主题分布时，我遇到了以下问题。"main“java.lang.ClassCastException：[Lscala.Tuple2；不能强制转换为scala.Tuple2DistributedLDAModelldaModel = new
浏览 0提问于2015-07-29得票数 1
4回答
短文Python的主题建模
、、、、
我想对短文做主题建模。我对LDA做了一些研究，发现它与短文不太相符。哪些方法会更好，它们有Python实现吗？
浏览 12提问于2020-06-03得票数 5
回答已采纳
我试图使用spark算法对维基百科数据进行主题建模:输入文件基本上是一个包含大量xml文件的大型bz2文件。我在spark网站上使用了基本的spark代码：val ssqlc:SQLContext = new org.apache.spark.sql.SQLContextval ldaModel = new LDA().setK(25).ru
浏览 4提问于2016-07-28得票数 0
1回答
对于结果集中排名较高的文档，我如何在搜索引擎返回的结果中建模主题？
我正在查看的用例涉及提取搜索结果中返回的最重要主题。例如：如果用户搜索一个查询q1，该查询D1...Dn返回得分为S1...Sn的文档(按降序排列)，那么我提出这样一个概念，即这样一组文档的主题以结果集中得分较高的文档表示得更好。是否有可能将这些信息合并到像LDA这样的主题建模算法中？
浏览 0提问于2020-03-06得票数 1
回答已采纳
在使用主题建模和考虑LDA & LSA方法时，我遇到了一个问题，然而，我发现有些主题并没有像我喜欢的那样被精确地定义。是否有可能将单词定义为主题，以帮助机器更好更容易地学习？如前所述，我尝试了LDA和LSA技术来进行主题建模，发现LDA是最准确的，其一致性评分为0.46，并重新定义了主题名称。但是，主题中的单词并不反映主题名称，这需要对模
浏览 8提问于2022-03-31得票数 1
回答已采纳
我是NLP的初学者，这是我第一次做主题建模。我能够生成我的模型，但是我不能产生一致性度量。id2word这是我的模型：
lda = models.LdaModel(corpus=corpus, id2word=id2word, num_topics=
浏览 6提问于2019-11-25得票数 0
回答已采纳
现在，我已经通过Jonathan的“LDA”包中的lda函数运行了一个数据集(注:这与“主题模型”包不同)。下面是一个可复制的示例，它使用在安装和加载'lda‘包时自动出现的cora数据集。此组件显示分配给20个主题中的每个主题的每个文档包含的单词数(基于我选择的K值)。例如，一个文档可能有4个单词分配给主题3，12个单词分配给主题19，在这种情况下，文档被分配给主题19。$documen
浏览 2提问于2019-12-11得票数 1
3回答
我已经通过Python成功地训练了spark中的LDA模型：model=LDA.train(corpus,k=10)这很好，但我现在需要LDA模型的文档主题矩阵，但据我所知，我所能得到的只有单词-主题，使用model.topicsMatrix()。是否有办法从LDA模型中获得文档主题矩阵，如果没有，
浏览 2提问于2015-10-12得票数 16
回答已采纳
= LDAModel\1 2 6 0 2 3 1 1 0 0 31 4 1 0 0 4 9 0 1 2 04 4 0 3 4 2 1 3 0 0 0
2 8 2 0 3 0
浏览 2提问于2017-02-05得票数 13
回答已采纳
3回答
我读到过，最常见的主题建模技术(从文本中提取可能的主题)是潜在狄利克雷分配(LDA)。你认为为了一些研究而遵循这种方法有意义吗？最后，我感兴趣的是根据主题从文本中提取关键字。
浏览 3提问于2015-10-07得票数 19
我使用gensim LDA主题建模来查找每个文档的主题，并通过比较接收到的主题向量来检查文档之间的相似性。每个文档都有不同数量的匹配主题，因此向量的比较(根据余弦相似性)是不正确的，因为需要相同长度的向量。这是相关代码：
lda_model_bow = models.LdaModel(corpus=bow_corpus, id2word=dictionary, num_topics=3, passes=1=[lda_
浏览 0提问于2018-11-21得票数 1
回答已采纳
我刚开始学习主题建模。ToPMine比LDA和LSA好吗？我知道LDA和LSA已经存在了很长时间，并且得到了广泛的应用。
谢谢
浏览 0提问于2022-01-20得票数 2
回答已采纳
下面是使用R text2vec包进行LDA主题建模的代码： word_tokenizer
v = create_vocabulary= text2vec::LDA$new(n_topics = 10
浏览 1提问于2018-09-11得票数 1
回答已采纳
2回答
实现替代形式的LDA
、、、、
我正在使用潜在的狄利克雷分配与来自六个不同来源的新闻数据语料库。我对主题的演变、涌现很感兴趣，并且想要比较这些来源随着时间的推移是如何相似和不同的。我知道有许多经过修改的LDA算法，例如作者-主题模型、随时间变化的主题等。
我的问题是，这些替代模型规范中很少有以任何标准格式实现的。有一些在Java中可用，但大多数只以会议论文的形式存在。我精通R和jags，如果使用足够长的时间，我可
浏览 2提问于2012-04-12得票数 7
所以我正在做一些关于主题建模和词嵌入的研究，发现LDA和Word2Vec是我可以使用的两种可能的算法。
我想向你请教一下你认为哪一个更适合这个场景。我的一个想法是，使用LDA从以前的消息中提取主题，并根据主题在过去被讨论的次数(即发送的消息)对消息的收件人进行排名。如果我有主题的映射和您谈论它的用户的排序列表(根据频率排名)，那么当用户键入消息时，我可以再次对消息运行主题提取，预测消息是关于什么，然
浏览 1提问于2017-10-20得票数 1
3回答
经过预处理(删除停用词和词干)后，我使用特征提取库(如word2vec，tf-idf)和聚类算法(k-mean)对我的句子进行无监督句子分类-输出是相当可接受的。然而，我正在寻找更多关于聚类算法的选择，特别是想尝试LDA来进一步提高输出质量。然而，我遇到了的论文，列出了LDA上用于句子分类的一些事实。我的问题是-在句子(而不是文档)分类中使用LDA会有帮助吗？此外，除了K-mean之外，还有什么其他非监督学习可以很好地用于句子分类。预先感谢您的所有建议。注意:我正在<e
浏览 0提问于2017-10-24得票数 1
1回答
我对主题建模/潜在Dirichlet分配很陌生，很难理解如何将这个概念应用于我的数据集(或者它是否是正确的方法)。
我有少量的文学文本(小说)，并想提取一些一般性的话题使用LDA。我正在使用Python中的gensim模块以及一些nltk特性。在一次测试中，我把原来的课文(只有6篇)分成30块，每篇有1000个单词。然后，我将块转换成文档项矩阵，并运行算法。= gensim.models.ldamodel.LdaModel(corpus = corpus, i
浏览 0提问于2017-09-20得票数 10
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
