如何在gensim中使用models.hdpmodel - Hierarchical Dirichlet过程获取文档主题

from gensim import corpora
from gensim.models import HdpModel

documents = ["文档1内容", "文档2内容", "文档3内容", ...]

# 假设已经有了一个预处理函数 preprocess()，可以将文档转换为词袋表示
processed_documents = [preprocess(doc) for doc in documents]

# 创建词袋表示
dictionary = corpora.Dictionary(processed_documents)
corpus = [dictionary.doc2bow(doc) for doc in processed_documents]

hdp_model = HdpModel(corpus, dictionary)

# 假设有一个新的文档需要获取主题分布
new_document = "新文档内容"

# 对新文档进行预处理和向量化
processed_new_document = preprocess(new_document)
new_document_bow = dictionary.doc2bow(processed_new_document)

# 获取主题分布
topic_distribution = hdp_model[new_document_bow]

# 打印主题分布
for topic in topic_distribution:
    topic_id, topic_prob = topic
    print("主题ID: {}, 概率: {}".format(topic_id, topic_prob))