首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >将朴素贝叶斯分类器保存在内存中

将朴素贝叶斯分类器保存在内存中
EN

Stack Overflow用户
提问于 2013-10-17 19:22:39
回答 1查看 747关注 0票数 1

我是NLTK和机器学习方面的新手。我正在使用带有NLTK朴素贝叶斯分类器的Python。我使用NLTK创建了一个用于文本分类的朴素贝叶斯分类器,并将其保存在磁盘上。当需要对一些测试数据进行分类时,我还可以使用下面的python代码加载它:

代码语言:javascript
运行
复制
import pickle
f = open('classifier.pickle')
classifier = pickle.load(f)
f.close()

但我的问题是,每当有新的测试数据到来时,我必须一次又一次地在内存中加载这个分类器,由于它的大小,加载需要很长时间(2-3分钟)。此外,如果我必须运行相同情感分析程序的两个实例,这将占用双RAM,因为这两个程序将分别加载此分类器。我的问题是:是否有任何技术可以将这个分类器存储在内存中,以便在需要时情感分析程序可以直接从内存中读取它,或者是否有任何其他方法可以最小化分类器的加载时间。提前感谢您的帮助。

EN

回答 1

Stack Overflow用户

发布于 2013-10-17 20:52:53

你不能两全其美。您可以一次保留一个酸洗/取消酸洗,以使用更少的RAM,或者您可以将两者都存储在内存中,使用两倍的ram,但减少加载时间和磁盘i/o等待时间。

这两个分类器是使用不同的训练数据训练的,还是并行使用相同的分类器?从你对“两个实例”的使用中听起来像是后者,在这种情况下,你可能想要研究线程,允许同一个分类器处理两组数据(通过对一些数据进行分类,然后做一些其他事情,如结果处理,允许另一个线程分类,重复),可以实现一定的并行性。

我在这方面的专业知识来自于我启动了一个基于NLTK的开源情绪分析系统:https://bitbucket.org/tommyjcarpenter/evopminer

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/19425359

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档