我是NLTK和机器学习方面的新手。我正在使用带有NLTK朴素贝叶斯分类器的Python。我使用NLTK创建了一个用于文本分类的朴素贝叶斯分类器,并将其保存在磁盘上。当需要对一些测试数据进行分类时,我还可以使用下面的python代码加载它:
import pickle
f = open('classifier.pickle')
classifier = pickle.load(f)
f.close()
但我的问题是,每当有新的测试数据到来时,我必须一次又一次地在内存中加载这个分类器,由于它的大小,加载需要很长时间(2-3分钟)。此外,如果我必须运行相同情感分析程序的两个实例,这将占用双RAM,因为这两个程序将分别加载此分类器。我的问题是:是否有任何技术可以将这个分类器存储在内存中,以便在需要时情感分析程序可以直接从内存中读取它,或者是否有任何其他方法可以最小化分类器的加载时间。提前感谢您的帮助。
发布于 2013-10-17 20:52:53
你不能两全其美。您可以一次保留一个酸洗/取消酸洗,以使用更少的RAM,或者您可以将两者都存储在内存中,使用两倍的ram,但减少加载时间和磁盘i/o等待时间。
这两个分类器是使用不同的训练数据训练的,还是并行使用相同的分类器?从你对“两个实例”的使用中听起来像是后者,在这种情况下,你可能想要研究线程,允许同一个分类器处理两组数据(通过对一些数据进行分类,然后做一些其他事情,如结果处理,允许另一个线程分类,重复),可以实现一定的并行性。
我在这方面的专业知识来自于我启动了一个基于NLTK的开源情绪分析系统:https://bitbucket.org/tommyjcarpenter/evopminer。
https://stackoverflow.com/questions/19425359
复制相似问题