Python的多处理和内存
我正在使用multiprocessing.imap_unordered对一系列值执行计算：
def process_parallel(fnc, some_list):
pool = multiprocessing.Pool()
for result in pool.imap_unordered(fnc, some_list):
for x in result:
yield x
pool.terminate()根据设计，每次调用fnc都会返回一个巨大的对象。我可以在内存中存储这样的对象的N个实例，其中N~ cpu_count，但不会更多(不是数百个)。
现在，使用此函数会占用太多内存。内存完全花在主进程中，而不是工作进程中。
imap_unordered如何存储完成的结果？我指的是已经由工作人员返回但尚未传递给用户的结果。我认为它很聪明，只根据需要“懒惰”地计算它们，但显然不是这样。
它看起来像是因为我不能足够快地使用process_parallel的结果，池一直在某个地方从fnc内部排队这些巨大的对象，然后爆炸。有没有办法避免这种情况？以某种方式限制其内部队列？
我使用的是Python2.7。干杯。
回答 2
Stack Overflow用户
发布于 2012-06-27 18:14:58
通过查看相应的源文件(python2.7/multiprocessing/pool.py)可以看到，IMapUnorderedIterator使用一个collections.deque实例来存储结果。如果有新的项目进入，它会在迭代中被添加和删除。
正如您所建议的，如果在主线程仍在处理该对象时出现另一个巨大的对象，这些对象也将存储在内存中。
您可以尝试如下所示：
it = pool.imap_unordered(fnc, some_list)
for result in it:
it._cond.acquire()
for x in result:
yield x
it._cond.release()如果任务-结果-接收器线程试图将下一个对象放入双队列中，这将导致任务-结果-接收器线程在处理项目时被阻塞。因此，内存中不应该有超过两个巨大的对象。如果这对你的情况有效，我不知道;)
Stack Overflow用户
发布于 2012-06-29 08:01:11
我能想到的最简单的解决方案是添加一个闭包来包装您的fnc函数，该函数将使用信号量来控制一次可以执行的并发作业的总数(我假设主进程/线程将递增信号量)。信号量的值可以根据作业大小和可用内存来计算。
https://stackoverflow.com/questions/11174172
复制相似问题