首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >Python的多处理和内存

Python的多处理和内存
EN

Stack Overflow用户
提问于 2012-06-24 08:47:57
回答 2查看 3.1K关注 0票数 21

我正在使用multiprocessing.imap_unordered对一系列值执行计算:

def process_parallel(fnc, some_list):
    pool = multiprocessing.Pool()
    for result in pool.imap_unordered(fnc, some_list):
        for x in result:
            yield x
    pool.terminate()

根据设计,每次调用fnc都会返回一个巨大的对象。我可以在内存中存储这样的对象的N个实例,其中N~ cpu_count,但不会更多(不是数百个)。

现在,使用此函数会占用太多内存。内存完全花在主进程中,而不是工作进程中。

imap_unordered如何存储完成的结果?我指的是已经由工作人员返回但尚未传递给用户的结果。我认为它很聪明,只根据需要“懒惰”地计算它们,但显然不是这样。

它看起来像是因为我不能足够快地使用process_parallel的结果,池一直在某个地方从fnc内部排队这些巨大的对象,然后爆炸。有没有办法避免这种情况?以某种方式限制其内部队列?

我使用的是Python2.7。干杯。

EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/11174172

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档