我希望同时运行多个program.py实例,同时限制同时运行的实例数量(例如,限制系统上可用的CPU核心数量)。例如,如果我有10个内核,总共需要运行1000次program.py,那么在任何给定时间都只会创建并运行10个实例。
我尝试过使用多处理模块、多线程和队列,但对我来说,似乎没有任何一种方法适合于简单的实现。我遇到的最大问题是找到一种方法来限制同时运行的进程的数量。这一点很重要,因为如果我一次创建1000个进程,它就相当于一个分叉炸弹。我不需要从进程以编程方式返回结果(它们输出到磁盘),并且这些进程都是彼此独立运行的。
有没有人能给我提个建议或者举个例子,告诉我如何用python或者bash来实现这个功能?我会使用队列发布我到目前为止编写的代码,但它不能按预期工作,而且可能已经走错了路。
非常感谢。
https://stackoverflow.com/questions/11996632
复制相似问题