为什么我导入numpy后，多处理只使用了一个内核？
为什么我导入numpy后，多处理只使用了一个内核？
提问于 2013-03-26 22:37:34
我不确定这是否更多地算作是操作系统问题，但我想我应该在这里问一下，以防有人从Python end of things中获得一些见解。
我一直在尝试使用joblib并行化一个占用大量CPU的for循环，但我发现不是每个工作进程都被分配到不同的核心，而是所有的工作进程都被分配到相同的核心，并且没有任何性能提升。
这里有一个非常简单的例子。
from joblib import Parallel,delayed
import numpy as np
def testfunc(data):
# some very boneheaded CPU work
for nn in xrange(1000):
for ii in data[0,:]:
for jj in data[1,:]:
ii*jj
def run(niter=10):
data = (np.random.randn(2,100) for ii in xrange(niter))
pool = Parallel(n_jobs=-1,verbose=1,pre_dispatch='all')
results = pool(delayed(testfunc)(dd) for dd in data)
if __name__ == '__main__':
run()...and下面是我在运行此脚本时在htop中看到的内容：
我在一台4核笔记本电脑上运行Ubuntu 12.10 (3.5.0-26)。显然，joblib.Parallel正在为不同的工作进程产生单独的进程，但是有没有什么方法可以让这些进程在不同的内核上执行？
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/15639779
复制相关文章
相似问题