我在python上的计算遇到了一个瓶颈:我需要处理一个很大的列表(~10^9
元素)。当前实施:
import random
random.shuffle(list)
使用这种方法,只涉及一个核心。有没有可能并行混洗一个大的列表?
发布于 2017-06-30 19:08:04
您可以检查Process类,它可以通过以下方式进行示例:
import random
from multiprocessing import Process
def worker_func(variable_1):
# your code
random.shuffle(list_single)
if __name__ == '__main__':
#Create a process list
process_list = list()
pid = os.getpid()
print('Main Process is started and PID is: ' + str(pid))
#Start Process
list_example = [[1,2,3], [4, 5, 6], [7, 8, 9]]
for list_single in list_example:
p = Process(target=worker_func, args=(list_single, ))
p.start()
child_pid = str(p.pid)
print('PID is:' + child_pid)
process_list.append(child_pid)
child = multiprocessing.active_children()
while child != []:
time.sleep(1)
child = multiprocessing.active_children()
如果您想并行运行此数据,可以使用multithreading或multiprocessing。您应该定义worker函数并在流程中调用它。
https://stackoverflow.com/questions/44844828
复制相似问题