首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何并行处理大量项目,python

如何并行处理大量项目,python
EN

Stack Overflow用户
提问于 2017-06-30 18:57:33
回答 1查看 649关注 0票数 1

我在python上的计算遇到了一个瓶颈:我需要处理一个很大的列表(~10^9元素)。当前实施:

代码语言:javascript
运行
复制
import random
random.shuffle(list)

使用这种方法,只涉及一个核心。有没有可能并行混洗一个大的列表?

EN

回答 1

Stack Overflow用户

发布于 2017-06-30 19:08:04

您可以检查Process类,它可以通过以下方式进行示例:

代码语言:javascript
运行
复制
import random
from multiprocessing import Process


def worker_func(variable_1):
# your code

random.shuffle(list_single)

if __name__ == '__main__':
#Create a process list 
process_list = list()

pid = os.getpid()
print('Main Process is started and PID is: ' + str(pid))

#Start Process
list_example = [[1,2,3], [4, 5, 6], [7, 8, 9]]
for list_single in list_example:
    p = Process(target=worker_func, args=(list_single, ))
    p.start()
    child_pid = str(p.pid)
    print('PID is:' + child_pid)
    process_list.append(child_pid)
    child = multiprocessing.active_children()

while child != []:
    time.sleep(1)
    child = multiprocessing.active_children()

如果您想并行运行此数据,可以使用multithreadingmultiprocessing。您应该定义worker函数并在流程中调用它。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/44844828

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档