并行文件处理，每个文件有两个任务(python)
并行文件处理，每个文件有两个任务(python)
提问于 2018-07-27 07:15:49
有人能建议一下如何并行处理文件吗？
现在我可以散列/checksum文件，但是已经处理的文件需要等待第一个任务完成。
假设您有足够的I/O来处理更多的I/O。
如何编写以下算法：
散列/校验和文件+复制已执行校验和的文件(并行)-基本上，两个进程运行散列+复制
我不知道该怎么解释，希望你能理解。
我已经用Python编写了程序，但我想知道如何才能写出这个程序的并行版本。
问候
大卫
回答 1
Stack Overflow用户
发布于 2018-07-27 07:24:05
这听起来像是joblib的工作。
import os
from joblib import Parallel, delayed
files = os.listdir(the_dir)
def hash_checksum_copy(file):
[your logic here]
Parallel(n_jobs=[your n cores])(delayed(hash_checksum_copy)(file) for file in files)祝好运。:)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51548722
复制相关文章
相似问题
腾讯云开发者
