有人能建议一下如何并行处理文件吗?
现在我可以散列/checksum文件,但是已经处理的文件需要等待第一个任务完成。
假设您有足够的I/O来处理更多的I/O。
如何编写以下算法:
散列/校验和文件+复制已执行校验和的文件(并行)-基本上,两个进程运行散列+复制
我不知道该怎么解释,希望你能理解。
我已经用Python编写了程序,但我想知道如何才能写出这个程序的并行版本。
问候
大卫
发布于 2018-07-27 07:24:05
这听起来像是joblib的工作。
import os
from joblib import Parallel, delayed
files = os.listdir(the_dir)
def hash_checksum_copy(file):
[your logic here]
Parallel(n_jobs=[your n cores])(delayed(hash_checksum_copy)(file) for file in files)
祝好运。:)
https://stackoverflow.com/questions/51548722
复制相似问题