我目前正在尝试处理更大的文本文件,我从gzipped文件中读取它们,处理文本并将处理后的文本写入一堆新的gzipped文件中。我的解决方案基本上是写成的。简而言之,我做了以下工作:
import gzip
import multiprocessing as mp
def process_text(inqueue, outqueue):
while True:
textblock = inqueue.get()
if textblock:
subblocks = dict()
# process and split textbl