问总结海量数据

EN

我有一个我还没能解决的问题。我有4个.txt文件，每个在30-70 30之间。每个文件包含如下n元语法条目：

blabla1/blabla2/blabla3
word1/word2/word3
...

我要做的是计算每一项出现的次数，并将这些数据保存到一个新文件中，例如：

blabla1/blabla2/blabla3  : 1
word1/word2/word3        : 3
...

到目前为止，我的尝试只是保存字典中的所有条目并对它们进行计数，即

entry_count_dict = defaultdict(int)
with open(file) as f:
    for line in f:
        entry_count_dict[line] += 1

然而，使用这种方法我遇到了内存错误(我有8 8GB的RAM可用)。数据遵循zipfian分布，例如，大多数项目只出现一次或两次。条目总数尚不清楚，但粗略估计大约有15,000,000个条目。

除此之外，我还尝试了h5py，其中所有条目都保存为包含数组[1]的h5py数据集，然后对其进行更新，例如：

import h5py
import numpy as np

entry_count_dict = h5py.File(filename)
with open(file) as f:
    for line in f:
        if line in entry_count_dict:
            entry_count_file[line][0] += 1
        else:
            entry_count_file.create_dataset(line, 
                                            data=np.array([1]),
                                            compression="lzf")

然而，这种方法很慢。写入速度变得越来越慢。因此，除非可以提高写入速度，否则这种方法是不可信的。此外，分块处理数据和打开/关闭每个块的h5py文件在处理速度上没有显示出任何显著的差异。

我一直在考虑将以特定字母开头的条目保存在单独的文件中，即所有以a开头的条目都保存在a.txt中，依此类推(使用defaultdic(int)应该可以做到这一点)。然而，要做到这一点，文件必须为每个字母迭代一次，考虑到文件大小(max =69 is )，这是不可信的。也许在迭代文件时，可以打开一个pickle并将条目保存在字典中，然后关闭该pickle。但是，由于打开、加载和关闭pickle文件所需的时间较长，因此为每个项目执行此操作会大大减慢进程。

解决这个问题的一种方法是在一次遍历中对所有条目进行排序，然后迭代排序后的文件并按字母顺序对条目进行计数。但是，即使使用linux命令对文件进行排序也会非常慢：

sort file.txt > sorted_file.txt

而且，我真的不知道如何使用python来解决这个问题，因为将整个文件加载到内存中进行排序会导致内存错误。我对不同的排序算法有一些肤浅的了解，但是它们似乎都需要将要排序的整个对象加载到内存中。

任何关于如何接近这一点的技巧都将非常感谢。