我想使用python对我的txt文件数据进行排序,但问题是它出现了内存错误。txt-file数据大小为3 gb,我的内存大小为8 gb。txt-file数据是整数。像这样:
1 0 3 1 1
2 1 2 1 1
1 2 1 3 1
.........现在,有没有什么办法来排序这个txt文件而不把它存储在内存中呢?请帮帮忙。
发布于 2021-08-09 09:10:55
看起来你要找的是一个external sorting算法。该算法包括读取要排序的大文件,将其分成小到足以装入主存储器的数据块,对每个块进行排序,将它们写出到临时文件中,最后将较小的子文件合并为单个较大的文件。你可以找到一个可能有用的Here实现。
https://stackoverflow.com/questions/68709459
复制相似问题