我有一个大文本文件(〜7 GB)。我正在寻找如果存在最快的方式来阅读大文本文件。我一直在阅读有关使用几种方法逐块阅读以加快这一过程。
例如effbot建议
# File: readline-example-3.py
file = open("sample.txt")
while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something**strong text**
每秒处理96,900行文字。还建议使用islice()
from itertools import islice
with open(...) as f:
while True:
next_n_lines = list(islice(f, n))
if not next_n_lines:
break
# process next_n_lines
list(islice(f, n))
将返回n
文件下一行的列表f
。在一个循环中使用这个会给你n
一行文件
相似问题