首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >Python如何以最快的方式读取大型文本文件(几GB)?

Python如何以最快的方式读取大型文本文件(几GB)?

提问于 2018-02-28 05:44:03
回答 1关注 0查看 747

我有一个大文本文件(〜7 GB)。我正在寻找如果存在最快的方式来阅读大文本文件。我一直在阅读有关使用几种方法逐块阅读以加快这一过程。

例如effbot建议

代码语言:txt
复制
# File: readline-example-3.py

file = open("sample.txt")

while 1:
    lines = file.readlines(100000)
    if not lines:
        break
    for line in lines:
        pass # do something**strong text**

每秒处理96,900行文字。还建议使用islice()

代码语言:txt
复制
from itertools import islice

with open(...) as f:
    while True:
        next_n_lines = list(islice(f, n))
        if not next_n_lines:
            break
        # process next_n_lines

list(islice(f, n))将返回n文件下一行的列表f。在一个循环中使用这个会给你n一行文件

回答

和开发者交流更多问题细节吧,去 写回答
相关文章

相似问题

相关问答用户
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档