Python计算大文件行数方法及性能比较

如何使用Python快速高效地统计出大文件的总行数, 下面是一些实现方法和性能的比较。

1.readline读所有行使用readlines方法读取所有行:

2.依次读取每行

依次读取文件每行内容进行计数:

3.sum计数

使用sum函数计数:

4.enumerate枚举计数:

5.buff count

每次读取固定大小,然后统计行数:

6.wc count

调用使用wc命令计算行:

7.partial count

在buff_count基础上引入partial:

8.iter count

在buff_count基础上引入itertools模块 :

下面是在我本机 4c8g python3.6的环境下,分别测试100m、500m、1g、10g大小文件运行的时间，单位秒：