专栏首页Dechin的专栏python3读取文件指定行的三种方案

python3读取文件指定行的三种方案

技术背景

考虑到深度学习领域中的数据规模一般都比较大,尤其是训练集,这个限制条件对应到实际编程中就意味着,我们很有可能无法将整个数据文件的内容全部都加载到内存中。那么就需要一些特殊的处理方式,比如:创建内存映射文件来替代原始文件被加载到内存中、预处理数据后再加载内存中以及单次只加载文件的片段。其中关于内存映射技术的一些应用,在前面的这2篇博客1博客2中有所介绍,而本文将要介绍的是从文件中只读取特定行的内容的3种解决方案。

行遍历实现

在python中如果要将一个文件完全加载到内存中,通过file.readlines()即可,但是在文件占用较高时,我们是无法完整的将文件加载到内存中的,这时候就需要用到python的file.readline()进行迭代式的逐行读取:

filename = 'hello.txt'

with open(filename, 'r') as file:
    line = file.readline()
    counts = 1
    while line:
        if counts >= 50000000:
            break
        line = file.readline()
        counts += 1

这里我们的实现方式是先用一个with语句打开一个文件,然后用readline()函数配合while循环逐行加载,最终通过一个序号标记来结束循环遍历,输出文件第50000000行的内容。该代码的执行效果如下:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py 

real    0m10.359s
user    0m10.062s
sys     0m0.296s

可以看到这里的耗时为10s多一些。

linecache实现

虽然在python的readline函数中并没有实现读取指定行内容的方案,但是在另一个库linecache中是实现了的,由于使用的方式较为简单,这里直接放上代码示例供参考:

filename = 'hello.txt'

import linecache
text = linecache.getline(filename, 50000000)

该代码的执行结果如下:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py 

real    0m11.904s
user    0m5.672s
sys     0m6.231s

虽然在实现方式上简化了许多,但是我们发现这个实现的用时超过了11s,还不如我们自己手动实现的循环遍历方案。因此如果是对于性能有一定要求的场景,是不建议采用这个方案的。

命令行sed获取

我们知道用Linux系统本身自带的sed指令也是可以获取到文件指定行或者是指定行范围的数据的,其执行指令为:sed -n 50000000p filename即表示读取文件的第50000000行的内容。同时结合python的话,我们可以在python代码中执行系统指令并获取输出结果:

filename = 'hello.txt'

import os
result = os.popen('sed -n {}p {}'.format(50000000, filename)).read()

需要注意的是,如果直接运行os.system()是没有返回值的,只有os.popen()是有返回值的,并且需要在尾巴加上一个read()的选项。该代码的执行结果如下:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py 

real    0m2.532s
user    0m0.032s
sys     0m0.020s

可以看到直接使用sed指令的执行速度很快,但是用这种方法并不是一本万利的,比如以下这个例子:

filename = 'hello.txt'

import os
result = os.popen('sed -n {}p {}'.format(500, filename)).read()

我们把读取第50000000行内容改为读取第500行的内容,再运行一次程序:

dechin@ubuntu2004:~/projects/gitlab/dechin/$ time python3 get_line.py 

real    0m2.540s
user    0m0.037s
sys     0m0.013s

然而我们发现这个速度并没有因为要读取的行数减少了而变少,而是几乎保持不变的。

总结概要

本文通过4个测试案例分析了在python中读取文件指定行内容的方案,并得到了一些运行耗时的数据。从需求上来说,如果是对于小规模的数据,比如几百行规模的数据,建议使用readline循环遍历来操作,速度也相当不错,或者是linecache中的函数实现也是可以的,甚至可以直接用readlines将整个文本内容加载到内存中。但是对于数据规模比较大的场景,比如超过了千万行的级别,那么使用sed指令的方式对指定行内容进行读取的方式,应该是所有方式中最快速的。

版权声明

本文首发链接为:https://www.cnblogs.com/dechinphy/p/lbl.html

作者ID:DechinPhy

更多原著文章请参考:https://www.cnblogs.com/dechinphy/

打赏专用链接:https://www.cnblogs.com/dechinphy/gallery/image/379634.html

腾讯云专栏同步:https://cloud.tencent.com/developer/column/91958

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python读取文件(三种方法)

    静谧星空TEL
  • Python之读取TXT文件的三种方法

    参考了https://blog.csdn.net/shandong_chu/article/details/70173952

    py3study
  • Shell按行读取文件的3种方法

    踏歌行
  • Shell逐行读取文件的4种方法

    在Linux中有很多方法逐行读取一个文件的方法,其中最常用的就是下面的脚本里的方法,而且是效率最高,使用最多的方法。为了给大家一个直观的感受,我们将通过生成一个...

    用户1685462
  • C# 读取EXCEL文件的三种经典方法

    1.方法一:采用OleDB读取EXCEL文件: 把EXCEL文件当做一个数据源来进行数据的读取操作,实例如下:

    用户8671053
  • C# 读取EXCEL文件的三种经典方法

    1.方法一:采用OleDB读取EXCEL文件: 把EXCEL文件当做一个数据源来进行数据的读取操作,实例如下:

    代码伴一生
  • Excel文件读取的两种方式

    dw=DataFrams(data=dict,columns=dict.keys())

    py3study
  • python读取文件指定行内容实例讲解

    本文实例讲述了Python3实现从文件中读取指定行的方法。分享给大家供大家参考。具体实现方法如下:

    砸漏
  • maven:读取程序版本号的三种方案

    版权声明:本文为博主原创文章,转载请注明源地址。 https://blog.csdn.net...

    用户1148648
  • 读取资源文件的四种方法

    package com.action; import java.io.InputStream; import java.util.Locale; import...

    小柒2012
  • Python 读写 csv 文件的三种方法

    tf_train_shuffle_batch函数解析: http://blog.csdn.net/u013555719/article/details/7767...

    演化计算与人工智能
  • c# IO操作(带进度的文件复制器,读取文本文件的指定行)

    带进度的文件复制器      基本原理就是通过Stream的BeginRead来异步复制文件,同时刷新进度条的状态 ? ? ? 代码 读取文件的指定行 1、...

    JadePeng
  • Web工程下读取文件的几种方法

    1、读取文件系统路径文件 * 一定要使用绝对路径 String fileName = getServletContext().getRealPath("/in...

    企鹅号小编
  • Spring Boot读取配置文件的几种方式

    Spring Boot获取文件总的来说有三种方式,分别是@Value注解,@ConfigurationProperties注解和Environment接口。这三...

    Java旅途
  • Spring Boot读取配置文件的几种方式

    Spring Boot获取文件总的来说有三种方式,分别是@Value注解,@ConfigurationProperties注解和Environment接口。这三...

    Java旅途
  • 读取项目属性文件的几种方式

    项目中会把一些环境变量、公共属性配置到属性文件中,总结了一些工程加载属性文件的方式。

    用户2146693
  • 一堆文件中查找指定文件的N种方法

    比如我现在有sra转换来的几百个fq文件,现在想找出SRR8708660-SRR8707702之间的样本。

    Y大宽
  • Python如何获取文件指定行的内容

    linecache, 可以用它方便地获取某一文件某一行的内容。而且它也被 traceback 模块用来获取相关源码信息来展示。

    砸漏
  • PHP中获取远程文件的三种方法

    1.使用file_get_contents和fopen必须空间开启allow_url_fopen。

    ITer.996

扫码关注云+社区

领取腾讯云代金券