python如何读取大文件以及分析时的性能优化小技巧

在二代、三代测序背景下,分析人员难免会遇到解析超过1G、或者10G以上的文件。这里将给大家简单介绍下如何用python读取大文件,并给大家提两个优化代码的小建议。

首先,python 读取GB级大文件,常规使用open() 内置函数进行打开操作。

python打开文件后,在进行读取内容时分三种情况:

(1)read() 读取整个文件,通常将文件内容放到一个字符串变量中;

(2)readline() 每次读取一行内容;

(3)readlines() 一次性读取所有内容并按行返回list;

当文件较大时,使用read() 函数将文件内容全部读取到内存中,当文件大小超过内存是,可能会导致内存溢出,此时可以定义一个tmp_size,即每次读取的文件大小,如下,tmp_size为2M大小:

但是在读取大文件时,不是内存溢出、就是需要自定义tmp_size大小,所以,这里推荐大家用with open()函数,它可以让系统自动进行IO缓存和内存管理,不需要管系统怎么去分配这些内存,并且在读取完毕之后,不需要手动去close() 文件句柄。

随后,这里讲解下python对于文件打开时的操作模式:

我们最常用的就是三种模式'r'、'w'、'a'。读取文件信息时,采用'r'(read);写文件时分两种,一个是追加、一个是覆盖重写,分别对应'a'(append)和'w'(write),这两种模式对于不存在的文件首先会进行创建。

既然已经读取了文件内容,那下面就是需要对文件内容进行提取、存储,在存储方面,我们最常用的是list,以及dict。下面我们将就这两种数据类型进行优化技巧说明:

首先list,如果数据量很小,那用list还是set没有分别,但是如果你需要保存超过100的元素时,建议换成set()【这个set简直不要太好用啊~~】,set() 数据集在分析过程中不管是添加元素(add)还是判断元素是否存在,都会比list快至少1倍以上(当然数据越大,越明显)。作者曾经试过在list中存储1千个以上元素时,判断元素是否存在这个过程将非常耗时,但如果用set,整体时间将大大缩短【感觉整个人都轻松了许多】。

然后是dict,dict在存储value时,如果key对应的value是一个数组,比如基因的exon的起始位点有多个,那可以将多个起始位点的值存储为set类型,在exon较多的时候,脚本运行性能会有比较明显的提升。当然最多的时候我们对dict是进行key、value的遍历,一般遍历有两种方式:

在python2中,items() 方式返回的是一个list,那当数据很大时,会消耗大量内存,导致系统运行缓慢;而iteritems()方式返回的是一个迭代器并非列表。所以在python2中如果需要对key和value同时遍历时,采用iteritems() 效率更高。当然在python3中,对items() 的方式进行了优化,也返回迭代器,所以在python3中iteritems()的方式被取消了。

扫一扫,了解更多资讯

武汉博越致和生物科技有限公司

个人微信 :hsm664422

电话:027-87705460

我知道你会来,所以我等

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181019G1J1PE00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券