Python如何处理大文件（知识整理）

数据量非常大时，比如一份银行一个月的流水账单，可能有高达几千万的record。对于一般性能的计算机，有或者是读入到特殊的数据结构中，内存的存储可能就非常吃力了。考虑到我们使用数据的实际情况，并不需要将所有的数据提取出内存。当然读入数据库是件比较明智的做法。若不用数据库呢？可将大文件拆分成小块按块读入后，这样可减少内存的存储与计算资源

read()方法或read（100）

但是，当完成这一操作时，read() 会将整个文件加载到内存中。在文件较大时，往往会引发 MemoryError（内存溢出）。

那么，如何避免这个问题？

读每行readline()

这两种方法的运行结果是一样的，表面差别不大，但实际上有很大的区别： 第一种方法通过readlines方法，会首先一次性把文件载入到行字符串列表中，然后再对这个字符串列表进 行迭代； 而第二种方法运行的原理则有所不同，他并非一次性将全部的文件内容载入到内存中，而是在迭代的时 候，循环到了哪一行才将哪一行读入到内存。这里涉及到一个新的概念----迭代器（open函数返回的那个 就是文件迭代器），专栏里的文章会着重系统介绍，欢迎关注。 现在我们只需要知道，第二种方法是文本文件读取的最佳选择，它简单、且对任意大小的文件都有效，因 为他不会一次性把整个文件都载入到内存中，相反第一种方法存在内存压力过大的问题。

自动管理( with open() )

with 语句句柄负责打开和关闭文件（包括在内部块中引发异常时），for line in f 将文件对象 f 视为一个可迭代的数据类型，会自动使用 IO 缓存和内存管理，这样就不必担心大文件了。