问如何使用python打开大文件(9 9gb)？
EN

Stack Overflow用户

提问于 2016-05-05 21:01:06

回答 1查看 203关注 0票数 1

我需要分析数据，但文件是9 9Gb。当我试图打开它时，Python被中断并返回MemoryError。

data = pd.read_csv("path.csv")有没有办法解决这个问题，或者我应该删除这个文件？

发布于 2016-05-06 00:11:04

正如EdChum所提到的，我使用chunksize=n以块的形式打开大文件，然后遍历这些块来执行您需要的任何操作。指定您希望在每个“块”数据中的行数，并按如下方式打开：

chunks = 100000
data = pd.read_csv("path.csv", chunksize=chunks)
for chunk in data:
    print "something"

希望这能有所帮助:)

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/37051318

复制

相似问题

问如何使用python打开大文件(9 9gb)？EN