Excel打不开“巨大的”csv文件或文本文件，Python轻松搞定

学习Excel技术，关注微信公众号：

excelperfect

标签：Python与Excel,pandas

在某些时候，如果你尝试使用Excel打开大型csv文件或文本文件，可能无法打开它们。曾经收到一个8GB的大型csv文件，想看一下内容，但无法使用任何尝试过的程序打开它，比如记事本、Excel等。文件太大，程序甚至无法启动。

要求相对简单：打开一个8GB的大型csv文件，查看前几千行中的数据。如果当你选择了正确的工具——Python，那么这项看似不可能的任务很容易完成。

下面将首先探讨如何检查大型csv文件的内容，然后我们将大文件分解成小文件，这样数据就可以在Excel中使用。

出于演示目的，我们不会使用8GB的大型csv文件；相反，假设使用一个只有2600行数据的较小文件。

同以前一样，从导入必需的库开始，在本练习中，我们只需要pandas。

import pandas as pd

df = pd.read_csv(‘large_data.csv’)

df_small = pd.read_csv(‘large_data.csv’, nrows = 1000)

pd.read_csv()允许将任何.csv文件读入Python，而不考虑文件大小——稍后将详细介绍这一点。csv文件是逗号分隔值的文件，基本上是文本文件。此方法有一个可选参数nrows，用于指定要加载的行数。

第一个变量df加载了csv文件中的所有内容，而第二个变量df_small只加载前1000行数据。我们可以通过调用.shape属性来检查这一点。

图1：两个数据框架的大小（行数，列数）

如上所示，“large_data.csv”文件总共包含2599行22列数据。还可以确认，在df_small变量中，只加载了前1000行22列数据。

键入df_small.head()显示df_small数据框架中的前5行数据。我们可以通过这种方式查看大文件！

图2

接下来，如果我们想只使用Excel打开数据文件，该怎么办？

虽然我们不能使用魔法让Excel打开这个8GB的文件，但我们可以通过将它分解成更小的文件来“分而治之”。例如，8个文件，每个1GB；或16个文件，每个500MB。现代版本的Excel可以轻松处理这些文件大小。

这一次，我们将以稍微不同的方式加载数据框架——使用可选参数chunksize。同样，出于演示目的，我们使用了一个小得多的文件。

df = pd.read_csv(‘large_data.csv’, chunksize = 900)

在不涉及太多技术细节的情况下，chunksize参数允许我们以块的形式加载数据，在我们的示例中，每个块的大小为900行数据。块的数量由程序自动确定。鉴于我们的csv文件包含2600行，我们希望看到2600/900=2.9，这意味着总共有3个块。前两个区块包含900行，最后一个区块包含剩余的799行。

图3

我们已经成功地加载了一个文件并将其分解为更小的部分，接下来让我们将它们保存到更小的单个文件中。

i = 1

for file in df:

file.to_csv(f’file_{i}.csv’)

i += 1

图4

小结

上文代码合起来：

import pandas as pd

df = pd.read_csv(‘large_data.csv’)

df_small = pd.read_csv(‘large_data.csv’, nrows = 1000)

i = 1

for file in df:

print(file.shape)

file.to_csv(f’file_{i}.csv’)

i += 1

我们只使用了8行代码来解决在Excel中似乎无法实现的问题，怎么样，对Python有感觉了吗？