独家 | Python处理海量数据集的三种方法

作者：Georgia Deaconu
翻译：陈超校对：欧阳锦
本文约1200字，建议阅读5分钟本文介绍了Python处理数据集的方法。

作为一名数据科学家，我发现自己处理“大数据”的情况越来越多。我叫做大数据的是那些虽然不是很大，但是却足够让我的电脑处理到崩溃并且拖慢其他程序。

图片来自 Mika Baumeister UNsplash

这个问题并不新鲜，且对于所有问题而言，从来没有一劳永逸的万能公式。最好的方法依赖于你的数据以及你应用的目的。然而，最流行的解决方法通常在以下描述的分类之中。

1. 通过优化数据类型来减少内存使用

当使用Pandas从文件里加载数据的时候，如果不提前设定，通常会自动推断数据类型。

多数情况下这没什么问题，但是推断的数据类型并不一定是最优的。甚至，如果数值型列数据包括了缺失值，推断数据类型就会自动填充为浮点型。

在我处理大部分表征年、月或日的整型数据的时候，我最近通常会使用这种方法进行分析：

使用Pandas加载文件并明确数据类型（图片来自作者）

对于特定的案例，明确数据类型会让使用内存大大减少。请注意上述例子中用到的pandas类型pandas.Int16Dtype来使包含缺失值的列数据强制转换成整型数据。当在处理大型数据集时，需要你拥有对拟处理数据集的一些先验知识，因而会通过在内部使用pandas.NA而非numpy.nan来实现缺失值的最优数据类型。在纯粹探索未知数据集的时候该方法可能并不适用。

2. 将数据分块

当数据太大以至于与内存不相符，你可以使用Pandas的chunksize选项来将数据集分块，而非处理一大整块数据。使用该选项创造迭代器对象用于浏览不同块，并像加载整个数据集时进行过滤或分析。

以下是使用该选项浏览Yelp reviews 数据集的例子，提取每个块里评论日期的最小值和最大值，然后重建评论的完整时间跨度：

reader = pd.read_json(reviews_path, lines=True, orient = "records", chunksize = 100000)     # go through the chunks and extract min/max date     date_limits = []  for chunk in reader:    date_limits.append(max(chunk.date))         date_limits.append(min(chunk.date))     print("Reviews span from {} to {}". format(min(date_limits).strftime('%d-%m-%Y'),     max(date_limits).strftime('%d-%m-%Y')))    

分块可用于最初的探索性分析到模型训练，仅需极少的额外启动即可实现。

3. 利用惰性计算

惰性计算指的是仅仅在真正需要执行的时候才计算的表达式。惰性计算是一个重要的概念（尤其在功能编程当中使用），如果你想阅读更多关于它在python中的不同用法，你可以从这里开始

（https://towardsdatascience.com/what-is-

lazy-evaluation-in-python-9efb1d3bfed0）。

惰性计算是像Spark或者Dask这样的分配计算框架建立的基础。虽然他们设计用于聚类，你仍然可利用它们在你的个人电脑上处理大型数据集。

与Pandas主要的差异是它们不会直接在内存加载数据。相反，在读取命令的时候会扫描数据，推断数据类型并将其分成独立的部分（到目前为止没有新建）。仅仅在需要时独立为这些部分创建计算图形（因此叫做惰性）。

在之前的文章（https://towardsdatascience.com/a-pyspark-example-for-dealing-with-larger-than-memory-datasets-70dbc82b0e98）里，我提供了一个Pyspark的例子，对一个大于内存的数据集做探索性分析。Dask也很流行，并且例子也不难找（你可以查看两者比较https://docs.dask.org/en/latest/spark.html）。Dask语法仿照Pandas的语法，所以看起来很相似，然而Dask仅限于Python使用，但Spark可以在Java或Scala中使用。

其他库例如Vaex或Modin也提供了相似的功能，但是我本人还没有尝试过。

原文标题：

3 ways to deal with large datasets in Python

原文链接：

https://towardsdatascience.com/5-ways-to-deal-with-large-datasets-in-python-9a80786c4182

编辑：于腾凯校对：林亦霖

译者简介

陈超，北京大学应用心理硕士在读。本科曾混迹于计算机专业，后又在心理学的道路上不懈求索。越来越发现数据分析和编程已然成为了两门必修的生存技能，因此在日常生活中尽一切努力更好地去接触和了解相关知识，但前路漫漫，我仍在路上。

翻译组招募信息

工作内容：需要一颗细致的心，将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生，或在海外从事相关工作，或对自己外语水平有信心的朋友欢迎加入翻译小组。

你能得到：定期的翻译培训提高志愿者的翻译水平，提高对于数据科学前沿的认知，海外的朋友可以和国内技术应用发展保持联系，THU数据派产学研的背景为志愿者带来好的发展机遇。

其他福利：来自于名企的数据科学工作者，北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。

点击文末“阅读原文”加入数据派团队~

转载须知

如需转载，请在开篇显著位置注明作者和出处（转自：数据派ID：DatapiTHU），并在文章结尾放置数据派醒目二维码。有原创标识文章，请发送【文章名称-待授权公众号名称及ID】至联系邮箱，申请白名单授权并按要求编辑。

发布后请将链接反馈至联系邮箱（见下方）。未经许可的转载以及改编者，我们将依法追究其法律责任。

点击“阅读原文”拥抱组织