问如何使用Pandas/Dask更快地读取压缩(.gz)文件？

EN

gzip本质上是一种相当慢的压缩方法，而且(如您所说)不支持随机访问。这意味着，到达位置x的唯一方法是从头开始扫描整个文件，这就是为什么Dask在这种情况下不支持尝试并行化。

如果您至少想使用并行解析，那么最好的做法是首先解压缩整个文件，这样分块机制才有意义。您还可以将其拆分成几个文件，然后压缩每个文件，以便所需的总空间是相似的。

请注意，在理论上，一些支持分块随机访问的压缩机制，但我们还没有找到任何具有足够社区支持的压缩机制来在Dask中实现它们。

不过，最好的答案是以parquet或orc格式存储数据，这种格式具有内部压缩和分区功能。

一种选择是为python使用package datatable：https://github.com/h2oai/datatable

例如，使用函数fread，它可以比pandas (到gzip)的读/写速度快得多

import datatable as dt
df = dt.fread('file.csv.gz')

稍后，可以将其convert到pandas dataframe：

df1 = df.to_pandas()

目前，datatable仅为available on Linux/Mac。

您可以尝试使用gzip库：

import gzip
f = gzip.open('Your File', 'wb')
file_content = f.read()
print (file_content)

python: read lines from compressed text files