Polars：一个正在崛起的新数据框架

IT大咖说

发布于 2022-03-04 13:11:44

5K0

发布于 2022-03-04 13:11:44

文章被收录于专栏：IT大咖说

Polar的标志

表列数据是任何数据科学家的面包和主食。几乎所有的数据湖和仓库都使用数据表格来处理数据，并提取关键特征进行处理。最常用的数据制表方法之一是Dataframes。它们在收集和清理来自限定文本文件、电子表格和数据库查询的数据方面提供了灵活性。最常用的数据框架是Pandas，这是一个python包，对于有限的数据来说，它的表现足够好。然而，如果数据太大，Pandas无法处理，但对Spark等分布式文件管理系统来说又太小，怎么办？Polars试图弥补这一差距。

Polars是用Rust编写的，以获得更强大的性能，并使用Apache Arrow(2)作为内存模型。PyPolars（目前更新为Polars）是一个围绕Polars的python包装器。它有类似于Pandas的API，这使得它更容易过渡。

◆ 安装

安装Polars很简单。Polars可以用pip进行安装，方法如下。

pip install polars

不幸的是，Polars目前还不能在Anaconda上使用。如果情况发生变化，我们会进行更新。

免责声明：由于稳定版本尚未发布，创建并激活一个新的环境来安装Polars。

导入Polars和导入Pandas一样顺利。

import polars as pl

让我们来读一下Polars提供的其中一个数据集。

df = pl.read_csv('my_data.csv')

Polars的最新版本（v=0.8.10）支持csv、ipc、json、parquet和sql。

为了检查你的数据是否被加载，你可以像Pandas一样使用head。

df.head()

同样，最后10个条目，数据框架的形状和类型可以用以下代码检查。

df.tail(10)
df.shape
type(df)

目前的版本没有提供导入压缩分隔文件或读取文件前n行的选项。对于一个加载的Polars数据框架，describe和dtype提供了各列数据类型的信息。列名可以用df.columns检查。

df.describe()中的特征可以传递给Pandas，以便更好地显示与。

df.description().to_pandas()

◆ 访问表元素

Polars可以通过与pandas.DataFrame.iloc函数类似的行索引直接访问表的行，如下所示。

df[:10] #访问前十行。

列可以通过名称直接引用。

df['name'] #找到'name'列

可以通过向数据框架传递索引列表来选择指数。

df[[1,4,10,15], :]

可以使用内置函数slice来完成对索引的切分

df.slice(0,5) #从索引0和5行开始对df进行切片。

Polars还可以用条件布尔值对数据帧进行切片。

df[df['sale']>=10]

Polars也有.value_counts、.unique和.dtypes函数

df['name'].value_counts() #返回带有出现次数的唯一值
df['name'].unique() #返回列中唯一值的列表
df.dtypes() #返回数据类型

Polars也支持Groupby和排序。

df.groupby('country').sort('products',reverse=True)

Polars中的apply()和map()。

与Pandas类似，Polars支持.apply()和.map()函数。

df['value'].map(lambda x: 'high' if x>=5 else 'low')
df['values].apply(my_func)

唯一需要注意的是，字典不能被传递给这些函数。

mydict = {k:v for v,k in enumerate(df['catagories'].unique()) }
df['catagories'].map(mydict) #这将抛出一个错误

◆ 用Polars作图

Polars，就像Pandas一样，有内置的绘图功能。它还允许与Matplotlib和Seaborn集成。

import matplotlib.pyplot as plt
fig,ax=plt.subplots(figsize=(10,5))
ax.hist(df['name'])。
plt.show()

◆ Eager和Lazy的API

Polars的Eager和Lazy APIs

Polars（引申为Pandas）默认采用了Eager的运行，这意味着函数会实时映射到每个数据。但随着表的规模越来越大，Lazy的实现在加载和转换选定的值时更有效率。一个示例实现看起来如下。

from polars.lazy import *
lazy_df = pl.scan_csv('large_dataset.csv',ignore_erros=True)
filt_lazy_df = (lazy_df.filter(col('name').str_lengths() > 5).filter(col('country').str_contains(r'US-Germany-France').is_not()))

与Spark的Lazy 实现类似，filt_lazy_df是在调用collect函数时进行评估的。