使用UMAP进行降维和可视化

deephub

发布于 2021-08-20 10:24:24

1.9K0

发布于 2021-08-20 10:24:24

文章被收录于专栏：DeepHub IMBADeepHub IMBA

在处理大数据集时，降维是最重要的方面之一，因为它有助于将数据转换为低维，以便我们能够识别一些重要的特征及其属性。它通常用于避免在分析大数据集时产生的维度问题。

当我们在进行数值分析或创建机器学习模型时，处理高维数据可能会很困难。使用高维数据集会导致高方差，并且模型不会被推广。如果我们降低维度，我们可以使机器学习模型更一般化，避免过度拟合。

UMAP是一个开源的Python库，可以帮助可视化降维。

在本文中，我们将探讨UMAP提供的一些功能。

让我们开始…

安装所需的库

我们将首先使用pip安装UMAP库。下面给出的命令可以做到这一点。

 !pip install umap-learn

进口所需的库

在这一步中，我们将导入加载数据集和可视化降维所需的库。

 import umap
 from sklearn.preprocessing import StandardScaler
 import matplotlib.pyplot as plt
 import pandas as pd
 %matplotlib inline

加载数据集

对于本文，我们将使用从Github获取的Palmer Penguins数据集。

 penguins = pd.read_csv("https://github.com/allisonhorst/palmerpenguins/raw/5b5891f01b52ae26ad8cb9755ec93672f49328a8/data/penguins_size.csv")
 penguins.head()

加载数据集后，我们将开始删除空值，并使用UMAP创建一个reducer对象。这个reducer将用于降维，并进一步用于可视化。

 penguins = penguins.dropna()
 penguins.species_short.value_counts()
 reducer = umap.UMAP()
 penguin_data = penguins[
 [
 "culmen_length_mm",
 "culmen_depth_mm",
 "flipper_length_mm",
 "body_mass_g",
 ]
 ].values
 scaled_penguin_data = StandardScaler().fit_transform(penguin_data)
 embedding = reducer.fit_transform(scaled_penguin_data)

降维可视化

在这一步中，我们将降维进行可视化。

 plt.scatter(embedding[:, 0], embedding[:, 1], c=[sns.color_palette()[x] for x in penguins.species_short.map({"Adelie":0, "Chinstrap":1, "Gentoo":2})])
 plt.gca().set_aspect('equal', 'datalim')
 plt.title('UMAP projection of the Penguin dataset', fontsize=24)