无监督学习—聚类、层次聚类、t-SNE,DBSCAN

本文主要介绍了无监督学习在Python上的实践,围绕着无监督学习,讲述了当前主流的无监督聚类方法:数据准备,聚类,K-Means Python实现,层次聚类和其Python实现,t-SNE聚类,DBSCAN 聚类。并且附上作者自己的经验总结,博文附完整详细代码,建议大家收藏学习!

Unsupervised Learning with Python

无监督学习是一类机器学习技术,用来发现数据中的模式。注意:在无监督算法中,数据是没有标注的,即只给出输入变量(X),不给出相应的输出变量。无监督学习是让算法自己去发现数据中有趣的结构。

人工智能科学家Yan Lecun解释说,无监督学习——让机器自己学习,而不必被明确告知他们所做的每件事是对是错——是“真正的”人工智能的关键。

监督学习VS无监督学习

在监督学习中,系统试图从之前给出的例子中学习。然而,在无监督学习中,系统试图直接从给出的示例中找到模式。如果数据集被标记了,则是一个监督学习的问题,如果数据集没有被标记,那么它就是一个无监督学习的问题。

左边的图像是监督学习的一个例子;我们使用回归方法找到特征之间的最佳拟合线。右边的图像是无监督学习的一个例子;在无监督学习中,输入是基于特征进行分离的,预测是基于它属于哪个簇(cluster)。

重要术语

特征(Feature):用于进行预测的输入变量。

预测(Predictions):当提供输入示例时,模型的输出。

示例(Example):数据集的一行。一个示例包含一个或多个特征, 可能还有一个标签。

标签(Label):特征的结果。

为无监督学习准备数据

在本文中,我们使用Iris数据集进行第一次预测。该数据集包含一组具有5个属性的150条记录,这5个属性为花瓣长度、花瓣宽度、萼片长度、萼片宽度和类别。Iris Setosa, Iris Virginica和Iris Versicolor是三个类。对于我们的无监督算法,我们给出了Iris花的四个特征,并预测了它属于哪个类。

我们使用Python中的sklearn库加载Iris数据集,使用matplotlib进行数据可视化。下面是用于处理数据集的代码部分。

输出结果:

图中:紫罗兰色表示Setosa,绿色表示Versicolor,黄色表示Virginica

聚类(Clustering)

在聚类中,数据被分成几个组。简单来说:目的是将具有相似特征的群体分开并将它们赋予不同的簇(cluster)中。

可视化的例子,

在上图中,左边的图像是未进行分类的原始数据,右边的图像是聚类的结果(根据数据的特征对数据进行划分)。当给定一个要预测的输入时,它将根据其特征在簇(cluster)中检查其所属哪一个类别,并进行预测。

Python中的K-Means聚类

K-Means是一种迭代聚类算法,旨在找到每次迭代中的局部最大值。由于我们知道涉及3个类,因此我们通过将参数“n_clusters”传递到KMeans模型中,对算法进行编程,将数据分组为3个类。

现在随机的三个样本点(输入)被分配到三个簇(cluster)中。然后后面样本点和这每一个点算一下质心距离(centroid distance),然后选出并放入最优的簇(cluster)中。然后,重新计算所有簇(cluster)的centroids。

每一个聚类的中心是定义这一组样本点的特征值的集合,检查中心特征权重可以解释每一个簇(cluster)代表的类型。

我们从sklearn库中导入KMeans模型,拟合特征并进行预测。

K-Means在Python中的实现:

输出结果:

层次聚类(Hierarchical Clustering)

顾名思义,层次聚类是一种构建聚类层次结构的算法。该算法从分配给自己簇(cluster)的所有数据开始。然后将两个最近的簇(cluster)连接到同一个簇(cluster)中。最后,当只剩下一个簇(cluster)时,该算法就结束了。

层次聚类的完成可以用dendrogram来表示。现在让我们看一个grain谷粒数据层次聚类的例子。

数据集地址:

https://raw.githubusercontent.com/vihar/unsupervised-learning-with-python/master/seeds-less-rows.csv.

Python中的层次聚类实现:

输出结果:

K-Means与层次聚类的区别

* 层次聚类不能很好地处理大数据,但K-Means聚类可以。这是因为K-Means的时间复杂度是线性的,即O(n),而层次聚类的时间复杂度是二次方,即O(n2)。

* 在K-Means聚类中,因为我们初始化的时候,会任意选择不同的簇(cluster),所以多次运行算法产生的结果可能会有所不同。然而层次聚类中是可重现的。

* 当簇(cluster)的形状是超球形时(如2D中的圆,3D中的球),K-Means表现地很好。

* K-Means不允许嘈杂的数据,而在层次中我们可以直接使用有噪声的数据集进行聚类。

t-SNE聚类

它是一种无监督学习可视化的方法。t-SNE表示t-distributed stochastic neighborembedding。

它将高维空间映射到可以可视化的二维或三维空间。具体地说,它通过一个二维或三维点对每个高维对象进行建模,其方式是相似的对象由附近的点建模,而不相似的对象则由高概率的远点建模。

具体可以查看专知以前的t-SNE详解:

你真的会用 t-SNE 么?有关 t-SNE 的小技巧

Python中,基于Iris数据集的t-SNE聚类实现:

输出结果:

其中,紫罗兰色:Setosa,绿色:Versicolor,黄色:Virginica

这里Iris数据集具有四个特征(4d),它被变换并以二维图形表示。类似地,t-SNE模型可以应用于具有n个特征的数据集。

DBSCAN聚类

DBSCAN(Density-Based Spatial Clusteringof Applications with Noise,具有噪声的基于密度的聚类方法)是一种流行的聚类算法,用于替代预测分析中的K-means。它不要求您输入簇(cluster)的个数才能运行。但作为交换,你必须调整其他两个参数(eps和min_samples)。

DBSCAN算法的目的在于过滤低密度区域,发现稠密度样本点。跟传统的基于层次的聚类和划分聚类的凸形聚类簇不同,该算法可以发现任意形状的聚类簇,与传统的算法相比它有如下优点:

(1)与K-MEANS比较起来,不需要输入要划分的聚类个数;

(2)聚类簇的形状没有偏倚;

(3)可以在需要时输入过滤噪声的参数;

scikit-learn为eps和min_samples参数提供了一个默认值,但通常需要对它们进行优化。eps是在同一邻域中考虑的两个数据点之间的最大距离。min_samples指的是簇(cluster)在邻域中数据点数量的最小数目。

DBSCAN聚类的Python实现:

输出结果:

更多无监督方法:

主成分分析(PCA)

异常检测(Anomaly detection)

自编码(Autoencoders)

深度置信网络(Deep BeliefNets)

Hebbian Learning

生成对抗网络(GANs)

自组织映射(Self-Organizingmaps)

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180712B1C41Y00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券