专栏首页小闫笔记机器学习算法之聚类算法

机器学习算法之聚类算法

"If you set your goals ridiculously high and it's a failure, you will fail above everyone else's success.

—— James Cameron"

1.认识聚类算法

使用不同的聚类准则,产生的聚类结果不同。

1.1 应用

1) 用户画像,广告推荐,Data Segmentation,搜索引擎的流量推荐,恶意流量识别

2) 基于位置信息的商业推送,新闻聚类,筛选排序

3) 图像分割,降维,识别;离群点检测;信用卡异常消费;发掘相同功能的基因片段更多精彩文章请关注公众号『Pythonnote』或者『全栈技术精选』

1.2 概念

聚类算法

一种典型的无监督学习算法,主要用于将相似的样本自动归到一个类别中。

在聚类算法中根据样本之间的相似性,将样本划分到不同的类别中,对于不同的相似度计算方法,会得到不同的聚类结果,常用的相似度计算方法有欧式距离法。

1.3 与分类算法最大的区别

聚类算法是无监督的学习算法,而分类算法属于监督的学习算法。

2.聚类算法 API 初步使用

2.1 API 介绍

sklearn.cluster.KMeans(n_clusters=8)
"""
参数:
  n_clusters:开始的聚类中心数量
    - 整型,缺省值=8,生成的聚类数,即产生的质心(centroids)数。

方法:
  estimator.fit(x)
  estimator.predict(x)
  estimator.fit_predict(x)
    - 计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)
"""

2.2 案例

随机创建不同二维数据集作为训练集,并结合 k-means 算法将其聚类,你可以尝试分别聚类不同数量的簇,并观察聚类效果:

聚类参数 n_cluster 传值不同,得到的聚类结果不同更多精彩文章请关注公众号『Pythonnote』或者『全栈技术精选』

2.2.1 流程分析

2.2.2 代码实现

1) 创建数据集

import matplotlib.pyplot as plt
from sklearn.datasets.samples_generator import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import calinski_harabaz_score

# 创建数据集
# X为样本特征,Y为样本簇类别, 共1000个样本,每个样本4个特征,共4个簇,
# 簇中心在[-1,-1], [0,0],[1,1], [2,2], 簇方差分别为[0.4, 0.2, 0.2, 0.2]
X, y = make_blobs(n_samples=1000, n_features=2, centers=[[-1, -1], [0, 0], [1, 1], [2, 2]],
                  cluster_std=[0.4, 0.2, 0.2, 0.2],
                  random_state=9)

# 数据集可视化
plt.scatter(X[:, 0], X[:, 1], marker='o')
plt.show()

2) 使用 k-means 进行聚类,并使用 CH 方法评估

y_pred = KMeans(n_clusters=2, random_state=9).fit_predict(X)
# 分别尝试n_cluses=2\3\4,然后查看聚类效果
plt.scatter(X[:, 0], X[:, 1], c=y_pred)
plt.show()

# 用Calinski-Harabasz Index评估的聚类分数
print(calinski_harabaz_score(X, y_pred))

3.聚类算法实现流程

k-means 其实包含两层内容:

K :初始中心点个数(计划聚类数)

means:求中心点到其他数据点距离的平均值

3.1 k-means 聚类步骤

1) 随机设置 K 个特征空间内的点作为初始的聚类中心

2) 对于其他每个点计算到 K 个中心的距离,未知的点选择最近的一个聚类中心点作为标记类别

3) 紧接着,重新计算出每个聚类的新中心点(平均值)

4) 如果计算得出的新中心点与原中心点一样(质心不再移动),那么结束,否则重新进行第二步过程更多精彩文章请关注公众号『Pythonnote』或者『全栈技术精选』

通过下图解释实现流程:

3.2 案例练习

案例:

1) 随机设置 K 个特征空间内的点作为初始的聚类中心(本案例中设置 p1p2

2) 对于其他每个点计算到 K 个中心的距离,未知的点选择最近的一个聚类中心点作为标记类别

3) 重新计算出每个聚类的新中心点(平均值)

4) 如果计算得出的新中心点与原中心点一样(质心不再移动),那么结束,否则重新进行第二步过程「经过判断,需要重复上述步骤,开始新一轮迭代」

5) 当每次迭代结果不变时,认为算法收敛,聚类完成,K-Means 一定会停下,不可能陷入一直选质心的过程。

3.3 小结

流程

1) 事先确定常数 K,常数 K 意味着最终的聚类类别数;

2) 首先随机选定初始点为质心,并通过计算每一个样本与质心之间的相似度(这里为欧式距离),将样本点归到最相似的类中,

3) 接着,重新计算每个类的质心(即为类中心),重复这样的过程,直到质心不再改变

4) 最终就确定了每个样本所属的类别以及每个类的质心。

注意:由于每次都要计算所有的样本与每一个质心之间的相似度,故在大规模的数据集上,K-Means 算法的收敛速度比较慢。更多精彩文章请关注公众号『Pythonnote』或者『全栈技术精选』

4.模型评估

4.1 误差平方和(SSE \The sum of squares due to error)

举例:(下图中数据-0.2, 0.4, -0.8, 1.3, -0.7, 均为真实值和预测值的差)

k-means 中的应用:

公式各部分内容:

上图中: k=2

1) SSE 图最终的结果,对图松散度的衡量。(eg: SSE(左图) < SSE(右图))

2) SSE 随着聚类迭代,其值会越来越小,直到最后趋于稳定

3) 如果质心的初始值选择不好,SSE 只会达到一个不怎么好的局部最优解

4.2「肘」方法(Elbow method) — K值确定

1) 对于 n 个点的数据集,迭代计算 k from 1 to n,每次聚类完成后计算每个点到其所属的簇中心的距离的平方和;

2) 平方和是会逐渐变小的,直到 k==n 时平方和为0,因为每个点都是它所在的簇中心本身。

3) 在这个平方和变化过程中,会出现一个拐点也即「肘」点,下降率突然变缓时即认为是最佳的 k

在决定什么时候停止训练时,肘形判据同样有效,数据通常有更多的噪音,在增加分类无法带来更多回报时,我们停止增加类别。更多精彩文章请关注公众号『Pythonnote』或者『全栈技术精选』

4.3 轮廓系数法(Silhouette Coefficient)

结合了聚类的凝聚度(Cohesion)和分离度(Separation),用于评估聚类的效果:

目的:内部距离最小化,外部距离最大化

计算样本 i 到同簇其他样本的平均距离 aiai 越小样本 i 的簇内不相似度越小,说明样本 i 越应该被聚类到该簇。

计算样本 i 到最近簇 Cj 的所有样本的平均距离 bij,称样本 i 与最近簇 Cj 的不相似度,定义为样本 i 的簇间不相似度:bi =min{bi1, bi2, ..., bik}bi 越大,说明样本 i 越不属于其他簇。

求出所有样本的轮廓系数后再求平均值就得到了平均轮廓系数

平均轮廓系数的取值范围为[-1,1],系数越大,聚类效果越好。

簇内样本的距离越近,簇间样本距离越远。

4.4 CH 系数(Calinski-Harabasz Index)

Calinski-Harabasz:

类别内部数据的协方差越小越好,类别之间的协方差越大越好(换句话说:类别内部数据的距离平方和越小越好,类别之间的距离平方和越大越好),这样的 Calinski-Harabasz 分数 s 会高,分数 s 高则聚类效果越好。

tr矩阵的迹, Bk 为类别之间的协方差矩阵,Wk 为类别内部数据的协方差矩阵;

m 为训练集样本数,k 为类别数。

使用矩阵的迹进行求解的理解:

矩阵的对角线可以表示一个物体的相似性

在机器学习里,主要为了获取数据的特征值,那么就是说,在任何一个矩阵计算出来之后,都可以简单化,只要获取矩阵的迹,就可以表示这一块数据的最重要的特征了,这样就可以把很多无关紧要的数据删除掉,达到简化数据,提高处理速度。更多精彩文章请关注公众号『Pythonnote』或者『全栈技术精选』

CH 需要达到的目的:用尽量少的类别聚类尽量多的样本,同时获得较好的聚类效果。

4.5 总结

1) 肘部法:下降率突然变缓时即认为是最佳的 k

2) SC 系数:取值为[-1, 1],其值越大越好

3) CH系数:分数 s 高则聚类效果越好

5.算法优化

5.1 k-means 算法小结

优点:

1) 原理简单(靠近中心点),实现容易

2) 聚类效果中上(依赖K的选择)

3) 空间复杂度 O(N),时间复杂度 O(IKN)

N 为样本点个数,K 为中心点个数,I 为迭代次数

缺点:

1) 对离群点,噪声敏感 (中心点易偏移)

2) 很难发现大小差别很大的簇及进行增量计算

3) 结果不一定是全局最优,只能保证局部最优(与 K 的个数及初值选取有关)

5.2 Canopy 算法配合初始聚类

5.2.1 实现流程

5.2.2 优缺点

优点:

1) Kmeans 对噪声抗干扰较弱,通过 Canopy 对比,将较小的 NumPointCluster 直接去掉有利于抗干扰。

2) Canopy 选择出来的每个 CanopycenterPoint 作为 K 会更精确。

3) 只是针对每个 Canopy 的内做 Kmeans 聚类,减少相似计算的数量。

缺点:

1) 算法中 T1T2 的确定问题 ,依旧可能落入局部最优解更多精彩文章请关注公众号『Pythonnote』或者『全栈技术精选』

5.3 K-means++

kmeans++ 目的,让选择的质心尽可能的分散

如下图中,如果第一个质心选择在圆心,那么最优可能选择到的下一个点在 P(A) 这个区域(根据颜色进行划分)

5.4 二分 k-means

实现流程:

1) 所有点作为一个簇

2) 将该簇一分为二

3) 选择能最大限度降低聚类代价函数(也就是误差平方和)的簇划分为两个簇。

4) 以此进行下去,直到簇的数目等于用户给定的数目 k为止。

隐含的一个原则

因为聚类的误差平方和能够衡量聚类性能,该值越小表示数据点越接近于他们的质心,聚类效果就越好。所以需要对误差平方和最大的簇进行再一次划分,因为误差平方和越大,表示该簇聚类效果越不好,越有可能是多个簇被当成了一个簇,所以我们首先需要对这个簇进行划分。

二分 K 均值算法可以加速 K-means 算法的执行速度,因为它的相似度计算少了并且不受初始化问题的影响,因为这里不存在随机点的选取,且每一步都保证了误差最小。

5.5 k-medoids(k-中心聚类算法)

K-medoidsK-means 是有区别的,不一样的地方在于中心点的选取

K-means 中,将中心点取为当前 cluster 中所有数据点的平均值,对异常点很敏感! K-medoids 中,将从当前 cluster 中选取到其他所有(当前 cluster 中的)点的距离之和最小的点作为中心点。

算法流程:

1) 总体 n 个样本点中任意选取 k 个点作为 medoids

2) 按照与 medoids 最近的原则,将剩余的 n-k 个点分配到当前最佳的 medoids 代表的类中

3) 对于第 i 个类中除对应 medoids 点外的所有其他点,按顺序计算当其为新的 medoids 时,代价函数的值,遍历所有可能,选取代价函数最小时对应的点作为新的 medoids

4) 重复2-3的过程,直到所有的 medoids 点不再发生变化或已达到设定的最大迭代次数

5) 产出最终确定的 k 个类

k-medoids对噪声鲁棒性好。

例:当一个 cluster 样本点只有少数几个,如(1,1)(1,2)(2,1)(1000,1000)。其中(1000,1000)是噪声。如果按照 k-means 质心大致会处在(1,1)(1000,1000)中间,这显然不是我们想要的。这时 k-medoids 就可以避免这种情况,他会在(1,1)(1,2)(2,1)(1000,1000)中选出一个样本点使 cluster 的绝对误差最小,计算可知一定会在前三个点中选取。

k-medoids 只能对小样本起作用,样本大,速度就太慢了,当样本多的时候,少数几个噪音对 k-means 的质心影响也没有想象中的那么重,所以 k-means 的应用明显比 k-medoids 多。更多精彩文章请关注公众号『Pythonnote』或者『全栈技术精选』

5.6 Kernel k-means(了解)

kernel k-means 实际上,就是将每个样本进行一个投射到高维空间的处理,然后再将处理后的数据使用普通的 k-means 算法思想进行聚类。

5.7 ISODATA(了解)

类别数目随着聚类过程而变化;

对类别数会进行合并,分裂;

「合并」当聚类结果某一类中样本数太少,或两个类间的距离太近时

「分裂」当聚类结果中某一类的类内方差太大,将该类进行分裂

5.8 Mini Batch K-Means(了解)

适合大数据的聚类算法

大数据量是什么量级?通常当样本量大于1万做聚类时,就需要考虑选用Mini Batch K-Means 算法。

Mini Batch KMeans 使用了 Mini Batch(分批处理)的方法对数据点之间的距离进行计算。

Mini Batch 计算过程中不必使用所有的数据样本,而是从不同类别的样本中抽取一部分样本来代表各自类型进行计算。由于计算样本量少,所以会相应的减少运行时间,但另一方面抽样也必然会带来准确度的下降。

该算法的迭代步骤有两步:

1) 从数据集中随机抽取一些数据形成小批量,把他们分配给最近的质心

2) 更新质心

Kmeans 相比,数据的更新在每一个小的样本集上。对于每一个小批量,通过计算平均值得到更新质心,并把小批量里的数据分配给该质心,随着迭代次数的增加,这些质心的变化是逐渐减小的,直到质心稳定或者达到指定的迭代次数,停止计算。更多精彩文章请关注公众号『Pythonnote』或者『全栈技术精选』

5.9 总结

优化方法

思路

Canopy+kmeans

Canopy粗聚类配合kmeans

kmeans++

距离越远越容易成为新的质心

二分k-means

拆除SSE最大的簇

k-medoids

和kmeans选取中心点的方式不同

kernel kmeans

映射到高维空间

ISODATA

动态聚类

Mini-batch K-Means

大数据集分批聚类

本文分享自微信公众号 - 全栈技术精选(Pythonnote),作者:小闫同学啊

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-02-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 每天 3 分钟,小闫带你学 Python(九)

    You take your life in your own hands, and what happens? A terrible thing, no one...

    小闫同学啊
  • 每天 3 分钟,小闫带你学 Python(十八)

    Things may come to those who wait, but only the things left by those who hustle.

    小闫同学啊
  • 表单验证常用的正则

    匹配HTML标记的正则表达式:< (S*?)[^>]*>.*?|< .*? />

    小闫同学啊
  • 笔记︱多种常见聚类模型以及分群质量评估(聚类注意事项、使用技巧)

    版权声明:博主原创文章,微信公众号:素质云笔记,转载请注明来源“素质云博客”,谢谢合作!! htt...

    素质
  • 人人都能读懂的无监督学习:什么是聚类和降维?

    可以说机器学习已经成为了改变时代的大事,一时间似乎人人都应该懂一点机器学习。但机器学习涉及到的数学知识和编程能力往往让没有相关经验的人望而却步。YupTechn...

    小莹莹
  • 推荐|数据科学家需要了解的5大聚类算法

    IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 聚类是一种涉及数据点分组的机器学习技术。给定一个数据点集,则可利用聚类算法将每个数据点分类...

    IT派
  • R语言之实现K-mean聚类算法

    聚类算法作为无监督的学习方法,在不给出Y的情况下对所有的样本进行聚类。以动态聚类为基础的K均值聚类方法是其中最简单而又有深度的一种方法。K均值的好处是我们可以在...

    一粒沙
  • 独家 | 如何在BigQueryML中使用K-均值聚类来更好地理解和描述数据(附代码)

    本文教你如何在BigQueryML中使用K均值聚类对数据进行分组,进而更好地理解和描述。

    数据派THU
  • 5种主要聚类算法的简单介绍

    AiTechYun 编辑:Yining 聚类是一种机器学习技术,它涉及到数据点的分组。给定一组数据点,我们可以使用聚类算法将每个数据点划分为一个特定的组。理论上...

    AiTechYun
  • 一文解读聚类中的两种流行算法

    原作:Anuja Nagpal 谢阳 编译自 Medium 量子位 出品 | 公众号 QbitAI 在这篇文章中,Nagpal以简明易懂的语言解释了无监督学习中...

    量子位

扫码关注云+社区

领取腾讯云代金券