聚类分析的基本概况

作者：张楷露 审核：晃晃悠悠 封面：自己想吧

一、概念：

聚类分析(cluster analysis)是一组将研究对象分为相对同质的群组(clusters)的统计分析技术。 聚类分析也叫分类分析(classification analysis)或数值分类(numerical taxonomy)。

二、 类型：

对于一个数据，人们既可以对变量（指标）进行分类(相当于对数据中的列分类)，也可以对观测值（事件，样品）来分类（相当于对数据中的行分类）。

1.根据分类对象的不同，分为样品（观测量）聚类和变量聚类两种：

样品聚类（Q型）：对观测量(Case)进行聚类（不同的目的选用不同的指标作为分类的依据，如选拔运动员与分课外活动小组）。

变量聚类（R型）：找出彼此独立且有代表性的自变量，而又不丢失大部分信息。在生产活动中不乏有变量聚类的实例，如：衣服号码（身长、胸围、裤长、腰围）、鞋的号码。变量聚类使批量生产成为可能。

2.根据分类步骤的不同，分为k均值聚类、系统聚类分析、二阶聚类分析三类。

三、聚类要注意的问题：

1. 聚类结果主要受所选择的变量影响。如果去掉一些变量，或者增加一些变量，结果会很不同。

2. 相比之下，聚类方法的选择则不那么重要了。因此，聚类之前一定要目标明确。

3.就分成多少类来说，也要有道理。只要你高兴，从分层聚类的计算机结果可以得到任何可能数量的类。但是，聚类的目的是要使各类距离尽可能的远，而类中点的距离尽可能的近，而且分类结果还要有令人信服的解释，这一点就不是数学可以解决的了。

四、聚类主要输出的结果：

1.冰柱图（icicle）

2.树状图（dendrogram）

五、分析步骤：

1.定义问题与选择分类变量

2.聚类方法

3.确定群组数目

4.聚类结果评估

5.结果的描述、解释

六、主要应用：

1.在商业上：

聚类分析被用来发现不同的客户群，并且通过购买模式刻画不同的客户群的特征。聚类分析是细分市场的有效工具，同时也可用于研究消费者行为，寻找新的潜在市场、选择实验的市场，并作为多元分析的预处理。

2.在生物上：

聚类分析被用来动植物分类和对基因进行分类，获取对种群固有结构的认识。

3.在地理上：

聚类能够帮助在地球中被观察的数据库商趋于的相似性。

4.在保险行业上：

聚类分析通过一个高的平均消费来鉴定汽车保险单持有者的分组，同时根据住宅类型，价值，地理位置来鉴定一个城市的房产分组。

5.在因特网应用上：

聚类分析被用来在网上进行文档归类来修复信息。

6.在电子商务上：

聚类分析在电子商务中网站建设数据挖掘中也是很重要的一个方面，通过分组聚类出具有相似浏览行为的客户，并分析客户的共同特征，可以更好的帮助电子商务的用户了解自己的客户，向客户提供更合适的服务。

七、数据处理的主要过程：

1. 数据预处理。

数据预处理包括选择数量，类型和特征的标度，它依靠特征选择和特征抽取，特征选择选择重要的特征，特征抽取把输入的特征转化为一个新的显著特征，它们经常被用来获取一个合适的特征集来为避免“维数灾”进行聚类，数据预处理还包括将孤立点移出数据，孤立点是不依附于一般数据行为或模型的数据，因此孤立点经常会导致有偏差的聚类结果，因此为了得到正确的聚类，我们必须将它们剔除。

2. 为衡量数据点间的相似度定义一个距离函数。

既然相类似性是定义一个类的基础，那么不同数据之间在同一个特征空间相似度的衡量对于聚类步骤是很重要的，由于特征类型和特征标度的多样性，距离度量必须谨慎，它经常依赖于应用，例如，通常通过定义在特征空间的距离度量来评估不同对象的相异性，很多距离度都应用在一些不同的领域，一个简单的距离度量，如Euclidean距离，经常被用作反映不同数据间的相异性，一些有关相似性的度量，例如PMC和SMC，能够被用来特征化不同数据的概念相似性，在图像聚类上，子图图像的误差更正能够被用来衡量两个图形的相似性。

3. 聚类或分组。

将数据对象分到不同的类中是一个很重要的步骤，数据基于不同的方法被分到不同的类中，划分方法和层次方法是聚类分析的两个主要方法，划分方法一般从初始划分和最优化一个聚类标准开始。Crisp Clustering，它的每一个数据都属于单独的类；Fuzzy Clustering，它的每个数据可能在任何一个类中，Crisp Clustering和Fuzzy Clusterin是划分方法的两个主要技术，划分方法聚类是基于某个标准产生一个嵌套的划分系列，它可以度量不同类之间的相似性或一个类的可分离性用来合并和分裂类，其他的聚类方法还包括基于密度的聚类，基于模型的聚类，基于网格的聚类。

4. 评估输出。

评估聚类结果的质量是另一个重要的阶段，聚类是一个无管理的程序，也没有客观的标准来评价聚类结果，它是通过一个类有效索引来评价，一般来说，几何性质，包括类间的分离和类内部的耦合，一般都用来评价聚类结果的质量，类有效索引在决定类的数目时经常扮演了一个重要角色，类有效索引的最佳值被期望从真实的类数目中获取，一个通常的决定类数目的方法是选择一个特定的类有效索引的最佳值，这个索引能否真实的得出类的数目是判断该索引是否有效的标准，很多已经存在的标准对于相互分离的类数据集合都能得出很好的结果，但是对于复杂的数据集，却通常行不通，例如，对于交叠类的集合。

学堂君的历史合辑：

菜鸟也爱数据分析之SPSS篇问卷设计与统计分析SPSS学堂诚品——线性回归系列合集

欢迎添加

【数据分析服务】微信号：LYJ_312

【社群服务助手】微信号：spss_shequn

【加入团队】：请点击招募，我们是认真的！

扫描下方二维码，关注我们哦~