无监督学习 聚类分析①聚类分析

聚类分析

介绍

  • 聚类分析是一种数据规约技术,旨在借楼一个数据集中观测值的子集。他可以把大量的观测值归约未若干类。聚类分析被广泛应用于生物和行为科学,市场以及医学研究中。例如一名心理学家可能基于抑郁症病人的症状和人口统计学数据对病人进行聚类,试图得出抑郁症的亚型,以期通过亚型来找到更加有针对性和有效的治疗方法,同时更好地理解这个疾病。医学研究人员通过对DNA微阵列数据进行聚类分析来获得基因表达模式,从而帮助他们理解人类的正常发育以及导致许多疾病的根本原因。
  • 最常用的两种聚类方法是层次聚类(hierarchical agglomerative clustring)和划分聚类(partitioning clustering)。在层次聚类中,每一个观测值自成一类,这些类每次两两合并,直到所有的类被聚成一类为止。在划分聚类中,首先指定类个数K,然后观测值被随机分成K类,再重新形成聚合的类。这两种方法都对应许多可供选择的聚类算法。对于层次聚类来说,最常用的算法是单联动和全联动以及质心。对于划分聚类来说,最常用的是K均值(K-means)和围绕中心点的划分(PAM)。每一类聚类方法都有它的优点和缺点。

步骤

  • 选择合适的变量
  • 缩放数据

如果我们在分析中选择的变量变化范围很大,那么该变量对结果的影响也是最大的。这往往是不可取的。最常用的将数据缩放的方法是将每个变量标准化为均值为0和标准差为1的变量。其他的方法包括每个变量被其最大值相除或该变量减去它的平均值并除以变量的平均绝对偏差。这三种方法如下: df1 <- apply(mydata, 2, function(x){ (x-mean(x))/sd(x)}) df2 <- apply(mydata, 2, function(x){x/max(x)}) df3 <- apply(mydata, 2, function(x){x - mean(x))/mad(x)})

  • 寻找异常点。许多聚类方法对异常值是十分敏感的,他能扭曲我们得到的聚类方案。可以通过outliers包中的函数来筛选异常单变量利群点。mvoutlier包中心包含了能识别多元变量的离群点的函数。一个替代的方案是使用对异常值稳健的聚类方法,围绕中心店的划分。
  • 计算距离
    • 选择聚类算法:层次聚类对与小样本更实用,划分的方法能处理更大的数据量。
  • 获得一种或者多种聚类方法
  • 确定类的数目
  • 获得最终的聚类方案
  • 结果可视化
  • 解读类
  • 验证结果

计算距离

> setwd("E:\\Rwork")
> data(nutrient, package = "flexclust")
> head(nutrient, 4)
             energy protein fat calcium iron
BEEF BRAISED    340      20  28       9  2.6
HAMBURGER       245      21  17       9  2.7
BEEF ROAST      420      15  39       7  2.0
BEEF STEAK      375      19  32       9  2.6
> d <- dist(nutrient)
> as.matrix(d)[1:4,1:4]
             BEEF BRAISED HAMBURGER BEEF ROAST BEEF STEAK
BEEF BRAISED      0.00000   95.6400   80.93429   35.24202
HAMBURGER        95.64000    0.0000  176.49218  130.87784
BEEF ROAST       80.93429  176.4922    0.00000   45.76418
BEEF STEAK       35.24202  130.8778   45.76418    0.00000

层次聚类分析

如前所述,在层次聚类中,起初每一个实例或者观测值属于一类。聚类就是每一次把两类聚成新的一类,直到所有的类聚成单个类为止。算法如下: (1) 定义每个观测值(行或单元) 为一类;

(2) 计算每类和其他各类的距离;

(3) 把距离最短的两类合并成一类,这样类的个数就减少一个;

(4) 重复步骤(2)和步骤,直到包含所有观测值的类合并成单个的类为止;

层次聚类可以用hclust()函数来实现,格式是hclust(d, method=),其中d是通过dist()函数产生的距离矩阵,并且方法包括"single". "complete". "average"."centroid"和"ward"。

  • 结果如下:
> setwd("E:\\Rwork")
> data(nutrient, package = "flexclust")
> row.names(nutrient) <- tolower (row.names(nutrient))
> nutrient.scaled <- scale(nutrient)
> d <- dist(nutrient.scaled)
> fit.average <- hclust(d, method = "average")
> plot(fit.average)
  • 如果最终目的是这些食品分配的类较少,需要NbClust包来确定一个聚类分析里的最佳数目。
library(NbClust)
devAskNewPage(ask = TRUE)
nc <- NbClust(nutrient.scaled, distance = "euclidean", 
              min.nc = 2, max.nc = 15, method = "average")
table(nc$Best.n[1,])
barplot(table(nc$Best.n[1,]),
        xlab = "number of cluster", ylab = "number of criteria",
        main = "number of cluster chosen by 26 cruteria")
table(nc$Best.n[1,])

 0  1  2  3  4  5  9 10 13 14 15 
 2  1  4  4  2  4  1  1  2  1  4 
******************************************************************* 
* Among all indices:                                                
* 4 proposed 2 as the best number of clusters 
* 4 proposed 3 as the best number of clusters 
* 2 proposed 4 as the best number of clusters 
* 4 proposed 5 as the best number of clusters 
* 1 proposed 9 as the best number of clusters 
* 1 proposed 10 as the best number of clusters 
* 2 proposed 13 as the best number of clusters 
* 1 proposed 14 as the best number of clusters 
* 4 proposed 15 as the best number of clusters 

                   ***** Conclusion *****                            
 
* According to the majority rule, the best number of clusters is  2 
  • 显示性状之间的关系
clusters <- cutree(fit.average, k=5)
table(clusters)
plot(fit.average, hang = -1, cex = .8,
     main = "average linkage clustering \ n5 cluster solution")

rect.hclust(fit.average, k =5)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

一文读懂 CNN、DNN、RNN 内部网络结构区别

【AI研习社】关注AI前沿、开发技巧及技术教程等方面的内容。欢迎技术开发类文章、视频教程等内容投稿,邮件发送至:zhangxian@leiphone.com 从...

39760
来自专栏Bingo的深度学习杂货店

《机器学习实战》总结篇

前些天完成了《机器学习实战》这本书的学习,也利用 Python3 实现了各个章节的代码,对传统的机器学习方法有了更进一步的了解,这里做一个总结。 代码传送门: ...

39740
来自专栏智能算法

一文读懂 CNN、DNN、RNN 内部网络结构区别

从广义上来说,NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。在实际应用中,所谓的深度神经网络DNN,往往融合了多种已知的结构,包括...

44150
来自专栏计算机视觉战队

ECCV-2018最佼佼者的目标检测算法

转眼间,离上次9月3日已有9天的时间,好久没有将最新最好的“干货”分享给大家,让大家一起在学习群里讨论最新技术,那今天我给大家带来ECCV-2018年最优pap...

1.9K30
来自专栏算法channel

机器学习:提升树(boosting tree)算法的思想

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来...

39880
来自专栏新智元

Andrej Karpathy 最新演讲:计算机视觉深度学习技术与趋势 (104PPT)

2016年10月18日, 世界人工智能大会技术分论坛,特设“新智元智库院长圆桌会议”,重量级研究院院长 7 剑下天山,汇集了中国人工智能产学研三界最豪华院长阵容...

41080
来自专栏用户2442861的专栏

Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet

作者:我爱机器学习 链接:https://zhuanlan.zhihu.com/p/22094600 来源:知乎 著作权归作者所有。商业转载请联系作者获得...

29810
来自专栏专知

【最新前沿】Facebook何恺明等大神最新论文提出非局部神经网络(Non-local Neural Networks)

【导读】Facebook何恺明和RGB两位大神最近提出非局部操作non-local operations为解决视频处理中时空域的长距离依赖打开了新的方向。文章采...

47540
来自专栏人工智能LeadAI

从CVPR2017 看多样目标检测

1、导读 When you have trouble with object detection, keep calm and use deep learnin...

48150
来自专栏大数据挖掘DT机器学习

R语言多元统计包简介:各种假设检验 统计方法 聚类分析 数据处理

基本的R包已经实现了传统多元统计的很多功能,然而CRNA的许多其它包提供了更深入的多元统计方法,下面做个简要的综述。多元统计的特殊应用在CRNA的其它任务列表(...

57140

扫码关注云+社区

领取腾讯云代金券