数据挖掘:K-Means 算法

最近在学习一些数据挖掘的算法,看到了这个算法,也许这个算法对你来说很简单,但对我来说,我是一个初学者,我在网上翻看了很多资料,发现中文社区没有把这个问题讲得很全面很清楚的文章,所以,把我的学习笔记记录下来,分享给大家。

在数据挖掘中, k-Means 算法是一种 cluster analysis 的算法,其主要是来计算数据聚集的算法,主要通过不断地取离种子点最近均值的算法。

1问题

K-Means算法主要解决的问题如下图所示。我们可以看到,在图的左边有一些点,我们用肉眼可以看出来有四个点群,但是我们怎么通过计算机程序从一堆散乱的点找出这几个点群来呢?于是就出现了我们的K-Means算法。【http://en.wikipedia.org/wiki/K-means_clustering】

2K-Means 算法概要

从上图中,我们可以看到,A, B, C, D, E 是五个在图中点。而灰色的点是我们的种子点,也就是我们用来找点群的点。有两个种子点,所以K=2。

然后,K-Means的算法如下:

随机在图中取K(这里K=2)个种子点。 然后对图中的所有点求到这K个种子点的距离,假如点Pi离种子点Si最近,那么Pi属于Si点群。(上图中,我们可以看到A,B属于上面的种子点,C,D,E属于下面中部的种子点) 接下来,我们要移动种子点到属于他的“点群”的中心。(见图上的第三步) 然后重复第2)和第3)步,直到,种子点没有移动(我们可以看到图中的第四步上面的种子点聚合了A,B,C,下面的种子点聚合了D,E)。

这个算法很简单,但是有些细节我要提一下,求距离的公式我不说了,大家有初中毕业水平的人都应该知道怎么算的。

我重点想说一下“求点群中心的算法”

3求点群中心的算法

一般来说,求点群中心点的算法你可以很简的使用各个点的X/Y坐标的平均值。不过,我这里想告诉大家另三个求中心点的的公式:

4K-Means的演示

如果你以”K Means Demo“为关键字到Google里查你可以查到很多演示。这里推荐一个演示

【http://home.dei.polimi.it/matteucc/Clustering/tutorial_html/AppletKM.html】

操作是,鼠标左键是初始化点,右键初始化“种子点”,然后勾选“Show History”可以看到一步一步的迭代。

注:这个演示的链接也有一个不错的 K Means Tutorial 。

【http://home.deib.polimi.it/matteucc/Clustering/tutorial_html/index.html】

5K-Means ++ 算法

K-Means主要有两个最重大的缺陷——都和初始值有关:

K 是事先给定的,这个 K 值的选定是非常难以估计的。很多时候,事先并不知道给定的数据集应该分成多少个类别才最合适。(

ISODATA 算法【http://en.wikipedia.org/wiki/Multispectral_pattern_recognition】通过类的自动合并和分裂,得到较为合理的类型数目 K)

K-Means算法需要用初始随机种子点来搞,这个随机种子点太重要,不同的随机种子点会有得到完全不同的结果。(K-Means++算法

【http://en.wikipedia.org/wiki/Multispectral_pattern_recognition】可以用来解决这个问题,其可以有效地选择初始点)

我在这里重点说一下 K-Means++算法步骤:

先从我们的数据库随机挑个随机点当“种子点”。 对于每个点,我们都计算其和最近的一个“种子点”的距离D(x)并保存在一个数组里,然后把这些距离加起来得到Sum(D(x))。 然后,再取一个随机值,用权重的方式来取计算下一个“种子点”。这个算法的实现是,先取一个能落在Sum(D(x))中的随机值Random ,然后用Random -= D(x),直到其<=0,此时的点就是下一个“种子点”。 重复第(2)和第(3)步直到所有的K个种子点都被选出来。

6进行K-Means算法。

相关的代码你可以在这里找到“implement the K-means++ algorithm”(墙)【http://rosettacode.org/wiki/K-means%2B%2B_clustering】

7K-Means 算法应用

看到这里,你会说,K-Means算法看来很简单,而且好像就是在玩坐标点,没什么真实用处。而且,这个算法缺陷很多,还不如人工呢。是的,前面的例子只是玩二维坐标点,的确没什么意思。但是你想一下下面的几个问题:

1)如果不是二维的,是多维的,如5维的,那么,就只能用计算机来计算了。

2)二维坐标点的X, Y 坐标,其实是一种向量,是一种数学抽象。现实世界中很多属性是可以抽象成向量的,比如,我们的年龄,我们的喜好,我们的商品,等等,能抽象成向量的目的就是可以让计算机知道某两个属性间的距离。如:我们认为,18岁的人离24岁的人的距离要比离12岁的距离要近,鞋子这个商品离衣服这个商品的距离要比电脑要近,等等。

只要能把现实世界的物体的属性抽象成向量,就可以用K-Means算法来归类了。

在 《k均值聚类(K-means)》【http://www.cnblogs.com/leoo2sk/archive/2010/09/20/k-means.html】这篇文章中举了一个很不错的应用例子,作者用亚洲15支足球队的2005年到1010年的战绩做了一个向量

表,然后用K-Means把球队归类,得出了下面的结果,呵呵。

亚洲一流:日本,韩国,伊朗,沙特

亚洲二流:乌兹别克斯坦,巴林,朝鲜

亚洲三流:中国,伊拉克,卡塔尔,阿联酋,泰国,越南,阿曼,印尼

其实,这样的业务例子还有很多,比如,分析一个公司的客户分类,这样可以对不同的客户使用不同的商业策略,或是电子商务中分

析商品相似度,归类商品,从而可以使用一些不同的销售策略,等等。

最后给一个挺好的算法的幻灯片。

网友补充

我想补充一个内容。这类K算法,可以说是个很好的数据分析手段,而不能独立作为一个数据挖掘的核心基础模块。这里有个常人很容易忽视的问题。就是,上面两个图片,我们认为左侧有团的概念,我们希望能在右侧获取边界。实际上,这已经是认为认定确认了这批数据存在这样的团或者聚合。无非是把中心坐标定出来。由此,K算法中很多初始参数都设定完毕了。但这个不是数据挖掘。

模式识别算数据挖掘,但模式识别有两个步骤,一个是特征提取,一个是提取出来的信息进行比对。上述K算法只能算特征提取的工作。给定一个模式的特征,在待识别的空间匹配这个模式特征的是否存在,但实际是个类似能量的值,并不是有或没有。如同一段音频中,我们寻找某个频段的能力一样,这只是数据分析。挖掘需要进一步,尝试匹配各种模式,然后给出最可能的模式情况。(Via:开源中国社区)

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-04-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

计算机视觉这一年:这是最全的一份CV技术报告

The M Tank 编辑了一份报告《A Year in Computer Vision》,记录了 2016 至 2017 年计算机视觉领域的研究成果,对开发者...

2645
来自专栏人工智能LeadAI

卷积神经网络(CNN)介绍与实践

作为人类,我们不断地通过眼睛来观察和分析周围的世界,我们不需要刻意的“努力”思考,就可以对所看到的一切做出预测,并对它们采取行动。当我们看到某些东西时,我们会根...

581
来自专栏人工智能头条

终于有个能看懂的CS231n经典CNN课程了:AlexNet/VGG/GoogLeNet(上)

今天由条子给大家推送。其实条子对人工智能不是很了解,但是禅师说:你去看看斯坦福的 CS231n 教程就了解了。

602
来自专栏AI研习社

计算机视觉中,有哪些比较好的目标跟踪算法?(上)

相信很多来这里的人和我第一次到这里一样,都是想找一种比较好的目标跟踪算法,或者想对目标跟踪这个领域有比较深入的了解,虽然这个问题是经典目标跟踪算法,但事实上,可...

4539
来自专栏AI科技评论

学界 | 百度SVAIL推出高效问答模型GNR,比双向注意流快24.7倍

AI科技评论消息,百度硅谷AI实验室最近推出强文,文中提出了一种被称为GNR(Globally Normalized Reader)的方法。据AI科技评论了解,...

2508
来自专栏CreateAMind

深度学习调参有哪些技巧?

最近因为一些需要,参与了一些CNN建模调参的工作,出于个人习性,我并不习惯于通过单纯的trial-and-error的方式来调试经常给人以”black-box...

1254
来自专栏AI科技评论

开发 | 深度学习调参入门,有哪些技巧?

AI科技评论按:作者杨军,从事大规模机器学习系统研发及应用相关工作。本文整理自知乎,已获作者授权。 本文将分享一些自己关于深度学习模型调试技巧的总结思考(以CN...

3407
来自专栏BestSDK

5年时间,目标跟踪算法的进化史

第一部分:目标跟踪速览 先跟几个SOTA的tracker混个脸熟,大概了解一下目标跟踪这个方向都有些什么。一切要从2013年的那个数据库说起。。如果你问别人近几...

4256
来自专栏大数据文摘

机器学习单挑数学界:最新算法仲裁数列之美(附论文)

它揭示了表面看似无关的数学领域之间的深层联系,是数学界的伟大奇观之一。而这也指出了数学之美的另一个组成部分:数学模式必须在某种角度上是有趣的。

814
来自专栏机器之心

计算机视觉这一年:这是最全的一份CV技术报告

3116

扫码关注云+社区