本文作者:南海一号
在机器学习中,我们往往会遇到很大量的数据的处理,其中有一项就是聚类,即将相似的数据聚到一起,比较基础的就是K_means聚类算法。聚类是一种无监督学习,不需要训练样本有对应的标签就可以将不同的类分开。利用的就是相同类之间的相似性以及不同类之间的差异性。
K-means算法就是输入聚类个数k,以及包含n个数据对象的数据库,输出满足方差最小标准k个聚类的一种算法(百度)。同一个k值的聚类相似度比较高,不同的k值的聚类的相似度比较低。
一:算法原理
K-means算法在n个样本设置k个簇,开始这些簇的位置都是随机产生的,然后,与这些簇距离最近的样本点会被归纳到这个簇中,然后我们设置一个目标函数为所有的点与簇的距离的平方和,通过迭代优化将这个目标函数变小,最终的结果就是所有的点都被分到了不同的类。
二:具体案例
我们首先通过对最简单的二维平面上随机点进行分类。首先我们生成50个随机点。得到所有的随机点的坐标。
然后,我们调用Kmeans工具箱,下面是我在命令行输入help kmeans得到的kmeans工具箱的用法。
至于具体的使用方法,大家可以自己学习。
聚类以后的结果就是相同颜色的分为一类,不同颜色分为不同类,将所有的点分成了三类,用不同的颜色表示,当然,也可以修改迭代次数,这样下来,结果会更加准确
如下:
代码如下:
X = [randn(500,2)+ones(500,2);randn(500,2)-ones(500,2);randn(500,2)+[ones(500,1),-ones(500,1)]];
opts = statset('Display','final');
[Idx,Ctrs,SumD,D] = kmeans(X,3,'Replicates',3,'Options',opts);
plot(X(Idx==1,1),X(Idx==1,2),'r.','MarkerSize',4)
hold on
plot(X(Idx==2,1),X(Idx==2,2),'b.','MarkerSize',4)
hold on
plot(X(Idx==3,1),X(Idx==3,2),'g.','MarkerSize',4)