K-means 在 Python 中的实现

K-means算法简介

K-means是机器学习中一个比较常用的算法,属于无监督学习算法,其常被用于数据的聚类,只需为它指定簇的数量即可自动将数据聚合到多类中,相同簇中的数据相似度较高,不同簇中数据相似度较低。

K-menas的优缺点:

优点:

  • 原理简单
  • 速度快
  • 对大数据集有比较好的伸缩性

缺点:

  • 需要指定聚类 数量K
  • 对异常值敏感
  • 对初始值敏感

K-means的聚类过程

其聚类过程类似于梯度下降算法,建立代价函数并通过迭代使得代价函数值越来越小

  • 适当选择c个类的初始中心;
  • 在第k次迭代中,对任意一个样本,求其到c个中心的距离,将该样本归到距离最短的中心所在的类;
  • 利用均值等方法更新该类的中心值;
  • 对于所有的c个聚类中心,如果利用(2)(3)的迭代法更新后,值保持不变,则迭代结束,否则继续迭代。

该算法的最大优势在于简洁和快速。算法的关键在于初始中心的选择和距离公式。

K-means 实例展示

python中km的一些参数:

sklearn.cluster.KMeans(
 n_clusters=8,
 init='k-means++',
 n_init=10,
 max_iter=300,
 tol=0.0001,
 precompute_distances='auto',
 verbose=0,
 random_state=None,
 copy_x=True,
 n_jobs=1,
 algorithm='auto'
 )
  • n_clusters: 簇的个数,即你想聚成几类
  • init: 初始簇中心的获取方法
  • n_init: 获取初始簇中心的更迭次数,为了弥补初始质心的影响,算法默认会初始10个质心,实现算法,然后返回最好的结果。
  • max_iter: 最大迭代次数(因为kmeans算法的实现需要迭代)
  • tol: 容忍度,即kmeans运行准则收敛的条件
  • precompute_distances:是否需要提前计算距离,这个参数会在空间和时间之间做权衡,如果是True 会把整个距离矩阵都放到内存中,auto 会默认在数据样本大于featurs*samples 的数量大于12e6 的时候False,False 时核心实现的方法是利用Cpython 来实现的
  • verbose: 冗长模式(不太懂是啥意思,反正一般不去改默认值)
  • random_state: 随机生成簇中心的状态条件。
  • copy_x: 对是否修改数据的一个标记,如果True,即复制了就不会修改数据。bool 在scikit-learn 很多接口中都会有这个参数的,就是是否对输入数据继续copy 操作,以便不修改用户的输入数据。这个要理解Python 的内存机制才会比较清楚。
  • n_jobs: 并行设置
  • algorithm: kmeans的实现算法,有:’auto’, ‘full’, ‘elkan’, 其中 ‘full’表示用EM方式实现

虽然有很多参数,但是都已经给出了默认值。所以我们一般不需要去传入这些参数,参数的。可以根据实际需要来调用。

下面展示一个代码例子

from sklearn.cluster import KMeans
from sklearn.externals import joblib
from sklearn import cluster
import numpy as np
 
# 生成10*3的矩阵
data = np.random.rand(10,3)
print data
# 聚类为4类
estimator=KMeans(n_clusters=4)
# fit_predict表示拟合+预测,也可以分开写
res=estimator.fit_predict(data)
# 预测类别标签结果
lable_pred=estimator.labels_
# 各个类别的聚类中心值
centroids=estimator.cluster_centers_
# 聚类中心均值向量的总和
inertia=estimator.inertia_
 
print lable_pred
print centroids
print inertia
 
代码执行结果
[0 2 1 0 2 2 0 3 2 0]
 
[[ 0.3028348 0.25183096 0.62493622]
[ 0.88481287 0.70891813 0.79463764]
[ 0.66821961 0.54817207 0.30197415]
[ 0.11629904 0.85684903 0.7088385 ]]

0.570794546829

为了更直观的描述,这次在图上做一个展示,由于图像上绘制二维比较直观,所以数据调整到了二维,选取100个点绘制,聚类类别为3类

from sklearn.cluster import KMeans
from sklearn.externals import joblib
from sklearn import cluster
import numpy as np
import matplotlib.pyplot as plt
 
data = np.random.rand(100,2)
estimator=KMeans(n_clusters=3)
res=estimator.fit_predict(data)
lable_pred=estimator.labels_
centroids=estimator.cluster_centers_
inertia=estimator.inertia_
#print res
print lable_pred
print centroids
print inertia
 
for i in range(len(data)):
 if int(lable_pred[i])==0:
 plt.scatter(data[i][0],data[i][1],color='red')
 if int(lable_pred[i])==1:
 plt.scatter(data[i][0],data[i][1],color='black')
 if int(lable_pred[i])==2:
 plt.scatter(data[i][0],data[i][1],color='blue')
plt.show()

可以看到聚类效果还是不错的,对k-means的聚类效率进行了一个测试,将维度扩宽到50维

对于百万级的数据,拟合时间还是能够接受的,可见效率还是不错,对模型的保存与其它的机器学习算法模型保存类似

from sklearn.externals import joblib
joblib.dump(km,"model/km_model.m")

来源:Stardustsky

segmentfault.com/a/1190000010863236

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2017-09-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python小屋

Python使用tensorflow中梯度下降算法求解变量最优值

TensorFlow是一个用于人工智能的开源神器,是一个采用数据流图(data flow graphs)用于数值计算的开源软件库。数据流图使用节点(nodes)...

3498
来自专栏ATYUN订阅号

不怕学不会 使用TensorFlow从零开始构建卷积神经网络

人们可以使用TensorFlow的所有高级工具如tf.contrib.learn和Keras,能够用少量代码轻易的建立一个卷积神经网络。但是通常在这种高级应用中...

3856
来自专栏wOw的Android小站

[Tensorflow] Tensorflow卷积理解

CNN对于学习深度学习的人来说应该是比较耳熟的名词了.但很多人只是听过,但不知道是什么.

6272
来自专栏深度学习自然语言处理

详解文本分类之DeepCNN的理论与实践

最近在梳理文本分类的各个神经网络算法,特地一个来总结下。下面目录中多通道卷积已经讲过了,下面是链接,没看的可以瞅瞅。我会一个一个的讲解各个算法的理论与实践。目录...

993
来自专栏吉浦迅科技

深度学习GeForce GTX 1080/Titan X(Maxwell)/ Titan X (Pascal)比较

【新智元导读】深度学习计算该买哪款GPU,选择哪个平台?这篇文章为你提供对比指南。 购买用于运行深度学习算法的硬件时,我们常常找不到任何有用的基准,唯一的选择是...

1.6K5
来自专栏Coding迪斯尼

用python实现数字图片识别神经网络--实现网络训练功能

1513
来自专栏杨熹的专栏

LightGBM 如何调参

9174
来自专栏ATYUN订阅号

正则化贪心森林(RGF)的入门简介,含案例研究

作为曾参与机器学习竞赛的数据科学家,我一直在寻找“非主流”的算法。使用这些算法可能不会成为竞争的赢家。但是他们有独特的预测方式。这些算法可以在集成模型中使用,以...

4906
来自专栏深度学习与计算机视觉

TensorFlow 图像预处理(一) 图像编解码,图像尺寸调整

TensorFlow提供了几类图像处理函数,下面介绍图像的编码与解码,图像尺寸调整。 编码与解码 图像解码与编码:一张RGB三通道的彩色图像可以看成一个三维矩阵...

59210
来自专栏有趣的Python

TensorFlow应用实战-9-生成音乐

生成音乐的python文件 # -*- coding: UTF-8 -*- """ 用训练好的神经网络模型参数来作曲 """ import pickle i...

3835

扫码关注云+社区