k means聚类算法实例数据_Kmeans聚类算法详解

全栈程序员站长

发布于 2022-11-17 11:13:29

7770

发布于 2022-11-17 11:13:29

文章被收录于专栏：全栈程序员必看全栈程序员必看

大家好，又见面了，我是你们的朋友全栈君。

k-means算法又称k均值，顾名思义就是通过多次求均值而实现的聚类算法。是一种无监督的机器学习方法，即无需知道所要搜寻的目标，而是直接通过算法来得到数据的共同特征。其具体算法思想如下图所示：

1、首先在图中随机选取3个点

2、然后把距离这三个点最近的其他点归为一类

3、取当前类的所有点的均值，作为中心点

4、更新距离中心点最近的点

5、再次计算被分类点的均值作为新的中心点

6、再次更新距离中心点最近的点

通过不断重复上述步骤直至无法再进行更新为止时聚类完成。

了解了算法思想后，我们接下来进入正题，以下是具体的实现步骤，大致分为四步：

步骤一、对文本进行切词和去除停用词。（jieba）

步骤二、计算文本特征并构建 VSM（向量空间模型）。

步骤三、使用 K-means 算法进行聚类。

步骤四、对新文档进行分类并计算分类成功率

步骤一：对文本进行切词和去除停用词（jieba）

原始数据集如下图所示：（为了方便统计对文件名进行了修改）

数据集规模为200，包含类别为：股票、教育、体育和星座等四种类型（样本数目各为50）的文本。

股票类文本示例：

我们可以注意到文本中有许多空格，符号，数字以及一些语气词等影响聚类的效果，因此我们采用github上的jieba分词对文本进行预处理，同时利用网上下的停用词文档结合正则表达式去除语气词和数字等，去除后的效果如下图所示：

停用词文档示例：

该部分的代码片段如下：

def buildSW():
    '''停用词的过滤'''
    typetxt=open('***') #停用词文档地址
    texts=['\u3000','\n',' '] #爬取的文本中未处理的特殊字符
    '''停用词库的建立'''
    for word in typetxt:
        word=word.strip()
        texts.append(word)
    return texts

def buildWB(texts):
    '''语料库的建立'''
    for i in range(0,len(all_file)):
        filename=all_file[i]
        filelabel=filename.split('.')[0]
        labels.append(filelabel) #名称列表
        file_add='***'+ filename #数据集地址
        doc=open(file_add,encoding='utf-8').read()
        data=jieba.cut(doc) #文本分词
        data_adj=''
        delete_word=[]
        for item in data:
            if item not in texts: #停用词过滤
                # value=re.compile(r'^[0-9]+$')#去除数字
                value = re.compile(r'^[\u4e00-\u9fa5]{2,}$')#只匹配中文2字词以上
                if value.match(item):
                    data_adj+=item+' '
            else:
                delete_word.append(item)
        corpus.append(data_adj) #语料库建立完成
    # print(corpus)
    return corpus

步骤二、计算文本特征并构建 VSM（向量空间模型）

在此简单介绍一下TF-IDF：

TF-IDF即逆文本频率指数，是一种统计方法，用以评估一个词对于一个语料库中一份文件的重要程度。词的重要性随着在文件中出现的次数正比增加，同时随着它在语料库其他文件中出现的频率反比下降。

也就是说一个词在某一文档中出现次数比较多，其他文档没有出现，说明该词对该文档分类很重要。

然而如果其他文档也出现比较多，说明该词区分性不大，就用IDF来降低该词的权重。

数学算法：

TF-IDF与一个词在文档中的出现次数成正比，与该词在整个语言中的出现次数成反比 TF-IDF = TF (词频) * IDF(逆文档频率) 词频：TF = 词在文档中出现的次数 / 文档中总词数

逆文档频率：IDF = log（语料库中文档总数 / 包含该词的文档数 +1 ）

因此这一步我们需要用到sklearn这个库，具体思想是构建一个i行j列的矩阵，其中i代表待聚类的文本数量,j则代表词的数目。

词频分析结果如下图所示：

该部分代码如下：

def countIdf(corpus):
    vectorizer=CountVectorizer()#该类会将文本中的词语转换为词频矩阵，矩阵元素a[i][j] 表示j词在i类文本下的词频
    transformer=TfidfTransformer()#该类会统计每个词语的tf-idf权值
    tfidf=transformer.fit_transform(vectorizer.fit_transform(corpus))#第一个fit_transform是计算tf-idf，第二个fit_transform是将文本转为词频矩阵
    weight=tfidf.toarray()#将tf-idf矩阵抽取出来，元素a[i][j]表示j词在i类文本中的tf-idf权重
    return weight

步骤三、使用 K-means 算法进行聚类

思想前面已经说过在此不再复述直接上代码：

def Kmeans(weight,clusters,correct):
    mykms=KMeans(n_clusters=clusters)
    y=mykms.fit_predict(weight)
    result=[]

    for i in range(0,clusters):
        label_i=[]
        gp=0
        jy=0
        xz=0
        ty=0
        for j in range(0,len(y)):
            if y[j]==i:
                label_i.append(labels[j])
                type=labels[j][0:2]
                if(type=='gp'):
                    gp+=1
                elif(type=='jy'):
                    jy+=1
                elif(type=='xz'):
                    xz+=1
                elif(type=='ty'):
                    ty+=1
        max=jy
        type='教育'
        if(gp>jy):
            max=gp
            type='股票'
        if(max<xz):
            max=xz
            type='星座'
        if(max<ty):
            max=ty
            type='体育'
        correct[0]+=max
        result.append('类别'+'('+type+')'+':'+str(label_i))
    return result

在此需说明一点，由于k-means属于无监督机器学习方法，因此事先只能制定结果聚类的数目（在此为4），而无法为每一类指定具体的类别名，为了便于统计我们在分类完成之后，以该类中最多的一类文本来为此类命名，以此来测量结果的准确性。

步骤四、对新文档进行分类并计算分类成功率

分类的结果如下图所示：

经过多次测试正确率大致在86%左右

以下是完整代码：

# -*- coding: utf-8 -*-
import os
import re
from os import listdir
import jieba
from sklearn import feature_extraction
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.cluster import KMeans
all_file=listdir('***') #获取文件夹中所有文件名#数据集地址
outputDir="***" #结果输出地址
labels=[] #用以存储名称
corpus=[] #空语料库
size=200#测试集容量
def buildSW():
'''停用词的过滤'''
typetxt=open('***') #停用词文档地址
texts=['\u3000','\n',' '] #爬取的文本中未处理的特殊字符
'''停用词库的建立'''
for word in typetxt:
word=word.strip()
texts.append(word)
return texts
def buildWB(texts):
'''语料库的建立'''
for i in range(0,len(all_file)):
filename=all_file[i]
filelabel=filename.split('.')[0]
labels.append(filelabel) #名称列表
file_add='***'+ filename #数据集地址
doc=open(file_add,encoding='utf-8').read()
data=jieba.cut(doc) #文本分词
data_adj=''
delete_word=[]
for item in data:
if item not in texts: #停用词过滤
# value=re.compile(r'^[0-9]+$')#去除数字
value = re.compile(r'^[\u4e00-\u9fa5]{2,}$')#只匹配中文2字词以上
if value.match(item):
data_adj+=item+' '
else:
delete_word.append(item)
corpus.append(data_adj) #语料库建立完成
# print(corpus)
return corpus
def countIdf(corpus):
vectorizer=CountVectorizer()#该类会将文本中的词语转换为词频矩阵，矩阵元素a[i][j] 表示j词在i类文本下的词频
transformer=TfidfTransformer()#该类会统计每个词语的tf-idf权值
tfidf=transformer.fit_transform(vectorizer.fit_transform(corpus))#第一个fit_transform是计算tf-idf，第二个fit_transform是将文本转为词频矩阵
weight=tfidf.toarray()#将tf-idf矩阵抽取出来，元素a[i][j]表示j词在i类文本中的tf-idf权重
# word=vectorizer.get_feature_names()#获取词袋模型中的所有词
# for j in range(len(word)):
#     if weight[1][j]!=0:
#         print(word[j], weight[1][j])
return weight
def Kmeans(weight,clusters,correct):
mykms=KMeans(n_clusters=clusters)
y=mykms.fit_predict(weight)
result=[]
for i in range(0,clusters):
label_i=[]
gp=0
jy=0
xz=0
ty=0
for j in range(0,len(y)):
if y[j]==i:
label_i.append(labels[j])
type=labels[j][0:2]
if(type=='gp'):
gp+=1
elif(type=='jy'):
jy+=1
elif(type=='xz'):
xz+=1
elif(type=='ty'):
ty+=1
max=jy
type='教育'
if(gp>jy):
max=gp
type='股票'
if(max<xz):
max=xz
type='星座'
if(max<ty):
max=ty
type='体育'
correct[0]+=max
result.append('类别'+'('+type+')'+':'+str(label_i))
return result
def output(result,outputDir,clusters):
outputFile='out'
type='.txt'
count=0
while(os.path.exists(outputDir+outputFile+type)):
count+=1
outputFile='out'+str(count)
doc = open(outputDir+outputFile+type, 'w')
for i in range(0,clusters):
print(result[i], file=doc)
print('本次分类总样本数目为:'+str(size)+' 其中正确分类数目为:'+str(correct[0])+' 正确率为：'+str(correct[0]/size), file=doc)
doc.close()
texts=buildSW()
corpus=buildWB(texts)
weight=countIdf(corpus)
clusters=4
correct=[0]#正确量
result=Kmeans(weight,clusters,correct)
output(result,outputDir,clusters)
print('finish')