小案例(七)：口碑分析（python）

案件回顾

商业街口碑分析

1. 顾客在网络上会发表对商品或商店的留言信息
2. 对留言进行分析，可以对商业街进行口碑分析
3. 在论坛中整理了300条留言，并进行分词处理，整理出了不同性别不同年龄段在留言中，使用单词的频数（问题：不同年龄或性别对商业街的印象是否一致？）

• 聚类分析

将数据存储为csv格式，导入python，查看前10行数据。

import pandas as pd reviewsdata = pd.read_csv('reviewsdata.csv',index_col=0)#index_col=0第一列所为行索引 reviewsdata.head(10)

从表格中，可以看到不同性别、不同年龄使用不同单词的频数。对数据进行聚类分析，并画出聚类树形图。

import scipy import scipy.cluster.hierarchy as sch import matplotlib.pylab as plt import pylab #生成点与点之间的距离矩阵,这里用的欧氏距离: disMat = sch.distance.pdist(reviewsdata.T,'euclidean') #进行层次聚类: Z=sch.linkage(disMat,method='average') #将层级聚类结果以树状图表示出来并保存为plot_dendrogram.png sch.dendrogram(Z,labels=reviewsdata.columns,leaf_font_size=7.5) plt.rcParams['font.sans-serif'] = ['SimHei'] plt.title("口碑的聚类") pylab.show()

在聚类分析的过程中，是将不同性别年龄的人群使用词的频数生成向量，然后比较这些向量的距离，将距离较近的总结在一起。距离近意味着措辞相仿，聚类也就是不断合并两个最相近向量的过程。从图显示，40多岁男性和50多岁男性在使用单词方面很接近，但跟60多岁女性明显不同。整体上，能看出不同年龄段和不同性别之间存在意见差异。

• 几个小概念

聚类分析：一种根据数据相似度将数据分组对手法，分组前，不能确定每一类的特征。数据相似度通过距离来判断，求距离的方法有很多种，最简单的为欧式距离。本文使用的是层次聚类，文章聚类（一）：DBSCAN算法实现（r语言）中介绍了DBSCAN聚类方法。