文本挖掘:手把手教你分析携程网评论数据

作者:飘雪

http://www.itongji.cn/cms/article/articledetails?articleid=1114

中文文本挖掘包tm、tmcn、Rwordseg、Rweibo的安装

http://blog.csdn.net/andy_henry/article/details/25929019

文本分析的应用越来越广泛,这不,我的工作也开始涉及了文本分析,今天就讲讲关于评论数据的那点事。

首先评论数据如何获取?

一般通过网络爬虫的方式抓取各大网站的评论数据,本次分析数据就来源于携程网某酒店的评论,在同事的协助下,成功爬取该酒店的评论数据,于是我开始使用这些数据做相关的分析。

本次文本分析中需要使用如下3个包

1)Rwordseg包用于分词

2)tmcn用于词频统计

3)wordcloud用于绘制文字云

library(Rwordseg)

library(tmcn)

library(wordcloud)

#读取数据

Evaluation <- read.csv(file = file.choose(), encoding = 'UFT-8')

#剔除评论数据中含有的英文和数字

text <- gsub('[a-zA-Z0-9]','',Evaluation$Evaluation)

#分词

segword <- segmentCN(strwords = text)

#查看第一条评论的分词效果

segword[1]

从上图的结果中发现,经分割后的词中有许多无意义的停止词,如“是”,“只”,“了”,“也”等,这些词是需要剔除的。关于停止词,可以到网上搜索获取。

#读取停止词

mystopwords <- read.table(file = file.choose(), stringsAsFactors = FALSE)

head(mystopwords)

class(mystopwords)

由于读入的数据为数据框格式,需要将其转换为向量格式,即:

mystopwords <- as.vector(mystopwords[,1])

head(mystopwords)

现在有了停止词词库,接下来需要将分割后的词与停止词词库进行比对,将含有停止词的词进行剔除。下面是自定义删除停止词的函数:

removewords <- function(target_words,stop_words){

target_words = target_words[target_words%in%stop_words==FALSE]

return(target_words)

}

#将该函数应用到已分割的词中

segword2 <- sapply(X = segword, FUN = removewords, mystopwords)

#查看已删除后的分词结果

segword2[[1]]

从上图中显示,一些无意义的停止词已经被剔除,下面就使用比较干净的词绘制文字云,以大致查看分词效果。

word_freq <- getWordFreq(string = unlist(segword2))

opar <- par(no.readonly = TRUE)

par(bg = 'black')

#绘制出现频率最高的前50个词

wordcloud(words = word_freq$Word, freq = word_freq$Freq, max.words = 50,

random.color = TRUE, colors = rainbow(n = 7))

par(opar)

发现“不错”这个词非常明显,但到底是什么不错呢?下面来看一看都是哪些评论包含不错这样的字眼。

#根据频繁出现词汇,还原初始评价

index <- NULL

for(i in 1:length(segword)){

if (any(segword[[i]] %in% '不错') == TRUE)

index = unique(c(index, i))

}

text[index]

含有“不错”字眼的评论有658条,这就需要人为干涉,将这些“不错”进行简化并组成词典

这是一个非常繁工的过程,需要耐心的查看这些评论中都是怎么表达的情感的。经过约3个小时的人为选词(不断反复查看),将这些词组成词典,并导入为自定义词汇。(可能该方法比较笨拙,如有更好的方法,还请看官指导)。

#自定义词汇

words <- c('房间干净','服务不错','酒店不错','不错的酒店','不错的地方','卫生不错','设施不错','设备不错','硬件不错','位置不错','地段不错','景色不错','景观不错','环境不错','风景不错','视野不错','夜景不错','口味不错','味道不错','感觉不错','态度不错','态度冷漠','态度冷淡','服务差劲','热情','热心','不热情','态度好','态度差','态度不好','素质差','质量不错','房间不错','浴缸不错','早餐不错','早餐质量差','自助餐不错','下午茶不错','强烈推荐','推荐入住','值得推荐','性价比不错','隔音不错','体验不错','不错的体验','设施陈旧','五星级酒店','性价比不错','交通便利','交通方便','出行方便','房间小','价格不错','前台效率太低','携程','地理位置','陆家嘴')

#插入自定义词汇

insertWords(strwords = words)

由于上面的词汇都是经过简化而成的,而原始评论可能是:“房间很干净”,“服务还是蛮不错的”,“酒店真心不错”等,所以就需要剔除这些干扰分词的词(“还是”,“蛮”,“真心”,“的”等)。

#根据业务情况、需要在原始评论中删除的字和词

pattern <- c('还是','很也','了','点','可以','还','是','真心','都','相当','大家','确实','挺','非常','应该','蛮','整体','里面','就','实在','总体','听说','有点','比较','质量','都是','够','十分','还算','极其','也算','方面','太','算是')

#将这些词组成“正则表达式”

pattern2 <- paste("[",paste(pattern,collapse = ','),"]", sep = '')

#剔除原始评论中含有的这些干扰词汇

text2 <- gsub(pattern = pattern2, replacement = '', x = text)

好,经过清洗后,原始的评论相对简介而干净,下面对其进一步分词,记住,之前已经构建了自定义词汇,他会产生指定组合的词,如“酒店”,“不错”两个词组合为“酒店不错”。

#分词

segword3 <- segmentCN(strwords = text2)

head(segword3)

#新建停止词

stopwords_v2 <- c('不错','酒店','交通','前台','出差','价','去','免费','入','入住','大道','吃','退','上海','说','床','态度','升级','地理','很好','号','住','服务员','房间','服务','设施','环境','位置')

#创建新添加的停止词

mystopwords <- c(mystopwords,stopwords_v2)

#排除停止词

segword4 <- sapply(X = segword3, FUN = removewords, mystopwords)

#查看已删除后的分词结果

segword4[[1]]

根据上面的分词结果,再一次绘制文字云,具体如下:

word_freq2 <- getWordFreq(string = unlist(segword4))

opar <- par(no.readonly = TRUE)

par(bg = 'black')

#绘制出现频率最高的前50个词

wordcloud(words = word_freq2$Word, freq = word_freq2$Freq, scale = c(4,0.1), max.words = 50, random.color = TRUE, colors = rainbow(n = 7))

par(opar)

发现还是有一些词影响了其真实情况,如“早餐”,"房"等,需要进一步将其纳入停止词,因为这些词之前已经被组合成其他词汇。

#再一次清除停止词

stopwords_v3 <- c('早餐','嘴','电话','订','楼','人员','钟','修','办理','客人','品种','朋友','带','出门','房','影响','硬件','感觉','想','验','洁','希望','送')

segword5 <- sapply(X = segword4, FUN = removewords, stopwords_v3)

#查看已删除后的分词结果

segword5[[1]]

根据这次剔除的停止词,我们再绘制一次文字云:

word_freq3 <- getWordFreq(string = unlist(segword5))

opar <- par(no.readonly = TRUE)

par(bg = "black")

#绘制出现频率最高的前50个词

wordcloud(words = word_freq3$Word, freq = word_freq3$Freq, scale = c(4,0.1), max.words = 50,random.color = TRUE, colors = rainbow(n = 7))

par(opar)

发现文字云中含有相同意思的词汇,如“推荐”和“值得推荐”,这就要将这样的词汇合并为一个词汇,具体如下

#将推荐和值得推荐合并

segword6 <- unlist(segword5)

segword6[segword6 == '推荐'] <- '值得推荐'

#重新绘制文字云

word_freq4 <- getWordFreq(string = unlist(segword6))

opar <- par(no.readonly = TRUE)

par(bg = "black")

#绘制出现频率最高的前50个词

wordcloud(words = word_freq4$Word, freq = word_freq4$Freq, scale = c(4,0.1), max.words = 50, random.order = F, random.color = T, colors = rainbow(n = 7))

par(opar)

上面使用R的wordcloud包绘制文字云,也可以使用工具tagxedo绘制,绘制之前需要将txt文件输入该工具中,该工具的使用可至网站:

http://www.tagxedo.com

#将前50的词频写出到txt文件

write.table(head(word_freq4,50),'word_freq.txt', row.names = FALSE, sep = ' ', quote = FALSE)

在同事的热心帮助下,使用工具tagxedo绘制的个性化文字云,文字云以房子的形状为背景:

结论:

从文字云的返回结果可知:

1) 总体评价是比较满意的,如:服务不错、环境不错、酒店不错、满意等

2) 酒店附近有地铁,说明交通便利

3) “携程”,说明房客中的一部分来源于携程

4) 当然也有一些负面评价,如“不便”,“施工”,“修路”等

5) 最后,房客觉得这家酒店非常值得推荐,间接将给酒店带来额外客户

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2016-04-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏文渊之博

数据仓库基础介绍

本文将会讲述 BI/DW/DA 领域的一些常见概念,如:事实表、维度表、建模、多维分析、cube 等,但不涉及具体实例分析。

814
来自专栏企鹅号快讯

桌面互动游戏

桌面互动投影系统通过投影系统将动态图像投影于各种形状投影屏上,取代传统文字、图像展示方式,具有展示新颖,设计独特等特点。 用户可以在屏幕进行触控操作,取代传统的...

1848
来自专栏互联网杂技

那些蒙版引导的小细节

前言 蒙版引导一直是一个十分热门的话题,对于很多用户来讲经常会不彻底阅读甚至快速关闭来结束引导,这样便起不到很好的教育作用。甚至还有“在界面上添加这些并不会让你...

35312
来自专栏机器学习养成记

数据分析小案例(三):调查问卷(python)

案件回顾 传统吉祥物还是萌系美少女 商业街想设计一个吉祥物做宣传 对商业街店主和顾客发放调查问卷 调查问卷的问题中有对吉祥物的偏好调查。也有对商业街的魅力调...

4007
来自专栏大数据挖掘DT机器学习

基于微软案例数据库数据挖掘知识点总结(结果预测篇)

前言 本篇文章主要是继续前几篇Microsoft决策树分析算法、Microsoft聚类分析算法、Microsoft Naive Bayes 算法,算法介绍后,经...

2996
来自专栏数据之美

BI/数据仓库/数据分析 基础入门:一些常见概念解释

Preface:本文将会讲述 BI/DW/DA 领域的一些常见概念,如:事实表、维度表、建模、多维分析、cube 等,但不涉及具体实例分析。 1、维(Dimen...

44910
来自专栏技术翻译

大数据建模方法的比较

在DT时代,互联网,智能设备和其他形式的信息技术的爆炸性增长使得数据以同样令人印象深刻的速度增长。这个时代的挑战似乎是如何对所有这些数据进行分类,组织和存储。

7302
来自专栏腾讯社交用户体验设计

打造H5里的“3D全景漫游”秘籍 - 腾讯ISUX

3563
来自专栏数据派THU

独家 | 6步教你用R语言制作动图

原文标题:How to create animated GIF images for data visualization using gganimate (i...

2217
来自专栏新智元

FaceApp:基于深度网络为人像照片加笑容,实现年龄、性别变换

【新智元导读】 FaceApp 不仅是一个有趣的应用,它证明了人工智能如何使得处理照片变得前所未有的简单。比如,p上笑容、年龄和性别转换均可以轻松完成。过年拍...

33611

扫码关注云+社区