玩玩文本挖掘-wordcloud、主题模型与文本分类

本文主要介绍文本挖掘的常见方法,主要包括词频分析及wordcloud展现、主题模型、文本分类、分类评价等。分类主要包括无监督分类(系统聚类、KMeans、string kernals),有监督分类(knn、SVM)。

一、文本挖掘概念

将数据挖掘的成果用于分析以自然语言描述的文本,这种方法被称为文本挖掘(Text Mining)或文本知识发现(Knowledge Discovery in Text)。

文本挖掘主要过程:特征抽取、特征选择、文本分类、文本聚类、模型评价。

主题模型(Topic Mode)介绍

主题模型是专门抽象一组文档所表达 “主题” 的统计技术。

最早的模型是 probabilistic latent semantic indexing (PLSI),后来 Latent Dirichlet allocation

(LDA,潜在狄利克雷分配模型) 模型成为了最常见的主题模型,它可以认为是 PLSI 的泛化形式。LDA 主题模型涉及到贝叶斯理论、Dirichlet 分布、多项分布、图模型、变分推断、EM 算法、Gibbs 抽样等知识。

---R中的中英文分词-----

有个分词的插件,叫snowball。直接在R的菜单栏上点击Packages-> install package(s),然后选择beijing,然后在列表里面找到snowball就可以了。

按完以后可以看到界面中的提示。

我们按照在Text Mining With (刘思喆)R中的例子测试一下是否安装成功。

> library(Snowball)> SnowballStemmer(c('functions', 'stemming', 'liked', 'doing'))
[1] "function" "stem"     "like"     "do"      > 

可以看到snowball已经可以帮我们提取词干了。

现在我们来试试tokenizer:

> library(RWeka)> NGramTokenizer('吃货 都是 热爱生活 的 好孩子')
 [1] "吃货 都是 热爱生活" "都是 热爱生活 的"   "热爱生活 的 好孩子"
 [4] "吃货 都是"          "都是 热爱生活"      "热爱生活 的"       
 [7] "的 好孩子"          "吃货"               "都是"            
 [10] "热爱生活"           "的"                 "好孩子"

如果我们不认为添加空格会是什么情况呢?

> NGramTokenizer('欢迎光临Elar的博客,今天是2013年9月4号')
character(0)

可以看到没有什么结果呢……

那如果想对普通的中文文本分词,可以使用一个叫Rwordseg的包。这个包是李健开发的中文分词工具。

在R中安装Rwordseg的指令为:

install.packages("Rwordseg", repos = "http://R-Forge.R-project.org")

安装好可见提示信息:

我们测试一下Rwordseg的分词功能:

> library(Rwordseg)
Loading required package: rJava# Version: 0.0-5> segmentCN('欢迎光临Elar的博客,今天是2013年9月4号,这里是中国陕西西安')
 [1] "欢迎"   "光临"   "elar"   "的"     "博客"   "今天"   "是"     "2013年"
 [9] "9月"    "4号"    "这里"   "是"     "中国"   "陕西"   "西安"  > 

现在中文分词也搞定了,我们来试试Text Mining吧。

安装tm包。

可以看到tm包还有mail和webmining插件,是不是用来挖掘邮件和网络内容的呢?以后探索。

先安装最基本的tm包,安装完成后的提示:

tm包中可以对动态语料库(语料库在内存中)和静态语料库(语料库在硬盘中)进行分析。静态语料库要用到一个叫filehash包的支持。

二、实例分析 0. 数据预处理

数据来源于sougou实验室数据。

数据网址:http://download.labs.sogou.com/dl/sogoulabdown/SogouC.mini.20061102.tar.gz

文件结构

└─Sample

├─C000007 汽车

├─C000008 财经

├─C000010 IT

├─C000013 健康

├─C000014 体育

├─C000016 旅游

├─C000020 教育

├─C000022 招聘

├─C000023

└─C000024 军事

采用Python对数据进行预处理为train.csv文件,并把每个文件文本数据处理为1行。

1. 读取资料库

  1. setwd("d:\\Testing\\R\\w12")
  2. csv <- read.csv("train.csv",header=T, stringsAsFactors=F)
  3. mystopwords<- unlist (read.table("StopWords.txt",stringsAsFactors=F))

2. 数据预处理(中文分词、stopword处理)

  1. library(tm)
  2. #移除数字
  3. removeNumbers = function(x) { ret = gsub("[0-90123456789]","",x) }

3. wordcloud展示

  1. library(wordcloud)
  2. #不同文档wordcloud对比图
  3. sample.tdm <- TermDocumentMatrix(corpus, control = list(wordLengths = c(2, Inf)))
  4. tdm_matrix <- as.matrix(sample.tdm)
  5. png(paste("sample_comparison",".png", sep = ""), width = 1500, height = 1500 )
  6. comparison.cloud(tdm_matrix)
  7. title(main = "sample comparision")
  8. dev.off()
  1. #按分类汇总wordcloud对比图
  2. n <- nrow(csv)
  3. zz1 = 1:n
  4. cluster_matrix<-sapply(unique_type,function(type){apply(tdm_matrix[,zz1[csv$type==type]],1,sum)})
  5. png(paste("sample_ cluster_comparison",".png", sep = ""), width = 800, height = 800 )
  6. comparison.cloud(cluster_matrix)
  7. title(main = "sample cluster comparision")
  8. dev.off()

可以看出数据分布不均匀,culture、auto等数据很少。

  1. #按各分类画wordcloud
  2. sample.cloud <- function(cluster, maxwords = 100) {
  3. words <- sample.words[which(csv$type==cluster)]
  4. allwords <- unlist(words)
  5. wordsfreq <- sort(table(allwords), decreasing = T)
  6. wordsname <- names(wordsfreq)
  7. png(paste("sample_", cluster, ".png", sep = ""), width = 600, height = 600 )
  8. wordcloud(wordsname, wordsfreq, scale = c(6, 1.5), min.freq = 2, max.words = maxwords, colors = rainbow(100))
  9. title(main = paste("cluster:", cluster))
  10. dev.off()
  11. }
  12. lapply(unique_type,sample.cloud)# unique(csv$type)

#列出第一副和最后一幅图

4. 主题模型分析

  1. library(slam)
  2. summary(col_sums(sample.dtm))
  3. term_tfidf <- tapply(sample.dtm$v/row_sums( sample.dtm)[ sample.dtm$i], sample.dtm$j, mean)*
  4. log2(nDocs( sample.dtm)/col_sums( sample.dtm > 0))
  5. summary(term_tfidf)
  1. sample.dtm <- sample.dtm[, term_tfidf >= 0.1]
  2. sample.dtm <- sample.dtm[row_sums(sample.dtm) > 0,]

α估计严重小于默认值,这表明Dirichlet分布数据集中于部分数据,文档包括部分主题。

  1. sapply(sample_TM, function(x) mean(apply(posterior(x)$topics,1, function(z) -sum(z*log(z)))))

数值越高说明主题分布更均匀

  1. #最可能的主题文档
  2. Topic <- topics(sample_TM[["VEM"]], 1)
  3. #每个Topc前5个Term
  4. Terms <- terms(sample_TM[["VEM"]], 5)
  5. Terms[, 1:10]

从结果来看,与原有手工10大分类“汽车、财经、IT、健康、体育、旅游、教育、招聘、文化、军事”对比,可以发现旅游、军事等主题还比较明显,但总的效果不是很理想(可以和“按分类汇总wordcloud对比图”对比一下)。 5. 文本分类-无监督分类,包括系统聚类、KMeans、string kernals。

  1. sample_matrix = as.matrix(sample.dtm)
  2. rownames(sample_matrix) <- csv$type
  • 系统聚类

可见和主题模型得出结论相同,数据分布过于集中。说明数据集可能还不够具有代表性。 l KMeans分类

  1. sample_KMeans <- kmeans(sample_matrix, k)
  2. library(clue)
  3. #计算最大共同分类率
  4. cl_agreement(sample_KMeans, as.cl_partition(csv$type), "diag")

分类效果比较差。

l string kernels

  1. library("kernlab")
  2. stringkern <- stringdot(type = "string")
  3. stringC1 <- specc(corpus, 10, kernel=stringkern)
  4. #查看统计效果
  5. table("String Kernel"=stringC1, cluster = csv$type )

可以看出travel、education分类准确,auto、it、health等分类效果差。

6.文本分类-有监督分类,包括knn、SVM

把数据随机抽取90%作为学习集,剩下10%作为测试集。实际应用中应该进行交叉检验,这里简单起见,只进行一次抽取。

  1. n <- nrow(csv)
  2. set.seed(100)
  3. zz1 <- 1:n
  4. zz2 <- rep(1:k,ceiling(n/k))[1:n] #k <- length(unique(csv$type))
  5. zz2 <- sample(zz2,n)
  6. train <- sample_matrix[zz2<10,]
  7. test <- sample_matrix[zz2==10,]
  8. trainC1 <- as.factor(rownames(train))

l Knn分类

  1. library(class)
  2. sample_knnCl <- knn(train, test, trainC1)
  3. trueC1 <- as.factor(rownames(test))
  4. #查看预测结果
  5. (nnTable <- table("1-NN" = sample_knnCl, sample = trueC1))
  1. sum(diag(nnTable))/nrow(test)

看样样本集少预测效果是不好。

l SVM分类

  1. rownames(train) <- NULL
  2. train <- as.data.frame(train)
  3. train$type <- trainC1
  4. sample_ksvm <- ksvm(type~., data=train)
  5. svmCl <- predict(sample_ksvm,test)
  6. (svmTable <-table(SVM=svmCl, sample=trueC1))
  1. sum(diag(svmTable))/nrow(test)

看上去svm方法效果比较好些。 7.其他分类 文本数据经过矩阵化转换后,变为普通的Matrix或data.frame结构,传统数据挖掘方法都可以使用,如决策数、神经网络等。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-11-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

通过SmtpClient发送Exchange会议邮件

看到C#中调用Outlook API 发起会议 ,这个完全可以用SMTP方式实现的,下面我的项目中使用的代码: 对于.NET而言,从2.0开始,发邮件已经是一件...

1949
来自专栏张善友的专栏

弹出式模态窗体选择文本控件

2006年就要到来了,最近比较忙,很少更新blog,今天发一个模态窗体选择文本控件辞旧迎新.新年在发几个asp.net2.0 webPart控件同各位分享: ...

1907
来自专栏菩提树下的杨过

Silverlight:利用异步加载Xap实现自定义loading效果

关键点: 1.利用WebClient的DownloadProgressChanged事件更新下载进度 2.下载完成后,分析Xap包的程序集Assembly信息 ...

18610
来自专栏菩提树下的杨过

基于sliverlight + wcf的web 文字版IM 示例

演示地址: http://task.24city.com/default.html 预览界面: ? 一、布局 采用Grid布局,5行2列 第一行:为登录/注册信...

3226
来自专栏Golang语言社区

GO语言 TCP传输实例

package main import ( "net" "fmt" ) var ( maxRead = 1100 msgStop = []byt...

3406
来自专栏技术之路

sqlserver 的事务和c#的事务

sql的事务 1 sql 2 create database model 3 go 4 use model 5 go 6 create table ...

1929
来自专栏跟着阿笨一起玩NET

使用延迟的FileSystemWatcher来避免重复触发事件

  程序里需要监视某个目录下的文件变化情况: 一旦目录中出现新文件或者旧的文件被覆盖,程序需要读取文件内容并进行处理;但在实际处理中发现当一个文件产生变化时,C...

912
来自专栏跟着阿笨一起玩NET

treeview 绑定文件夹和文件

461
来自专栏c#开发者

xmldocument内嵌入另一个xmldocument,xmlnode的方法

string xmlstr1 = @"<root><head>myHead</head><body></body></root>"; s...

2725
来自专栏james大数据架构

CSS好看的按钮

好看的按钮 <style> .btn { BORDER-RIGHT: #7b9ebd 1px solid; PADDING-RIGHT: 2px; BORDE...

2007

扫码关注云+社区