R语言进行分析,比较详细的一篇,亲测过哦

要分析文本内容,最常见的分析方法是提取文本中的词语,并统计频率。频率能反映词语在文本中的重要性,一般越重要的词语,在文本中出现的次数就会越多。词语提取后,还可以做成词云,让词语的频率属性可视化,更加直观清晰。比如下图:

这是根据总理2014年的政府工作报告制作的可视化词云,分词和词云的制作都是用R,词频的统计用了其他软件。这个图能很直观看到,工作报告的重心是"发展",这是大方向,围绕发展的关键要素有经济建设、改革、农村、城镇等要素。不过这张图中的词语还需要进行优化,因为有些术语或词组可能被拆分成了更小的词语,没有展示出来,为了演示,我就没再花更多时间去优化词库,主要是讲讲分析的方法。 下面是分析方法: 首先,要获得要分析的内容,做成txt文本文件。这个很简单,把要分析的内容粘贴到记事本,保存为txt文件就可以了。 其次,用R进行分词。这里要分几点来讲: 要用R进行分词,需要安装并装载两个library,一个是Rwordseg,另一个是rJava。rJava的作用是提供java的库,供Rwordseg调用。安装后,调用语句如下: library(rJava) library(Rwordseg) 说说Rwordseg,这是一个R环境下的中文分词工具,引用了Ansj包,Ansj是一个开源的java中文分词工具,基于中科院的ictclas中文分词算法,采用隐马尔科夫模型(HMM)。Rwordseg牛逼的地方三点,一是分词准确,二是分词速度超快,三是可以导入自定义词库,有意思的是还可以导入搜狗输入法的细胞词库(sqel格式),想想细胞词库有多庞大吧,这个真是太厉害了。 分词的语法。很简单,一个函数就搞定了,看下面: segmentCN("待分析文件的完整路径",returnType="tm") 注意:R中的路径用"\\"分割文件夹。参数returnType表示返回的分词格式是按空格间隔的格式。执行完成后,会自动在相同目录生成一个"待分析文件名. .segment.txt"的文本文件,打开可以看到是酱紫:

然后,要统计词频。到了这里,每个单词出现的频率是多少,需要统计出来。这个词频统计,我在R中找了一阵,没有找到合适的工具来统计,有人说lm可以统计,试了试不行。于是乎用了其他的软件。这方面的软件不少,大家可以找找,总之,统计出来是酱紫的:

最后,就是画成词云。R有工具可以画词云,当然互联网上有不少网站可以在线制作词云,做得也很漂亮,有兴趣可以去找找,我这里只谈R中的方法: 安装并装载画词云的工具包wordcloud: library(wordcloud) 读取已经统计好词频的文件: mydata<-read.table("已统计好词频的文本文件的完整路径",head=TRUE) 设置一个颜色系: mycolors <- brewer.pal(8,"Dark2") 画图: wordcloud(mydata$词汇,mydata$词频,random.order=FALSE,random.color=FALSE,colors=mycolors,family="myFont3") 然后就可以看到最上面的那个图了。

测试云图

补充说明: 1、安装rJava:需要先在电脑上下载安装JDK,即java devolop kit,然后再通过R从CRAN上选择安装rJava,否则,即使安装了rJava也用不了。前提是JDK必须先安装好; 2、安装Rwordseg,这个包不在CRAN上,所以不能在R中直接选择在线安装,需要用下面两种方式来安装,输入: ① install.packages("Rwordseg", repos = "http://R-Forge.R-project.org") ②(如果上面不能安装,则用下面的) install.packages("Rwordseg", repos = "http://R-Forge.R-project.org", type = "source")

 librar(rjava)
> library(Rwordseg)
> library(tm)
> 
segmentCN("C:/Users/admin/Desktop/测试文档.txt",returnType="tm")
Output 
file:  C:/Users/admin/Desktop/测试文档.segment.txt 
[1] TRUE
> 
library(wordcloud)
> 
mydata<-read.table("C:/Users/admin/Desktop/词频.txt",head=TRUE)
> 
wordcloud(mydata$词汇,mydata$词频,random.order=FALSE,random.color=FALSE,colors=mycolors,family="myFont3")

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序人生 阅读快乐

编译原理

《编译原理》作者Alfred V.Aho、Ravi Sethi和Jeffrey D.Ullman是世界著名的计算机 科学家,他们在计算机科学理论、数据库等很多领...

13820
来自专栏轮子工厂

蚂蚁金服Java研发工程师的春招面试经历 | 双非大佬教你如何成为offer收割机

首先,我的面试经历和一下面霸、收割机大佬相比,不是特别丰富,只是略有感悟,分享这几个月来的心路历程,也让后来者可以借鉴一下而已。

14520
来自专栏诸葛青云的专栏

如何用C语言画一个“心形”,程序猿眼中的浪漫值得拥有!

你以为C语言就是提供一种编译、处理低级存储器、产生少量的机器码以及不需要任何运行环境支持便能运行的编程语言吗?你以为C语言就只是以一个标准规格写出的C语言程序可...

1.1K10
来自专栏CSDN技术头条

Hacker曾经知晓的那些事

笔者想到现在年轻的Hacker们对ASCII表和那些奇怪的控制字符越来越陌生,不禁感慨万千。 这些知识原本是年轻Hacker们初出茅庐的第一课。然而世事变迁无常...

274100
来自专栏小白课代表

彻底摆脱二指禅!课代表带你练习正确的打字姿势!

还记得小学的时候,我们有一门微机课,大概就是教一下怎么开机关机,怎么打开软件,怎么打字之类的,印象最深的就是有一次,我们老师不让我们开机,让我们盯着键盘,盯着上...

50730
来自专栏杨建荣的学习笔记

go语言学习初体验

我们暂时先抛开go语言,咱们说下行业里近两年的哪些技术发展最火,毫无疑问是Docker和Kubernetes,没错,他们是go语言的顶级项目。

17020
来自专栏腾讯大讲堂的专栏

1024丨腾讯第一首程序员之歌【Code代码】

“发布总是在半夜 回滚是永远的愁”。 内存泄漏、深夜发布、需求变更,这些熟悉的词语和场景,相信对于每个程序员朋友来说,都有着独特的记忆和感触,在此谨祝全天下的程...

1.3K50
来自专栏我的博客

面试和笔试汇总

最近忙着找工作,也没有更新博客,今天一个朋友让我赶紧把博客更新下,说说最近的面试情况也可以好给他们一个参考,这就整理出来给大家分享~~ 笔试题目公开 get和p...

47860
来自专栏牛客网

【2018秋招iOS面试总结】(渣渣本科生)

本人是非985211学校,非计算机专业,技术一般,基础较差。 最开始秋招的时候,一线互联网基本上都投了,但是很多都被刷了,有的是刷了学校,有的是刷了四级(我四级...

41190
来自专栏牛客网

美团酒旅四面面经下面贴一下面经

结束了自己的秋招,收到美团的池子短信,一路过来真的感概良多,我属于弱鸡....到目前为止就拿了2个offer,之前面试各种笔试挂,面试挂,投了40家左右吧,本来...

35670

扫码关注云+社区

领取腾讯云代金券