腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

数据饕餮

专栏作者

217

文章

199276

阅读量

60

订阅数

R语言之中文分词：实例

数据分析大数据处理套件 TBDS 数据处理

#调入分词的库 library("rJava") library("Rwordseg") #调入绘制词云的库 library("RColorBrewer") library("wordcloud") #读入数据(特别注意，read.csv竟然可以读取txt的文本) myfile<-read.csv(file.choose(),header=FALSE) #预处理，这步可以将读入的文本转换为可以分词的字符，没有这步不能分词 myfile.res <- myfile[myfile!=" "] #分词，并将分词结果转换为向量 myfile.words <- unlist(lapply(X = myfile.res,FUN = segmentCN)) #剔除URL等各种不需要的字符，还需要删除什么特殊的字符可以依样画葫芦在下面增加gsub的语句 myfile.words <- gsub(pattern="http:[a-zA-Z\\/\\.0-9]+","",myfile.words) myfile.words <- gsub("\n","",myfile.words) myfile.words <- gsub("　","",myfile.words) #去掉停用词 data_stw=read.table(file=file.choose(),colClasses="character") stopwords_CN=c(NULL) for(i in 1:dim(data_stw)[1]){ stopwords_CN=c(stopwords_CN,data_stw[i,1]) } for(j in 1:length(stopwords_CN)){ myfile.words <- subset(myfile.words,myfile.words!=stopwords_CN[j]) } #过滤掉1个字的词 myfile.words <- subset(myfile.words, nchar(as.character(myfile.words))>1) #统计词频 myfile.freq <- table(unlist(myfile.words)) myfile.freq <- rev(sort(myfile.freq)) #myfile.freq <- data.frame(word=names(myfile.freq),freq=myfile.freq); #按词频过滤词，过滤掉只出现过一次的词，这里可以根据需要调整过滤的词频数 #特别提示：此处注意myfile.freq$Freq大小写 myfile.freq2=subset(myfile.freq, myfile.freq$Freq>=10) #绘制词云 #设置一个颜色系： mycolors <- brewer.pal(8,"Dark2") #设置字体 windowsFonts(myFont=windowsFont("微软雅黑")) #画图 wordcloud(myfile.freq2$word,myfile.freq2$Freq,min.freq=10,max.words=Inf,random.order=FALSE, random.color=FALSE,colors=mycolors,family="myFont")

2019-01-14

7850

胖子哥的大数据之路（三）- 数据仓库的需求分析该怎么做

大数据数据处理数据可视化

　　基于大数据技术构建数据仓库平台，源于大数据技术本身的不成熟和普及度问题，以及辅助工具的缺失，注定了其实施过程与传统数据仓库的差异性，和更大的实施难度。本文针对大数据技术应用与数据仓库类项目需求分析阶段，需要完成的主要工作基于用户需求分析说明书的文档结构进行目录式展现。如需了解更深层的细节，可以做专项技术交流和咨询服务。

2019-01-14

7630

胖子哥的大数据之路（三）- 大数据仓库的需求分析该怎么做

大数据数据处理数据可视化

　　基于大数据技术构建数据仓库平台，源于大数据技术本身的不成熟和普及度问题，以及辅助工具的缺失，注定了其实施过程与传统数据仓库的差异性，和更大的实施难度。本文针对大数据技术应用与数据仓库类项目需求分析阶段，需要完成的主要工作基于用户需求分析说明书的文档结构进行目录式展现。如需了解更深层的细节，可以做专项技术交流和咨询服务。

2019-01-14

5380

Redis内存数据库操作命令详解

大数据处理套件 TBDS 数据处理

rename(oldname, newname)：将key由oldname重命名为newname，若newname存在则删除newname表示的key

2019-01-14

5100

Hadoop专业解决方案之构建Hadoop企业级应用

存储 hadoop 大数据数据处理

　大数据面对挑战是你必须重新思考构建数据分析应用的方式。传统方式的应用构建是基于数据存储在不支持大数据处理的基础之上。这主要是因为一下原因：

2019-01-14

4730

大数据应用之双色球算奖平台总体设计大纲篇一

编程算法数据分析数据处理开源存储

　　福利彩票走进百姓生活，每期的500w大奖吸引了千万彩民的眼球和关注，备受争议的双色球延期开奖也成了争议的焦点，成为继12306之后，又一个站在风口浪尖的悲催儿。黑幕说，红会说，各种说甚嚣尘上。IT人只做技术事，至于类似美美卡里究竟几个零，一套内衣值几多银子的问题，还是交给干爹们去撕扯吧。当然福彩中心是不是红会，还是交给时间来证明吧。

2019-01-14

1.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态