前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >require(Rwordseg)分析案例展示(未去冠词以及无意义的词)

require(Rwordseg)分析案例展示(未去冠词以及无意义的词)

作者头像
学到老
发布2018-03-16 15:04:27
6880
发布2018-03-16 15:04:27
举报
文章被收录于专栏:深度学习之tensorflow实战篇

看网络上很多朋友都在用“Rwordseg”程序包进行分词练习。我也忍不住进行了一次实验。 首先,肯定是装程序包了,个人感觉是废话,纯凑字数。 如下是我进行的联系,在网上找了一篇关于范爷的专访,看看能看出来什么吧。 =========================================================================== #第一步,文本分词 require(Rwordseg) test<- readLines("E:\\FBB1.txt",encoding='UTF-8')    #读取数据 res = test[test != " "]   #读取test,且剔除test=“ ” words = unlist(lapply(X = res,FUN = segmentCN))   #分词,并调整表结构,将有相同词频的词归类 word = lapply(X = words,FUN = strsplit," ")    #给每个词根据顺序赋个顺序指 v = table(unlist(word))    #重建表 v = sort(v,deceasing=T)    #降序排列 v[1:100] head(v)    #给每列字段赋标题 d = data.frame(word = names(v),freq = v)    #更改标题 write.csv(d,"E:\\学习.csv",header = T)   #导出数据,为下一步做准备 #第二部,做文本云图 require(wordcloud) dd = tail(d,150)    #取数据框的最后150行数据 op = par(bg = "lightyellow")   #背景为亮黄色 #rainbowLevels = rainbow((dd$freq)/(max(dd$freq) - 10))   #不知道什么意义,删除后图形无太大变化 wordcloud(dd$word, dd$freq, col = rainbow(length(d$freq))) par(op) ===================================================================================== 成图

=========================================================================== 因为没有提出冠词等无意义的词语,所以可能也看不出来什么有意义的地方。大家权当一看。日后会有更深入的分析的。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档