西电睿思年度非官方关键字榜单

20150607.png

西电睿思

西电睿思，建立于2009年9月，是一个面向西安电子科技大学师生的以资源共享为主，包括论坛在内诸多功能的综合集娱乐、学习、资源交流的平台。名字取自“睿智善思”和“resource”的谐音，网站的宗旨是“永远不去谋求任何商业利益，只为西电人有一个高速下载的地方，有一个开心聊天交朋友的地方而努力”。

初衷

首先要说的是真的特别喜欢睿思，也特别喜欢它的宗旨！“永远不去谋求任何商业利益，只为西电人有一个高速下载的地方，有一个开心聊天交朋友的地方而努力”。睿思背后的技术团队一定是伟大，灿烂的！技术也是有温度的！

之前写了一个简单的爬虫登录睿思领金币（其实我也没怎么领，因为金币够用。[偷笑][偷笑]）。就有一个想法，希望年底能对睿思做一个报告分析,特别好奇西电er在学习磕盐之余关心什么。

本来的计划是爬取睿思全站的信息，后来因为种种事情忙的不可开交，只对西电睿思灌水专区、相聚睿思板块的发帖人、帖子标题。帖子内容进行了采集。当然，采集的时长和网速都有控制，不会对睿思服务器造成影响的~(采集过程中出了好多幺蛾子！xue微的用了人工“断点采集”……)

text2.gif

数据库.gif

采集内容统计

板块：西电睿思灌水专区  
时间段： 2017-12-18~2016-10-7  
有效帖子数：24940  
字数：4102465

板块：相聚睿思  
时间段： 2017-12-19~2010-11-24   
有效帖子数：2618  
字数：439649

帖子总计：27558  
字数总计：4130023

灌水专区关键字榜单

对采集的信息首先进行了结巴分词，然后做了词频统计。使用了停用表过滤（就是过滤嗯、啊、的这些没意思的词语），发现还是有很多BBS的用语，就自己又建立了一个过滤表，体现我个人倾向以及非官方的时候到了[哈哈]。得到以下排行：

水区ok.jpg

水区哦看看.jpg

“可以”

“可以”？什么可以？可以什么？ Are you ok ? 可以可以，很可以。我电孩纸们难道很佛系？ 当然，也希望大家可以一直可以下去，2018年里一直可以!一直ok下去！

“他” “她”

“他”的次数出现了3280次。“她”的次数出现了1739次。

本来以为“食堂”（580）、“餐厅”（249）、“空调”（359）会上榜。看到这个榜单，其实还是比较符合睿思上的情况的。“工作”、“毕业”、“手机”、“研究生”、“流量”、“宿舍”等等，就是我们日常的日常啊。

缘聚睿思关键字榜单

缘34.jpg

缘.jpg

“老乡”

缘聚睿思的板块，采集的数据比较久远。“老乡”一共出现了734次。看来大家还是喜欢找一个老乡或者喜欢给老乡找一个。“可以”又出现了，到底什么可以呢？？？希望一切都可以吧。

“妹子”

“妹子”出现排行第三，不知道怎么解释了。[尴尬]

“身高”

我觉得这个可能是最有意义的了，到底睿思的标准是不是173？？刚刚写了个正则，发现还是不能很好的匹配出好的结果。（然而我要去忙了，后面再做分析吧）

（updating） ~~~

问题集合

遇到的问题:捕获异常、重复处理、网络异常502,504，数据库数据类型错误