超级课程表APP爬虫，大学生都这么玩
记得读大学时，看课程信息，查分数，看美女（嘘）都会使用超级课程表APP，当时这款APP非常火爆，今天，就带领大家回到大学，看看大学生都在干嘛？ 该文涉及内容：
- 爬虫简介
- 性别分布
- 高校分布
- 帖子时间
- 帖子词云
爬虫简介
这次爬虫和以往不同，利用fiddler抓包工具，爬取手机APP数据，爬取的内容为热门内容，总共只有150条，爬虫代码很乱，下次整理好再分享给大家。
数据分析
首先，我们看看数据情况。包括的字段有：
- 用户名
- 性别（0为女性）
- 学校
- 发帖时间
- 发帖内容
- 发帖标签
性别分布
统计性别分布，通过图可以看出，女生占大多数，毕竟小姐姐上热门更为简单，随便爆个照，卖个萌，阅读妥妥的。
data1 = df.groupby('gender')['gender'].count()
from pyecharts import Pie
attr = ['女生', '男生']
v1 = list(data1)
pie = Pie('用户性别分布')
pie.add("", attr, v1, is_label_show=True)
pie
高校分布
接着，我们看看哪些高校学生更喜欢玩超级课程表。由于数据量较少，代表性不够强，不过可以看出，师范类上榜更多，可能师范类小姐姐比较多吧。
data2 = df.groupby('schoolName')['schoolName'].count()
data2 = data2.sort_values(ascending=False)[:10]
from pyecharts import Bar
bar = Bar('所在学校排行')
attr = list(data2.index)
v2 = list(data2)
bar.add("", attr, v2,xaxis_interval=0,xaxis_rotate=20,xaxis_margin=8,is_label_show=True)
bar
帖子时间
再来看看学生都爱啥时候发帖。首先，我们把时间字段当做字符串处理u最好转换为时间序列），获取小时。 如图可以看出，除了凌晨过后到早上10点，其余时间都爱发帖（大学生普遍0点过后睡，早上也起的比较晚）。他们可以说是，上课发、下课发，白天发，晚上发，skr。
df['hour'] = df['datetime'].str.split(':').str[0].str.split(' ').str[1]
data3 = df['hour'].value_counts()
data3 = data3.sort_index()
from pyecharts import Line
attr = list(data3.index)
v = list(data3)
line = Line("帖子发布时间分布")
line.add("", attr, v)
line
帖子词云
最后，我们来看看，发帖的词云，这里只是上部分代码。 大概可以分为两派：
- 学习备考考研约图书馆
- 单身小哥哥小姐姐求脱单 如果你要问我doge是什么，可能就是屏幕前的你吧。
from pyecharts import WordCloud
wordcloud = WordCloud(width=800, height=620)
wordcloud.add("", label, attr, word_size_range=[20, 100])
wordcloud
讨论
- 数据不多，代表性可能不强
- 珍惜大学时光，不要做后悔之事
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2018.08.03 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录