手把手教你完成一个数据科学小项目(1):数据爬取

前言

请先阅读“中国年轻人正带领国家走向危机”,这锅背是不背? 一文,以对“手把手教你完成一个数据科学小项目”系列有个全局性的了解。

本系列将全面涉及本项目从爬虫、数据提取与准备、数据异常发现与清洗、分析与可视化等细节,并将代码统一开源在GitHub:DesertsX/gulius-projects ,感兴趣的朋友可以先行 star 哈。

爬虫

抓包一下,你就知道

在新的页面处,点击“点击加载更多”就可以一直加载出评论数据:

接着在页面处鼠标右键后选“审查元素”,按照下图(一般新窗口出现在下方,这里为了挡后面的广告,移到了右边)的顺序,点击 "netword" >> 点"All" >> 多次点击加载评论>>观察4中重复加载的内容,并结合5中“previw”,确定下前者就是爬虫入口的 url,后者就是加载出的评论数据:

以上是网页端抓包的一般流程,接下来看看5边上“headers”里的:

对比下多次加载评论后其他的 Request URL,可以看出变化的参数仅为和。

前者 就是加载的页数,用总评论数除以每次加载的20条,算下即可。后者 初看起来像是随机数,但有些经验的应该能猜到是时间戳,结合参数里的 猜想是评论开始加载的13位时间戳与结束时间戳的后8位:

其实前一个项目当你点开这首《八月》的歌:9400余条评论的分析与挖掘 里就遇到了13位时间戳的问题,因为以前碰到的都是10位的,所以也注意了下。

将参数里的数字转换成正常的时间格式后,能看到与当下加载评论的时刻相近,就可以确认上述判断无误;而后面8的时间戳采用随机构造即可。

接下来,开始爬取所有评论前,测试下爬虫能否正常获取数据,打印一两页看看:

构造 url,并用 requests 库发送 get 请求,发现不用带其它参数,就能拿到数据,异常轻松。注意:这里的数据也就是上文标记为5的“previews”里的内容。

这里截取掉前34个字符,拿到干净的字典样格式的字符串,方便后续操作和提取数据:

然后重新发送请求,提取并打印部分评论数据:

罗列下前3条的输出:

0 用户957zwswd 2018-08-08 14:21:26 这是什么沙雕 浙江嘉兴

1尾尾2018-08-08 14:21:25 有啊,税制改革了,有学生、老人的家庭有税收优惠,也就意味着,单身要交更多的税了。 宁夏银川

2 可乐味的我想和你天下第一好 2018-08-08 14:21:24 那叫探索,叫探索时的必经之路[作揖] 河南洛阳

爬虫走你~

经过上述探索,确认能获取到数据后,就可以开爬了,代码不难,新手朋友可以试着自己完成:

小结

爬取到数据后,就可以“为所欲为”的进行花式分析了(好吧,其实还需要进一步处理下)。大家可以读取数据,看看每行每列的格式是什么样的。

这里说明下,爬虫里是先按照每页20条评论的字典或列表的格式整体存储的,那么随之而来的问题就是,如何根据这些列来提取出每一条评论的数据,并存储到新的里呢?

可自行尝试下如何用 pandas 实现哈。更多内容将在本系列后续文章中逐步展开。本系列涉及的从爬虫、数据提取与准备、数据异常发现与清洗、分析与可视化等的代码,统一开源在GitHub:DesertsX/gulius-projects,感兴趣的朋友可以先行 star 哈。

GitHub:DesertsX/gulius-projects

https://github.com/DesertsX/gulius-projects

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180815A005FP00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券