我用刚学完的 python 爬取下博客园隐藏的小秘密及各类排行榜附源码

接触博客园有不短的时间了，今天突然想到，我们博客园各位博友，一天中哪个时间段比较活跃？又有多少夜猫子在深更半夜，冒着“聪明绝顶”的风险熬夜码字看博文？首页所有博文中，哪个博友发布博文数量最多？又是哪个博友大范围“收割”阅读量和评论量？我们的各类排行榜中，谁能独占鳌头？

今天，博主就现学现卖，用刚学完基础知识的 python 爬取下博客园相关数据，给大家分享下咱们博客园那些隐藏的“小秘密”。

方案

想法出现了，怎么实现呢？

第一反应就是想获取各位博友的登录信息和访问记录。这些数据应该是最准确的统计了。

但是，不幸的是，博主把博客园翻了个“底朝天”，也没有找到哪些地方能获取到各位博友的登录信息和访问记录。

想想也是，这些相当于各位博友的私密信息了，怎么会公开呢？咱就不痴心妄想了。

爬不到登录信息和访问记录，还能用哪些数据呢？

博主想了下，咱们在博客园逛游，一般都会先去首页看下有没有什么有趣的技术或者人生经验分享，碰到感兴趣的还可以和博主聊聊，缓解下紧绷的神经。

那既然首页是多人访问的页面，我们统计首页博文的浏览量和评论量，应该也能在一定程度上反映出各位博友的活跃时间了。

于是，统计方案就定下来了：

获取首页博文的浏览量和评论量，按时段进行统计。

实现

目标：

获取首页博文的浏览量和评论量

爬取数据

这还不简单，哪怕博主我是刚学完基础知识，也知道 python 在爬取 html 元素方面是专业的。

一番折腾，终于按小时分段，获取到了第一页博文的浏览量和评论量：

第一页拿到了，离所有数据还远吗？

事实证明，真的挺远的、、、

当博主想拿第二页的数据时，很明显的可以看到第二页的地址是：

https://www.cnblogs.com/#p2

于是博主这样做了

看出来了吗？博主是直接将地址栏里的地址拼接上页码，想获取到对应页码的数据。

事实证明，还是太嫩了。运行了好几次，发现统计数据明显不对，获取到的第二页的数据明显不是浏览器显示的。

翻到第二页，看着页面元素，和第一页的一样啊，怎么爬到的数据就不对呢？

作为一个后端开发，马上就意识到，在后面的页码页，肯定有额外的 ajax 请求，获取对应数据，展示到页面。

翻到 network，果不其然。在非第一页的页面中，都会请求一个接口，获取指定页码的数据。原因找到了，赶紧修改请求地址和请求方式。

至此，首页博文的总浏览量、评论量以及发布数量已经按小时为区段进行汇总了。

存储数据

数据拿到了，下一步就是数据存储了。这里，我们选用最简单的 excel 表格存储，也就是将统计的数据导出到 excel 表格中，以供后续分析统计。

 这样，我们就将数据存储到 excel 表格中了。

分析数据

下一步就是数据分析。由于个人能力所限，这里先用 excel 表格进行相关的统计。

由于博客园只提供 200 页的数据量，最后的数据到 8 月 20 日左右，所以 9 月份和 10 月份的数据是比较完整的。但是考虑到 10 月份有十一假期的原因，以及当前时间距离十月份较近，所以最终取 9 月份的数据进行相关统计。

周数据

上图是 8.25-9.30 连续 5 周的数据统计，0 表示 周日。由图可以比较明显的看出一些趋势：

每周的前四天是博文发布数量较高的，后三天发布数量明显减少；

查看人数和评论人数的趋势较为相符，两者的比例在 208:1 左右，也就是说平均 208 个阅读里面才会 1 个评论。

这里博主比较不解的是，为什么会在每周一有一个阅读高峰期？难道刚休息完，周一的时候会更有动力看博文补补课？

天统计

上图是 9.3 - 9.6 按小时分段统计数据。可以看出：

博文发布一般集中在上午 8-10 点，下午的 16-18 点以及晚上的 20-22 点

看来各位博友晚上即使不加班的也会努力码字啊，抓住下班后的两小时，很棒的习惯诶，博主也要更加努力向各位博友看齐了。

最后，就是我们的重磅戏，各类排行榜。这里需要将时间分组修改为发布作者名称分组。

各类排行榜

以上排行榜数据时间段： 2018-08-21 09:24 至 2018-11-07 09:27 。

好了，园子的小秘密就分享到这里。有兴趣的博友可以发掘下其他的小秘密。注意不要恶意攻击噢！

源码地址：https://github.com/zibinli/python

喜欢就给个大拇指吧！

本文完~