Python告诉你:单词软件火了,但真的有那么多人在背单词吗?

0x00 前言

你想知道背单词软件有大概多少人注册第一天都没有背完嘛?

你想知道背单词软件这么火,这么多人在使用,真的有多少人真的在背诵嘛?

别急,Python程序员用数据给你说话.

文章目录如下:

0x00 前言

0x01 问题的提出和任务的分解0x02 任务一,信息爬取ox03 任务二,清理和存储0x04 任务三,分析0x05 任务四,结论0x06 整个流程的不足和反思.0x07 代码.

0x01 问题的提出和任务的分解

前两天,就在一个雷电交加的夜晚,我躺在床上,草草的看了一篇英文文章,突然想到一个非常有意思的问题:

是不是大部分的人做事真的不能坚持呢?比如,背单词。

好,那我就看看到底有多少人是坚持不下来的?

那么,我们的问题就变成了这样子:

  • 有多少人是在坚持或者曾经坚持过背单词呢?(假设100天以上算的上是背单词的话)
  • 有多少梦想,毁于不能坚持?
  • 背单词的人们学习的量,是不是符合正态分布呢?

于是我选中了业内的标杆扇贝软件作为分析的对象。抽取其中的大约1/30的用户的公开数据,也就是游客用户都可以看得到的数据,进行抽样调查.

调查的具体内容如下:

  • 打卡最高/成长值最高/学习单词数量最高
  • 平均每个人打卡次数/成长值/学习单词数量
  • 打卡/成长值/学习单词数量的分布(也就是已经坚持了多少天了)

那么,我的任务也就可以分解如下:

  • 爬取数据

使用Python2的Scrapy进行爬站

  • 清理数据

sql语句和pandas运算

  • 分析数据

pandas + seaborn + ipython book

  • 得出结论

0x02 任务一,信息爬取,清理和存储

每个用户的信息都在这里:

http://www.shanbay.com/bdc/review/progress/2

使用beautifulsoup4 进行解析即可.其他部分参考代码(代码链接见下文,编者注)。

扇贝的工程师反爬虫做的还不错,主要有两点:

  • 访问数量超标,封禁IP半个小时.对应的方法就是代理服务器.(代码中已经删除代理服务器,所以,如果你运行不了代码,那你应该知道怎么做了.)
  • cookie如果不禁用很快就无法爬取.对应的方法就是禁用Cookie.

0x03 任务二,清理和存储

对于数据库,使用Postgresql存储就好了.也没有什么大问题.参考代码.有问题在评论下面问.

通常情况下在存入数据库的时候需要进行数据的净化,不处理也没有什么大问题.

0x04 任务三,分析

分析阶段,使用IPython notebook. 通常情况下,我们使用的是Anaconda里面的Python3版本 .可以到这里下载,注意,mac和ubuntu下载的是命令行版本.

https://www.continuum.io/downloads

安装完毕以后,重启终端.环境变量生效.

切换到指定目录然后敲入命令ipython notebook打开浏览器进行编辑.

至于怎么使用,请看代码(代码链接见下文,编者注)。

0x05 任务三,结论

在这里省去部分的分析过程直接贴出结论.

总共抓取1111111张网页,成功获取610888个用户的信息.

于是得出结论如下:

扇贝之最:

  • 最高打卡天数: chainyu 1830天
  • 最高成长值: Lerystal 成长值 28767
  • 最高单词数量: chenmaoboss 单词量 38313

平均到每一个人身上

  • 平均每人打卡天数: 14.18,而超过成长平均值的人数为71342,占总抽样人数的,额,11.69%
  • 平均成长值: 121.79,而超过平均成长的人数为13351,占总抽样人数的,额,11.42%
  • 平均学习单词数量: 78.92,而背超过平均单词的人数为13351,占总抽样人数的,额,2.19%(注意,真的是2%左右)

那么,我们来看看打卡,成长值,单词数量的,分布吧.

第一个,所有人的打卡数量直方图.

这是所有人的打卡数量直方图

简直惨不忍睹.

第二个,非零用户的打卡数量直方图.

非零用户的打卡数量的直方图

这真是一段悲伤的故事.由于坚持不了几天的用户实在是太多,简直就是反比例函数嘛,导致图像严重畸形.那么,我们只能分段了看用户打卡天数在0~20,20~100,100~500,500~2000范围的分布图了.

分别如下:

0~20

20~100

100~500

500~2000

其他成长值的各种分布也是如此,在此就不贴出来了.

正如你所看到的,我再来总结一下,

在抽样中,

英语梦死在前0天的有416351人,占总比68.15%;英语梦死在前1天的有466761人,占总比76.40%;英语梦死在前2天的有484535人,占总比79.31%;英语梦死在前5天的有510230人,占总比83.52%;英语梦死在前10天的有531219人,占总比86.95%;英语梦死在前20天的有551557人,占总比90.28%;英语梦死在前50天的有575975人,占总比的94.28%;英语梦死在前100天的有590700人,占总比96.69%;英语梦死在前200天的有575975人,占总比98.36%;英语梦死在前263天的有600875人,占总比98.81%;

你可以大致感受到残酷的现实,几乎没有多少人可以坚持到200天以后.

但是,你还需要注意到的事情是:

抽样的来源是ID为1~1111111之间的60W成员

众所周知的事情是:

  • 早期的用户往往质量相对会高一些.而且,注册的ID越大,证明注册时间距离现在越近.获得200天的几率也就低了不少.

那么,这样的话,英语梦死在200天之前的人数比例还会大上不少.

回到文章开始:

问: 背单词软件有大概多少人注册第一天都没有背完嘛?

答:68.15%

问:有多少人是在坚持或者曾经坚持过背单词呢?(假设100天以上算的上是背单词的话)

答:保守估计,不足3.4%

问:有多少梦想,毁于不能坚持?

答:不妨干了这碗鸡汤,歌唱青春一去不复返.

问:背单词的人们学习的量,是不是符合正太分布呢?

答:不是,简直就是反比例函数.

抛出一个结论:

以绝大部分人努力之低,根本就用不着拼天赋.

赠给你我,共勉.

0x06 整个流程的不足和反思

扇贝的工程师反爬虫做的还不错,主要有两点:

  • 访问数量超标,封禁IP半个小时.对应的方法就是代理服务器.
  • cookie如果不禁用很快就无法爬取.对应的方法就是禁用Cookie.
  • 爬虫框架使用Scrapy,这样就免去了大量的繁琐的线程调度问题,直接写获取信息的逻辑代码,以及存储信息的逻辑代码就好了.

在编写爬虫的过程中,有一些经验:

  • 在爬虫开启以后,由于我暴力的关闭,导致还是有不少的item没有完成请求处理和存储.
  • 我在处理异常的时候忘了应当把失败的item存放放在文件中,方便我第二次补充,这样的话就不会丢失一部分的用户信息了.
  • 代理服务器需要自己写脚本进行测试,否则你可能有很多很多的请求都会超时(毕竟很多代理服务器还是很不靠谱的).

我的分析数据能力并不是很强,仅仅是从CS109里面偷学了一点点,然后使用Seaborn画图,但是这整个过程中还是觉得自己分析不过来,不是写不出代码,而是不清楚使用什么样的数据模型进行分析更好.

0x07 代码

代码放在了Github上面,咳咳,注意,没有把代理服务器放进去.如果你跑一下会发现只能半小时抓取300+页面,这不是我的问题,是你没有把代理服务器填好.代码比较粗糙,还请轻拍.

代码的地址为:

https://github.com/twocucao/DataScience/

仓库里包含了抓取网站的代码和分析数据的IPython Notebook,自己阅读吧.

原文链接:http://www.jianshu.com/p/b57e55cb5941#

本文分享自微信公众号 - CDA数据分析师(cdacdacda)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-07-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程

Instagram 开源用于 Python 3的MonkeyType 工具

Instagram 宣布将其 MonkeyType 工具开源。它是通过运行时跟踪类型自动将类型注释添加到您的 Python 3 代码的工具。 授权协议:BSD ...

20290
来自专栏企鹅号快讯

Python3与OpenCV3.3 图像处理(一)-环境搭建与简单DEMO

一、所需软件 本教程需要一下软件: PyCharm 2017.2.3 (其他版本也可) OpenCV 3.3 Python 3 Windows 7以上版本 二...

36780
来自专栏企鹅号快讯

Pycharm使用技巧总结

pycharm是我经常使用的python IDE,补全功能、代码格式化等非常好用, 最近整理一下经常用的小技巧。 配置灰色主题 菜单栏File Settins...

73870
来自专栏编程

Python读书笔记5

上期分享了Python相关的字符串应用,重点分享了转义字符。今天和大家分享和字符串相关的函数和应用。 一、字符串的合并! Python用“+”号可以连接两个文本...

23670
来自专栏企鹅号快讯

别@微信团队了,我用Python给自己戴上了圣诞帽!

引言 大家纷纷@官方微信 给自己的头像加上一顶圣诞帽。当然这种事情用很多P图软件都可以做到。但是作为一个学习图像处理的技术人,还是觉得我们有必要写一个程序来做这...

229100
来自专栏散尽浮华

分享一个刷网页PV的python小脚本

学习Python之余,分享一个用来刷网页PV的Python小脚本..... [root@huanqiu ~]# cat www.py #!/usr/bin/p...

36290
来自专栏企鹅号快讯

值得关注的5个Python开源项目

Python领域优秀的开源软件层出不穷。关注一个好的开源软件,对一个开发者来说可以带来很多益处。或者你可以很好地运用这个开源软件,成为它的一个用户;或者你可以阅...

63670
来自专栏人工智能

TensorFlow核心使用要点

正文之前,小梦先来说说什么是TensorFlow。TensorFlow是谷歌研发的第二代人工智能学习系统,可被用于语音识别或图像识别等多项机器深度学 习领域。T...

25670
来自专栏编程

10x Python开发者必读:本月Python文章TOP 10

翻译 | AI科技大本营 参与 | 刘畅 编辑 | Donna 【AI科技大本营导语】Medium热门博客Mybridge AI例行评出本月10篇有助于提升你职...

25670
来自专栏企鹅号快讯

python基础

学习前准备,了解 基础环境部署,工作原理,发展和历史 pycharm,notepad++等工具 交互模式 命令行模式 废话不多说,直接上分 第一个脚本 打印 l...

23050

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励