干货|Bilibili (B站)200万用户数据爬取与分析

该爬虫仅供学习使用

  1. B站用户爬虫
  2. B站视频爬虫
  3. B站弹幕下载器

文件介绍

  • bilibili_user.py:爬虫文件
  • bilibili_user_info.sql:数据库文件
  • get_face.py:用户头像下载器

基本概况

  • 总数据数:20119918
  • 抓取用户的顺序为其注册时间顺序:2009-06-24 14:06:54 至 2016-02-18 21:04:52
  • 预估遗漏数据:不超过 2%
  • 抓取字段:用户 id,昵称,性别,头像,等级,经验值,粉丝数,生日,地址,注册时间,签名,等级与经验值等。

性别

  • 有效数据:14643019
  • 保密:11621898
  • 男:1674196
  • 女:1346925

这个男女比例是有点出乎个人预料的,接近 1:1。其实之前初步抓了 2013 年暑假之前的数据,男女比例当时还在 3:1 这样。

可见明确性别的群体还是比较少的,只占了总数据的 15% 左右。

更多的分析日后再做。

年龄
  • 统计范围:1970-2010(1980 年除外)
  • 总数据:3800767

具体数据不放了,简单看一下统计结果吧。

主要用户分布在 93-00 年的用户(大概 16-23 周岁),其中 97 年(19 岁)用户占了绝对的主导地位。

事实证明,B 站小学生并不多,而是高中生、大学生比较多。

90 后用户占主体,但是用户年龄段正在不断后移。毕竟,是一个年轻人的网站。

地区
  • 分析范围:国内 34 个省市及地区。
  • 有效数据:863541

主要用户分布在:广东、江苏、北京、上海、浙江等地区。都是一些经济很发达的沿海地区。

注册时间
  • 统计时间:2009-06-24 14:06:54 至 2016-02-18 21:04:52
  • 总数据:20119823

由于 16 年才过去 2 个多月,所以少一点,不过可以预见其发展必将远超 2015 年。自 2009 年开站以来,每年用户几乎都是以指数级增长。

活跃度统计
  • 等级范围:0 – 6
  • 总数据:20119918
  • 截止时间:2016-02-18

由于 B 站有经验等级规则,用户的活跃度可以依据等级判断。

等级为 0,就是只注册未登陆过的用户。等级为 1 或 2,为非活跃用户。等级为 3 以上,就是活跃用户。其中等级为 5 或 6 的,为投稿数特别特别多、视频特别火爆的用户,为 B 站的主干用户(约 5000 人)。

关于留存率等数据,日后再统计分析。

粉丝统计

  • 有效数据:2011918
  • 范围:0 – 988323
  • 截止时间:2016-02-18 21:04:52

哎 – -,我也是有 2 个粉丝的人!

以下是 B 站 TOP20 用户。很多人都非常的眼熟哈。

来源:数据挖掘入门与实战

原文发布于微信公众号 - 灯塔大数据(DTbigdata)

原文发表时间:2017-05-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据钻研

稀土

致每一位加入稀土团队的你,我们到底在为怎样的一群人服务? 每一个公司、每一个产品都有它创立的意义,这篇文章只是希望帮助加入稀土的你们了解我们是一个怎样的公司,在...

32150
来自专栏用户1191492的专栏

什么是个人云

试想在一个没有窗户且很普通的房间,里面放满了金属机器,这些机器用彩色的电线连在一起,灯光打在机器上。你会怎么描述这样的场景呢?应该不会用云来形容吧...

284100
来自专栏CSDN技术头条

AppStore世界级的大规模下架App,中国一天下架超两万,开发者何去何从?

据前瞻网6月21日报道,不久之前,苹果向中国开发者提出两项措施,即强制收取打赏抽成30%和禁止使用热更新。这两项措施也在国内引起了众多的讨论,甚至有媒体将这起事...

22090
来自专栏云计算D1net

微软与甲骨文就Azure展开合作

微软已经正式向Azure平台上的甲骨文用户发出通告,宣布今年3月12号开始甲骨文服务项目将开始正式收费。 2013年6月,两家软件技术巨头就云合作协议达成了一致...

38490
来自专栏华章科技

互联网人群画像和你所不知道的真相

作为新时代互联网营销的关键部分,人群画像引起了诸多兴趣,近年颇为风靡。几乎所有的互联网广告供应商都不约而同的强调,他们有足够精确的人群画像数据,确保能够找到广告...

18420
来自专栏云计算D1net

采用混合云策略时机已到的几大征兆

云的吸引力正在不断增加,但公有云提出了安全性方面的担忧。了解为什么混合云策略可以为业务发展带来更多的好处。 如果你和大部分的数据存储专业人士一样,你很可能面对的...

30950
来自专栏大数据挖掘DT机器学习

Bilibili (B站)200万用户数据爬取与分析(附源码)

该爬虫仅供学习使用 B站用户爬虫 B站视频爬虫 B站弹幕下载器 文件介绍 bilibili_user.py:爬虫文件 bilibili_user_inf...

58440
来自专栏CSDN技术头条

免费拿走我的代码可以,但请对使用我的时间付费

编者按:秉持“开放、共享、解惑”的开源项目意味着任何人都能随便使用项目或产品中的代码,但开源并不意味着“拿来主义”,更不应发生“ 00 后 CEO 抄袭了程序员...

21580
来自专栏Java架构沉思录

码农如何长期保持行业内的竞争力?

昨天就有陌陌,斗鱼等招聘不要33岁以上的开发,招聘JD中直接说明不要!有人也羡慕国外的码农,说美帝领先几十年,人家50岁的大叔还在编码。结果马上就被一篇报道打脸...

14520
来自专栏人称T客

烧钱的Slack,面对巨头入侵是继续“玩火自焚”还是“浴火重生”?

T客汇官网:tikehui.com 撰文 | 窦悦怡 ? 很多人认为 Slack是一个烧钱的公司,迟早会把自己给烧死,也有人认为Slack是最伟大的烧钱公司。...

597100

扫码关注云+社区

领取腾讯云代金券