如何快速爬取B站全站视频信息

專 欄

陈键冬,Python中文社区专栏作者,知乎专栏:尽瞎扯

GitHub:

https://github.com/chenjiandongx

B站我想大家都熟悉吧,其实 B 站的爬虫网上一搜一大堆。不过纸上得来终觉浅,绝知此事要躬行,我码故我在。最终爬取到数据总量为 760万 条。

准备工作

首先打开 B 站,随便在首页找一个视频点击进去。常规操作,打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息,不去解析网页,解析网页的速度太慢了而且容易被封 ip。

勾选 JS 选项,F5 刷新

找到了 api 的地址

复制下来,去除没必要的内容,得到https://api.bilibili.com/x/web-interface/archive/stat?aid=15906633 ,用浏览器打开,会得到如下的 json 数据

动手写码

好了,到这里代码就可以码起来了,通过 request 不断的迭代获取数据,为了让爬虫更高效,可以利用多线程。

核心代码

迭代爬取

整个项目的最主要部分的代码也就是 20 行左右,挺简洁的。

运行的效果大概是这样的,数字是已经已经爬取了多少条链接,其实完全可以在一天或者两天内就把全站信息爬完的。

至于爬取后要怎么处理就看自己爱好了,我是先保存为 csv 文件,然后再汇总插入到数据库。

数据库表

由于这些内容是我在几个月前爬取的,所以数据其实有些滞后了。

数据总量

查询播放量前十的视频

查询回复量前十的视频

各种花样查询任君选择!!视频的链接为https://www.bilibili.com/video/av + v_aid 详细代码请移步至 bili.py,项目地址:chenjiandongx/bili-spider 欢迎围观

原文发布于微信公众号 - Python中文社区(python-china)

原文发表时间:2017-11-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程一生

实现一个自己的搜索引擎的初始规划

1824
来自专栏网络

Uber开山基石:如何从无到有设计系统架构?

欢迎回看本文原始视频 http://t.cn/RjSC0KQ 本篇为Uber系列技术文章第一篇 今天我们解读的是Uber公司的Curis所分享的Uber架构从0...

32610
来自专栏lulianqi

网络并发 测试准备_1

谈到服务器的并行处理能力,人们总是会很容易想到TPS等数据指标,当然得利于前人的许多工具我们可以通过十分简单的步骤得出这些数据,然后输出一份十分养眼的报告。不得...

2151
来自专栏FreeBuf

如何用kwetza给安卓应用加后门

*本文仅供安全学习、测试或信息安全教学用途,禁止非法使用 简介 这篇文章将会描述一种在Android可执行文件中种后门的方法。在接下来的动手操作部分,我将使用到...

2809
来自专栏程序员宝库

后端好书阅读与推荐(续四)

这里依然记录一下每本书的亮点与自己读书心得和体会,分享并求拍砖。 Docker生产环境实践指南 Docker生产环境实践指南 (豆瓣:https://book....

5006
来自专栏老九学堂

这 7 大笔记应用,让程序员的的代码效率翻 7 倍!

Boostnote 是为编码器设计的笔记应用典范。它虽然不具备现代笔记应用的所有功能(例如,它具有 Markdown 格式和基于文件夹的组织功能,但缺少可自定义...

8331
来自专栏开源项目

那些优秀的网络爬虫工具介绍,最后亮了!| 码云周刊第 16 期

技术干货 1、SpringMVC 执行流程及源码解析 2、使用 Vue2 和 Yii2 进行前后端分离开发 3、 SSM (十一) 基于 dubbo 的分布式架...

60310
来自专栏蘑菇先生的技术笔记

给公司部门设计的SOA架构

2186
来自专栏喵了个咪的博客空间

Goalng软件包推荐

前言 哈喽大家好呀! 马上要迎来狗年了大家是不是已经怀着过年的心情了呢? 今天笔者给大家带来了一份礼物, Goalng的软件包推荐, 主要总结了一下在go语言中...

4164
来自专栏jessetalks

前后端分离开发模式下后端质量的保证 —— 单元测试

概述   在今天, 前后端分离已经是首选的一个开发模式。这对于后端团队来说其实是一个好消息,减轻任务并且更专注。在测试方面,就更加依赖于单元测试对于API以及后...

37910

扫码关注云+社区

领取腾讯云代金券