Python爬取哔哩哔哩实时直播弹幕

專 欄

作者:麦艳涛,挖掘机小王子,数据分析爱好者。

用Python爬取哔哩哔哩直播弹幕,关键在于找到哔哩哔哩网站的一个POST网址,和应该POST的数据。代码不长,十分简单。关键在于浏览器开发者工具的使用。希望对于新入门的萌新有一定的借鉴意义。

1、找到POST的网址

先找到一个直播间,点击进去【感觉是废话】。

打开开发者工具【F12】,差不多是这样。

然后刷新【F5】,并点击方法翻到最上面,或者最下面,在这里可能会弹出两三个POST数据【如下图所示】,不要管有几个POST格式的文件,找到下图中标记的哪一个!!

这个文件就包含了我们需要的弹幕。但是,我们需要向服务器提交一下数据,服务器才会返还给我们数据,也就是弹幕。所以在上图的基础上点击右下角的参数。点击后如下图:

在这里会出现三个我们需要提交的数据【注意,我在写这篇文章之前是只需要提交两个数据的】,不过没关系提交三个应该也可以。但是下面的代码里面写的是两个参数,你可以照着我的参数格式直接再加一个就行。最后就是用requests提交参数就行,返回的网页用json方法解析一下就可以很方便的提取了,不用写正则。代码比较少,而且也有注释,所以就不在这里啰嗦了。

2、Python代码

原文发布于微信公众号 - Python中文社区(python-china)

原文发表时间:2017-11-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏用户2442861的专栏

Nginx工作原理和优化、漏洞。

http://blog.csdn.net/hguisu/article/details/8930668 (排名100多bolg写的很好)

1.6K20
来自专栏信安之路

这些命令你用过多少?

在拿到一个 webshell 之后,大家首先会想到去把自己的权限提升到最高,windows 我们会提升到 SYSTEM 权限,而 Linux 我们会提升到 ro...

9610
来自专栏听雨堂

浏览器缓存问题的解决

web网站修改后,在浏览器端缓存的内容,将极其严重的影响效果,用户根本看不到改版的内容。这个问题,困扰我已久。 iis时代,我好像还没有太多的印象,新网站只要把...

23970
来自专栏北京马哥教育

linux服务器安全配置实例(二)用户账户权限配置

豌豆贴心提醒,本文阅读时间7分钟 没有绝对的安全 在上一篇文章《linux服务器安全配置实例(一)》中介绍了我对ssh服务的一些常用的安全配置和性能优化。 ...

54550
来自专栏JMCui

Hybris安装和各个Extention简单介绍

前言:突然想好好梳理一下这几个月所学的内容了,顺便让自己的知识有一个系统的框架。这种安装仅仅适用于开发环境,不适于生产环境。 一、  安装JDK 请安装最新的O...

559110
来自专栏程序员同行者

centos7安装python的MySQLdb模块

14520
来自专栏小勇DW3

线上测试环境搭建过程记录

3.安装完以后  会在 /usr/java/latest 下有对应的 jdk 版本

25710
来自专栏蜉蝣禅修之道

ssh隧道与代理

41840
来自专栏二进制文集

Git 30分钟简明教程

1991年,Linus创建了开源的Linux,世界各地的志愿者为Linux编写代码,但是绝大多数的内核维护工作,都花费在提交补丁和保存档案的繁琐事务上。这期间所...

10530
来自专栏安全领域

使用JavaScript开发物联网设备也会非常安全

本文将引导你完成一个练习,向你展示如何在 IoTivity 安全框架上使用 Java 对 OCF 设备进行快速原型设计。

526100

扫码关注云+社区

领取腾讯云代金券