首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

今天给大家带来了python抓取b站小视频的下载

首先打开小视频 的网页

url = http://vc.bilibili.com/p/eden/rank#/?tab=%E5%85%A8%E9%83%A8

然后我们来分析下url:

点击排行榜,默认全部显示,往下拉滚动条,发现网页是动态加载的,然后我们打开审查元素(快捷键F12),这里我用的是火狐浏览器,先清空然后往下拉进度条,就出来了动态加载的所有信息:

找到下图所示的内容

这个就是动态加载的内容,我们点击它,看下它有些什么东西

响应里面,可以看到是json格式保存的内容,包括视频的简介,视频url等等,而这些就是我们今天的目标了!

我们先来获取消息头里面的真实网址!

观察规律找到翻页的控制参数和请求模式,next_offset=后面控制视频的加载,以10的倍数翻页,请求模式为get

我们可以开始写代码了!

首先导入模块,我们今天要用到的模块很少

import requests, time, random,re

这几个模块都可以用pip来安装,cmd下输入命令:pip install 库名

其中用time和random模块是用于爬取内容时的时间间隔,re模块是用于修正文件名的函数

好了,先写个获取源码的函数

头部信息在消息头里面的请求头,大家自行修改为自己的就好!

我们要依次保存mp4格式的视频文件,这里提供给大家一个小函数,用于剔除文件名中的不规范符号,用了re模块!

这里说明下,这段代码是在网上找的,懒的敲了

先来获取每次加载的url,注意第一次加载的url和后面加载的不一致,用if函数。

分析整个页面发现,排行榜只有100个视频,10个一批加载,所以直接写入循环,然后用json方式获取我们需要的内容即可,非常简单的一个爬虫。

完整代码和运行结果奉上!

需要注意的是在下载视频文件的时候,需要加入头部信息,不然下载不了的!

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180214A0FG1R00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券