只要网速够快，小视频看完一个删一个，任性！Python爬取小视频
只要网速够快，小视频看完一个删一个，任性！Python爬取小视频
松鼠爱吃饼干
发布于 2020-09-15 15:41:21
发布于 2020-09-15 15:41:21
前言
yy平台，直播界的先驱，有很多主播会把一些自己的直播精彩看点上传到该平台下的小视频栏目中
今天带大家爬取yy小视频栏目中所有的小视频
课程知识点：
1、动态数据抓包演示
2、json数据解析方法
3、视频数据保存
环境介绍：
python 3.6
pycharm
requests
爬虫的一般思路：
1、分析目标网页,确定爬取的url路径，headers参数
2、发送请求 -- requests 模拟浏览器发送请求，获取响应数据
3、解析数据
4、保存数据
导入工具
import requests
import re
import pprint分析目标网页,确定爬取的url路径，headers参数
url地址：
参数
url = 'https://api-tinyvideo-web.yy.com/home/tinyvideos?'
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36',
}
param = {
'data': '{"uid":0,"page":1,"pageSize":10}',
}
发送请求 -- requests 模拟浏览器发送请求，获取响应数据
response = requests.get(url=url, headers=headers, params=param)
data = response.json()
# print(data)解析数据
# 提取字段
data_list = data['data']['data']
# 循环遍历
for data1 in data_list:
resdesc = data1['resdesc'] + '.mp4' # 视频的题目
resurl = data1['resurl'] # 视频的url地址
# print(resdesc, resurl)
# new_title = change_title(resdesc)
video_data = requests.get(resurl, headers=headers).content
保存数据
with open('video\\' + resdesc, mode='wb') as f:
print('正在下载：', resdesc)
f.write(video_data)
运行代码，效果如下：
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2020-05-12，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
相关产品与服务
云直播
云直播（Cloud Streaming Services，CSS）为您提供极速、稳定、专业的云端直播处理服务，根据业务的不同直播场景需求，云直播提供了标准直播、快直播、云导播台三种服务，分别针对大规模实时观看、超低延时直播、便捷云端导播的场景，配合腾讯云视立方·直播 SDK，为您提供一站式的音视频直播解决方案。