快手短视频爬取经验分享

作者：冰蓝的天空

原文：http://www.cnblogs.com/binglansky/p/8483096.html

环境： python 2.7 + win10

工具：fiddler postman 安卓模拟器

首先，打开fiddler，fiddler作为http/https 抓包神器，这里就不多介绍。 配置允许https

配置允许远程连接 也就是打开http代理

电脑ip: 192.168.1.110 然后 确保手机和电脑是在一个局域网下，可以通信。由于我这边没有安卓手机，就用了安卓模拟器代替，效果一样的。打开手机浏览器，输入192.168.1.110:8888，也就是设置的代理地址，安装证书之后才能抓包

安装证书之后，在WiFi设置 修改网络 手动指定http代理

保存后就可以了，fiddler就可以抓到app的数据了，打开快手 刷新，可以看到有很多http请求进来，一般接口地址之类的很明显的，可以看到是json类型的

http post请求，返回数据是json ，展开后发现一共是20条视频信息，先确保是否正确，找一个视频链接看下。

ok 是可以播放的 很干净也没有水印。那就打开postman 来测试，form-data 方式提交则报错

那换raw 这种

报错信息不一样了，试试加上headers

nice 成功返回数据，我又多试几次，发现每次返回结果不一样，都是20个视频，刚才其中post参数中有个page=1 这样一直都是第一页就像一直在手机上不往下翻了就开始一直刷新那样，反正也无所谓，只要返回数据 不重复就好。

下面就开始上代码

下面测试

多线程下载 每次下载2000 个视频左右 默认下载到D:快手

总结：其实我这次爬的快手有点投机取巧了，因为post过去的参数 sign 是签名 的确是有加密的，只所以还能返回数据。

那是因为我每次都是请求的一样的链接 page=1 都是第一页的 当我改成2的时候，就验签失败了。然而，它刚好这样也能返回不同的数据，虽然达到了效果，但却没有能破解他的加密算法。。。

最后放上我的github地址 : https://github.com/binglansky/spider

题图：pexels，CC0 授权。