抓取得到App音频数据

这两天知识星球

Python绿色通道铁粉集中营

上有球友要求布置一个抓取得到App数据的作业,于是我二话不说就撸了一把.

效果图如下

我们以前都是在网页上抓取数据,很少在手机App中抓取数据,那如何在抓取手机App中的数据呢?一般我们都是使用抓包工具来抓取数据.

常用的抓包工具有与,以及其它今天我这里主要说说使用,相比于,功能更强大,而且更容易使用. 所以一般抓包我推荐使用

下载与安装Charles

下载并安装Charles 再去破解Charles,这里附上文章教程,我就不多说啥了

https://www.cnblogs.com/rrl92/p/7928770.html

注意事项:

如果获取到的数据是乱码,你要设置一下连接SSL证书 在Charles中 菜单栏==>proxy==>SSL Proxying Settings ==>添加443,如上图所示. 然后当你在真正抓取数据的时候,记得把这个关掉,以免取不到数据

使用Charles

这里我直接放两张图让大家使用看看就明白了

我们一起来分析项目.

打开Charles 然后打开手机,得到App,进入逻辑思维栏目. 多次刷新App, 在Charles中 Structure中有变黄的一项就是我们当前的请求,

查看右边的Overview栏目,这里我们很容易发现我们的请求路径,状态,以及请求方式

点击Contents栏目,上面是Requests区域,下面是Response区域. 可以看到上面的Headers 这里就是我们实际写代码时候要用到的Headers,** 注意构造Heaers时,不要出现了空格,我刚刚就犯了这个错误**

再看Form栏目,这里是我们构造Post请求需要的一些参数,我们在请求的时候,注意这里面的数据变化,来找出数据请求的规律.

这里我找到的数据请求规律就是通过改变时间戳来获取数据.

我打算把获取的数据存入到execl中,并下载相关的音频.

我们就开始来写代码. 定义一个类, 定义了三个方法 代码结构如下:这里我强调一下,一定要先有大致的思路再去写代码,我这里定义了三个方法,我心中已经知道具体流程了.

另外要注意一下,我能之前说了得到是通过时间戳来去请求下一页数据,那什么时候把数据请求完了呢,以及如何去请求下一页数据, 如果时间戳与我当前存的时间戳不一致,说明还有下一页数据,否则就是数据请求完了,具体代码如下:

完整代码:

当前这只是比较简单的手机App数据抓取,更复杂的数据抓取又该如何操作呢? 如何抓取朋友圈数据呢?如何抓取微信公众号数据呢? 持续关注!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180605G1ZZVN00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券