APP爬虫采集方案思路

APP爬虫和网页爬虫都是属于一种类型,APP的数据接口需要抓包解析，基本上都会采用HTTPS发送数据，和网页爬虫基本上不一样。

如何抓包：

使用Fiddler抓包工具，用Fiddler对APP应用软件进行抓包。需要证书认证和使用全局代理发送HTTPS协议传送数据，才可以抓包。

APP数据采集常见方案：抓包、HOOK技术

抓包：大多数APP软件，都是公开数据，没有任何隐私。只需要通过webservice通讯协议的方式，对APP接口分析检测，模拟用户向APP发出POST或者GET请求，就能返回相关数据。

HOOK技术：可以通过修改HOOK内核，自动控制APP，获取APP数据。

APP数据分析：

APP数据都可以采集，通过抓包工具抓包，获取app源码，就要对app进行反编译，进行证书认证发出HTTPS加密协议即可。

APP逆向环境配置：

Apktool：获取资源文件和smail代码

dex2jar：将dex文件转换成jar文件

JD-GUI：查看到反编译后的dex的代码

1600852397(1).jpg

1600852471(1).jpg

1600852494(1).jpg

获取app源码，就要对app进行反编译，解析使用工具采集数据