首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >面试官问我会不会APP抓包,我..

面试官问我会不会APP抓包,我..

作者头像
咸鱼学Python
发布2019-06-03 16:25:00
9930
发布2019-06-03 16:25:00
举报
文章被收录于专栏:咸鱼学Python咸鱼学Python

标题这个题目应该是我面试答的最好的一题了,所以咸鱼就来讲讲APP抓包环境搭建。

App抓包应该是每个爬虫工程师都避不开的话题,在之前我也写过关于自动参与「抽奖助手」 抽奖的文章,当时使用的抓包工具是Charles,有需要的朋友可以翻下之前的文章。

App抓包原理
  1. 客户端向服务器发起HTTPS请求
  2. 抓包工具拦截客户端的请求,伪装成客户端向服务器进行请求
  3. 服务器向客户端(实际上是抓包工具)返回服务器的CA证书
  4. 抓包工具拦截服务器的响应,获取服务器证书公钥,然后自己制作一张证书, 将服务器证书替换后发送给客户端。(这一步,抓包工具拿到了服务器证书的公钥)
  5. 客户端接收到服务器(实际上是抓包工具)的证书后,生成一个对称密钥, 用抓包工具的公钥加密,发送给“服务器”(抓包工具)
  6. 抓包工具拦截客户端的响应,用自己的私钥解密对称密钥,然后用服务器证书公钥加密, 发送给服务器。(这一步,抓包工具拿到了对称密钥)
  7. 服务器用自己的私钥解密对称密钥,向客户端(抓包工具)发送响应
  8. 抓包工具拦截服务器的响应,替换成自己的证书后发送给客户端

爬虫的本质就是「骗」过服务器,各种反反爬手段就是增强信任的过程,不停的让服务器相信你是自己人 如果你被反爬了,就是你骗术不精,被发现了。

App数据好抓吗?

App数据有易有难,目前我还是停留在简单的部分,这里简单说下我理解的(如果说错求放过):

简单:

app的数据比web端数据更容易抓取,基本都是http、https协议,返回的数据格式也相对规整, 大多是json格式

困难:

1.需要反编译的知识,需要分析加密算法

2.需要脱壳+反编译

3.需要破解各式各类的签名,证书。。

所以一个爬虫工程师慢慢就需要掌握以下技能:

java编程基础

android编程基础

app逆向

app脱壳

破解加密

从入门到全栈

常用抓包工具

fiddler

mitmproxy

Charles

fiddler安装和使用

下载:

https://telerik-fiddler.s3.amazonaws.com/fiddler/FiddlerSetup.exe

安装:一路Next

主要界面介绍:

会话列表界面:

监控面板在点击会话列表界面的某个请求后会出现下面两个界面:

请求面板:

响应面板:

本地CA证书安装
  • 点击 Tools - Options - HTTPS - 勾选勾选 Capture HTTPS CONNECTs,勾选 Decrypt HTTPS trafic,会弹出安装证书的提示。一路点是或确定安装即可。
  • 重启fiddler,点击右侧Actions,能看一个下拉菜单,点击 Export Root Certificate to Desktop,此时证书会生成到桌面上,名为 FiddlerRoot.cer,点OK保存
  • 点击安装
连接手机抓包需要的配置

先设置PC端fiddler:

之后手机需要访问 本地主机IP + 设置的端口,安装证书,证书安装成功后即可抓包。

以上就是关于Fiddler的安装和简单使用,进阶使用还有很多骚操作,

mitmproxy安装和使用

mitmproxy在linux版本下和windows版本下略有不同。

linux下借助pip,可以一键安装:pip install mitmproxy

windows 下需要安装Microsoft Visual C++ V14.0以上,之后再使用pip install mitmproxy安装

mitmproxy有三大组件:

mitmproxy - linux下的抓包组件

mitmdump - python交互

mitmweb - windows下的可视化界面工具

在windows下仅支持后两种组件的使用。

证书配置

在安装目录下可以看到以下这些文件:

其中:

mitmproxy-ca.pem

PEM格式的证书私钥

mitmproxy-ca-cert.pem

PEM格式证书,适用于大多数非Windows平台

mitmproxy-ca-cert.p12

PKCS12格式的证书,适用于Windows平台

mitmproxy-ca-cert.cer

与mitmproxy-ca-cert.pem相同,只是改变了后缀,适用于部分Android平台

mitmproxy-dhparam.pem

PEM格式的秘钥文件,用于增强SSL安全性

window安装证书

双击mitmproxy-ca.p12,一路确定直至结束。期间会弹出警告点击“确认”即可。

Mac安装证书

Mac下双击mitmproxy-ca-cert.pem即可弹出钥匙串管理页面,然后找到mitmproxy证书,打开其设置选项,选择“始终信任”即可

Android/iPhone安装证书

方法一: 将mitmproxy-ca-cert.pem发送到手机上点击安装就可以了,苹果手机点击安装描述文件即可。

方法二: 在linux下启动 mitmproxy,命令为mitmproxy -p 8889,同时将手机代理设置为linux的IP地址与端口后访问mitm.it安装证书。

简单使用

mitmproxy过滤功能的使用举例:

输入z,清除屏幕上全部的包输入f,进入编辑模式,可在最下面编辑条件,ESC或Enter退出编辑!(~c 200) #显示所有返回不是200的请求!(~c 200) & ~d baidu.com #显示域名包含baidu.com,返回不是200的请求~m post & ~u baidu #显示请求的链接里面包含baidu的post请求~d baidu.com (http://baidu.com) 过滤所有域名包含baidu.com (http://baidu.com)的包

mitmproxy断点功能的使用举例:

输入i,进入编辑模式,可在最下面编辑条件,ESC或Enter退出编辑断点的条件和过滤是一样的,符合条件的链接会被拦截~d baidu.com & ~m get域名包含baidu.com的get 请求会被拦截按Enter进入详情页,在详情页输入e进入模式,可以修改各项数据完成后,回到请求显示列表,输入a,将请求放行.1.请求重放2.选中需要重放的请求,输入r可以重放请求,也可以先编辑后再重放3.输入Q可退出程序

mitmproxy经常配合appium使用:

首先我们需要写一个抓包的脚本,类似下面这个:

import jsondef response(flow):    if 'aweme/v1/user/follower/list/' in flow.request.url:        for user in json.loads(flow.response.text)['followers']:            info = {}            nfo['share_id'] = user['uid']            info['_id'] = user['short_id']            save_task(info)

注意:这里的方法名必须使用response

编写完抓包的脚本后,使用 mitmdump -p [port] -s [脚本文件] 启动,配合appium自动化脚本即可实现app自动化抓取。

Charles的使用

之前写过了相关的实战,可以直接看下面的文章:

10行代码实现自动参与抽奖助手抽奖(上)

10行代码实现自动参与抽奖助手抽奖(下)

以上是我面试后的部分总结,希望对你有所帮助~

来个在看?

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-04-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 咸鱼学Python 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • App抓包原理
  • App数据好抓吗?
  • 常用抓包工具
  • fiddler安装和使用
    • 主要界面介绍:
      • 本地CA证书安装
        • 连接手机抓包需要的配置
        • mitmproxy安装和使用
          • 证书配置
            • window安装证书
              • Mac安装证书
                • Android/iPhone安装证书
                  • 简单使用
                    • Charles的使用
                    相关产品与服务
                    SSL 证书
                    腾讯云 SSL 证书(SSL Certificates)为您提供 SSL 证书的申请、管理、部署等服务,为您提供一站式 HTTPS 解决方案。
                    领券
                    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档