App爬虫思路

评估分析

在抓包前,建议一定要先分析。

有网页端抓网页端、有移动端抓移动端、有客户端抓客户端,最后的选择才是App。

举个例子。针对腾讯视频考虑顺序:

  1. 网页端:https://v.qq.com/
  2. 移动端:https://m.v.qq.com/index.html
  3. 客户端:通过charles设置代理抓取
  4. App

腾讯自己就有做应用加固的,旗下产品自然很难被编译

如果你能反编译腾讯旗下App,请告诉我方法

如何抓包

在知乎上也有这个问题 如何在 Android 手机上实现抓包?

但是我觉得不够全,首先对于一般的HTTP和HTTPS协议,通过最基本的Fiddler和Charles就可以抓包,具体方法请Google。需要保证两点:App走代理,证书被信任。

有些应用不走操作系统的 HTTP 代理,直接走 TCP 协议,无法使用 HTTP 代理抓包。虽然 Charles 支持 SOCKS 代理,但无法分析 TCP 包。这就需要祭出大杀器 tcpdump 和 Wireshark 。

说一下DNS抓包,。这个网上基本找不到资料,这也是大佬教我的,详细步骤在博客里,感兴趣自行翻阅。

还有一个比较出名的是mitmproxy,没怎么用过。

最后,苹果公司有做一个比较详细的抓包说明

https://developer.apple.com/library/archive/qa/qa1176/_index.html

如何逆向

逆向一直是一个很大的话题,而且还专门有逆向工程师这个职位,可见其中水之深。

对于爬虫,简单了解即可。这里需要三个逆向工具:

  1. Apktool:获取资源文件和smail代码
  2. dex2jar:将dex文件转换成jar文件
  3. JD-GUI:查看到反编译后的dex的代码

最后看到的是JAVA代码,所以能看懂JAVA是必要能力。

JD-GUI我用的比较多,简单演示下。

主要是使用搜索功能,搜索前需要先花很多时间反编译。

如果对Appnium感兴趣,可以看看 Appium环境搭建超详细教程

本文分享自微信公众号 - Python爬虫与算法进阶(zhangslob)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 告别win10,拥抱linux

    我的回答:是,明明已经把自动更新关闭了,可是还是会有“易升”,win10易升一直卸载不掉。所以就想试试别的系统。

    小歪
  • 拥抱linux,体验双系统

    我的回答:是,明明已经把自动更新关闭了,可是还是会有“易升”,win10易升一直卸载不掉。所以就想试试别的系统。

    小歪
  • 印度爱用啥手机,咱来瞧一瞧!

    提起印度,你想到的是什么呢?是超载火车的图片吗? ? 超载火车 其实印度是一个非常广阔的市场,尤其在手机方面。 ? 印度人用手机 近日印度电商公司Flipkar...

    小歪
  • cssjshtml vue.js 父组件向子组件传值

    葫芦
  • jQuery封装的AJAX使用

    jQuery 中的 Ajax jQuery为我们提供了更强大的Ajax封装 $.ajax({}) 可配置方式发起Ajax请求 $.get() 以GET方式发起A...

    用户1220053
  • $.ajax()方法详解

    1.url: 要求为String类型的参数,(默认为当前页地址)发送请求的地址。

    Rekent
  • AJAX开发教程之$.ajax常用方法详解

    AJAX 是一种与服务器交换数据的技术,可以在补充在整个页面的情况下更新网页的一部分。接下来通过本文给大家介绍ajax一些常用方法,大家有需要可以一起学习。 1...

    企鹅号小编
  • jquery中ajax参数说明

    jquery中的ajax方法参数总是记不住,这里记录一下。 1.url:  要求为String类型的参数,(默认为当前页地址)发送请求的地址。 2.type:...

    用户1220053
  • 英特尔为决战英伟达这次真的拼了!20亿美元收购AI芯片公司Habana Labs

    12月16日,英特尔正式宣布以20亿美元收购Habana Labs。这是继153亿美元收购Mobileye、3.5亿美元收购Nervana之后,英特尔第三次收购...

    新智元
  • 英特尔拟收购AI公司Habana Labs,价格或超10亿美元

    根据周二的一份报告,英特尔可能正在洽谈以超过10亿美元的价格收购AI公司Habana Labs。这将是继2016年Movidius和Nervana之后,英特尔第...

    AiTechYun

扫码关注云+社区

领取腾讯云代金券