App爬虫思路

评估分析

在抓包前,建议一定要先分析。

有网页端抓网页端、有移动端抓移动端、有客户端抓客户端,最后的选择才是App。

举个例子。针对腾讯视频考虑顺序:

  1. 网页端:https://v.qq.com/
  2. 移动端:https://m.v.qq.com/index.html
  3. 客户端:通过charles设置代理抓取
  4. App

腾讯自己就有做应用加固的,旗下产品自然很难被编译

如果你能反编译腾讯旗下App,请告诉我方法

如何抓包

在知乎上也有这个问题 如何在 Android 手机上实现抓包?

但是我觉得不够全,首先对于一般的HTTP和HTTPS协议,通过最基本的Fiddler和Charles就可以抓包,具体方法请Google。需要保证两点:App走代理,证书被信任。

有些应用不走操作系统的 HTTP 代理,直接走 TCP 协议,无法使用 HTTP 代理抓包。虽然 Charles 支持 SOCKS 代理,但无法分析 TCP 包。这就需要祭出大杀器 tcpdump 和 Wireshark 。

说一下DNS抓包,。这个网上基本找不到资料,这也是大佬教我的,详细步骤在博客里,感兴趣自行翻阅。

还有一个比较出名的是mitmproxy,没怎么用过。

最后,苹果公司有做一个比较详细的抓包说明

https://developer.apple.com/library/archive/qa/qa1176/_index.html

如何逆向

逆向一直是一个很大的话题,而且还专门有逆向工程师这个职位,可见其中水之深。

对于爬虫,简单了解即可。这里需要三个逆向工具:

  1. Apktool:获取资源文件和smail代码
  2. dex2jar:将dex文件转换成jar文件
  3. JD-GUI:查看到反编译后的dex的代码

最后看到的是JAVA代码,所以能看懂JAVA是必要能力。

JD-GUI我用的比较多,简单演示下。

主要是使用搜索功能,搜索前需要先花很多时间反编译。

如果对Appnium感兴趣,可以看看 Appium环境搭建超详细教程

原文发布于微信公众号 - Python爬虫与算法进阶(zhangslob)

原文发表时间:2018-11-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏架构师之路

微信钱包中58到家首页为什么这么快

原文标题《前后端分离和模块化-58到家微信首页重构之路》【深度前端干货】 微信钱包内的58到家全新首页已经上线,感兴趣的同学们可以在微信中打开“我的->钱包->...

3157
来自专栏携程技术中心

干货 | 如何一步步打造基于React的移动端SPA框架

作者简介 喻珍祥,携程港澳研发高级经理,2004年接触互联网开发,见证前端开发从美工到全栈开发的全过程。2014年加入携程,主要负责永安旅游APP移动前端架构和...

43810
来自专栏北京马哥教育

小白请上车 | Python抓取花瓣网高清美图

? 一:前言 嘀嘀嘀,上车请刷卡。昨天看到了不错的图片分享网—— 花瓣 ,里面的图片质量还不错,所以利用selenium+xpath我把它的妹子的栏目下爬取了...

2723
来自专栏hbbliyong

Python GUI

Flexx 是一个纯Python工具包,用来创建图形化界面应用程序。其使用 Web 技术进行界面的渲染。你可以用Flexx来创建桌面应用,同时也可以导出一个应用...

1923
来自专栏java一日一条

前端优化带来的思考,浅谈前端工程化

这段时间对项目做了一次整体的优化,全站有了20%左右的提升(本来载入速度已经1.2S左右了,优化度很低),算一算已经做了四轮的全站性能优化了,回顾几次的优化手段...

1213
来自专栏DeveWork

WordPress免插件仅代码实现文章归档模板 II

不多说了,本站目前使用的效果,可以到我的存档页一览,该方法来自zww,感谢原作者,在这之前,建议你: 1、你的博客存档页面地址后面的应该为/articles,而...

5398
来自专栏MixLab科技+设计实验室

02技能之谷歌Chrome爬虫 |数据爬取及可视化系列

今天更新一篇《数据爬取及可视化系列》的技能相关的文章:爬虫技能。 前阵子研究了nodejs爬虫相关的内容,发现最好用的还是casperjs,一个基于Phanto...

4529
来自专栏企鹅号快讯

来,聊一聊性能优化

不管是应付前端面试还是改进产品体验,性能优化都是躲不开的话题。这里我们就简单聊一聊性能优化。传输快 vs 体验快 优化的目的是让用户有“快”的感受,那如何让用户...

2308
来自专栏ytkah

如何用腾讯电脑管家备份微信聊天记录

  微信发布了5.2.1版本更新,其中一个很人性化的功能是支持腾讯电脑管家备份微信聊天记录到电脑上,可将语音、文字、图片、视频等聊天记录快速加密备份到本地电脑中...

4575
来自专栏较真的前端

关于如何做一个“优秀网站”的清单——基础篇

1915

扫码关注云+社区

领取腾讯云代金券