专栏首页编程坑太多「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)

「docker实战篇」python的docker爬虫技术-fiddler分析app抓取(12)

之前说了安卓模拟器使用和抓包工具的使用,之前其实就是在磨刀,俗话说的好磨刀不误砍柴工,下一步就是数据的抓取。

准备工作

  • 启动fiddler

本机ip 192.168.1.122

  • 夜神模拟器设置

桥接

wifi设置

刚才windows系统查询出来的ip

  • app安装(XX美食)

找个比较容易抓取的开始上手吧,在夜神模拟器市场中搜:豆果,下载图片中的app

抓取目标

点击图片中的分类

  • 分析app的数据

正常的app,请求的连接都是域名的方式,并且跟自己的app的名称相关。 例如:豆果美食,app的请求连接也都是有dougou。

进入fiddler里面,ctrl+f,输入dougou

找到一个请求,发现返回是Unicode编码,需要进行一些解码

复制返回结果Unicode编码到json.cn查看

分类发现跟app一致,任何app想进行动态的开发,都是通过请求获取的。

查看详情

下拉类别下牛肉的发现一个规律,原来每页15条,哈哈url里面有规律

PS:本次通过fiddler监控和发现app请求的规则。下次开始写python脚本进行爬取数据。

本文分享自微信公众号 - 编程坑太多(idig88),作者:诸葛阿明

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-04-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 「docker实战篇」python的docker-打造多任务端app应用数据抓取系统-系统介绍(27)

    IT故事会
  • 如何从挫败感到成就感,身为程序员每天都在经历这些!

    IT故事会
  • 「docker实战篇」python的docker爬虫技术-packet capture介绍和安装(五)

    PS:因为这款工具比较小,相对于fiddler和mitmproxy来说,所以Packet Capture只能作为辅助工具。其实这个也是很好用的。

    IT故事会
  • 带你认识 flask 优化应用结构

    目前状态下的应用有两个基本问题。如果你观察应用的组织方式,你会注意到有几个不同的子系统可以被识别,但支持它们的代码都混合在了一起,没有任何明确的界限。我们来回顾...

    公众号---志学Python
  • 小白学Flask第三天| 今天把视图函数的路由给讲清楚!

    大家可以看到输出了一个Map映射的对象,里面有一个列表,列表里就有着路由的详细信息。这里我给大家详细讲解一下里面的内容

    Python进击者
  • 【iOS 开发】3分钟搭建 App Store 动态审核开关

    我曾经在一篇文章中写过,希望大家不要欺骗 App Store Review Team,但是近来的 Uber 审核事件,以及发生在我个人身上的 审核团队不对我的长...

    KyXu
  • entity framework框架生成摘要文档为空(没有元数据文档可用)的bug解决方案

    简介 entity framework在vs中生成的.edmx文件,会导致摘要(说明)为空的bug,具体bug信息为“没有元数据文档可用。”,导致我们表名打点去...

    Java中文社群_老王
  • 10分钟学会ikvStockChart制作K线图(股票走势图)

    OK,Show me your code!Go!Go!Go! 先来看一波效果图:

    AWeiLoveAndroid
  • 关于支付宝授权登录获取用户信息

    honey缘木鱼
  • Python全栈(七)Flask框架之1.Flask简介与URL和视图介绍

    有时候安装了一个Python库,可能在IDE如PyCharm中不能使用,这是因为: 通过pip安装的库默认一般在全局环境中,而PyCharm一般会默认创建虚拟...

    cutercorley

扫码关注云+社区

领取腾讯云代金券