抓取手机app的数据(摩拜单车)

前几天有人私信我,问能不能帮忙抓取摩拜单车的数据。。。

我想着授人以鱼不如授人以渔,所以本次我们就讲讲如何抓取手机app的内容吧

 Fiddle的安装及配置

抓手机包我用的是fiddle。

安装

  • 先在下载页面下载-→https://www.telerik.com/download/fiddler
  • 选择你“准备用fiddle来干嘛”
  • 你的邮箱
  • 以及同意“最终用户许可协议”就可以下载了

下载后按照提示安装就可以了。

 配置

  • 点击tool->telerik fiddler options…
  • 点击connections,然后勾选 “allow remote computers to connect”,记住这边的端口号(8888)

开始抓包

  • 首先确保电脑和手机连在同一个WiFi下面
  • 打开fiddle
  • 获取电脑ip
    • 打开cmd命令行
    • 输入ipconfig,如图所示,192.168.31.146就是我的ip地址
  • 打开手机WiFi设置,找到你当前链接的WiFi
    • 我当前链接的是Xiaomi_E172_5G
  • 设置代理服务器为你电脑的ip,端口号为上面设置的端口号(默认为8888)
  • 安装https证书
    • 在手机浏览器上打开 你电脑ip:你设置的端口号
    • 我的是192.168.31.146:8888
    • 点击框框处安装证书
  • 设置fiddle监听所有请求
    • 选择all process
  • 打开摩拜单车app
    • 然后你会看到定位的时候一辆车也没有。。。
    • 打开个人详情页还提示“抱歉,服务暂不可用。。。“
    • 这是因为摩拜有防抓取限制(我猜是检测,如果有使用代理的话,直接让你用不了。。。)
    • 那这样的话我们就没办法抓到么???
    • 因为我之前还用过摩拜的小程序,所以我们抓抓微信小程序试试看
    • 打开摩拜单车的小程序
    • 我们看到已经定位了。。,并且把附件的单车都显示出来了
    • 我们可以多移动我们的位置,然后等有把附近的车显示出来
    • 可以看到fiddle上面已经有好多请求了
    • 那么如何找到摩拜的那一条呢。。。
    • 很简单,看单词就好。。。
    • mobike-api。。。这很明显就是我们要找的请求
    • 请求头如下图所示,方法是post
    • 参数如下图
    • 返回值因为我看到是json的格式了,所以直接以json的格式看。
    • 那么直接模拟发送吧 直接看代码吧。。。
  1. import requests
  2. # 如果headers里面没有referer则会访问异常
  3. # referer表示上一个页面是什么。
  4. headers = {
  5. 'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Mobile/14E304 MicroMessenger/6.5.7 NetType/WIFI Language/zh_CN',
  6. 'Content-Type': 'application/x-www-form-urlencoded',
  7. 'Referer': 'https://servicewechat.com/wx80f809371ae33eda/23/page-frame.html',
  8. }
  9. url = 'https://mwx.mobike.com/mobike-api/rent/nearbyBikesInfo.do'
  10. data = {
  11. 'longitude':'121.1883',# 经度
  12. 'latitude':'31.05147', # 纬度
  13. 'citycode':'021',
  14. 'errMsg':'getMapCenterLocation:ok'
  15. }
  16. # 下面必须加上verify=False,表示不验证ssl,要不然一直报错。。。
  17. z = requests.post(url,data=data,headers=headers,verify=False)

可以看到我们已经抓取了需要的数据,那么怎么抓取整个上海的摩拜单车情况呢?? 只要获取上海的所有经纬度,然后替换上面data中的经度及纬度就可以了。。。

那么怎么获取上海的所有经纬度。。。

我发现挺难的。。。(有人拿到了请告诉我一声,谢谢)

然后我用了高德地图api的搜索功能,搜索了上海的所有小区的经纬度。一共898个,

然后查了这898个小区附件的摩拜单车情况….

总结

看完本编文章,你应该学会“如何抓取手机app的包”

其实挺简单的(就是你手机通过电脑上网,然后这台电脑上所有的请求都被抓下来了,那么你手机的请求自然也被抓下来了)

大家还可以试着抓抓知乎客户端的包。。。

更多fiddle的使用技巧,请善用百度、Google

最后所有代码在https://github.com/kimg1234/pachong/blob/master/mobai.py

原文发布于微信公众号 - Python爬虫分享(python_crawler)

原文发表时间:2017-06-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨建荣的学习笔记

merge语句导致的ORA错误分析(r9笔记第67天)

最近处理了好几起关于merge导致的问题,其实看到merge语句内心也还是蛮纠结的,这一次还是碰到了问题,简直无语了。 先交代下问题...

36560
来自专栏双十二技术哥

Android性能优化(六)之卡顿那些事

对普通用户而言,类如内存占用高、耗流量、耗电量等性能问题可能不会轻易发现,但是卡顿问题用户一定会立马直观的感受到。本文就带你一览卡顿的发生、检测、及优化。

18520
来自专栏云计算爱好者

逆向 AWS API 设计

由于AWS并没有像Google一样公开出一份API Design Guide,所以只能根据 API 的模样去逆向工程最初的设计考量。既然上一篇介绍了很多 RES...

26900
来自专栏杨建荣的学习笔记

最近的几个技术问题总结和答疑(二)(r8笔记第56天)

最近积累了几个问题,我就凑在一起做一个统一的答复,微信后台的留言回复超过24小时就无法回复了,有时候看到的时候已经过了时间点了,实在抱歉。 有时候有些朋友是通过...

28640
来自专栏杨建荣的学习笔记

数据迁移中的几个问题总结

总结一下昨晚在数据迁移前线奋战碰到的一些问题,虽然总体来说是按照预定的计划完成,并且提前完成,但是哪怕一丁点儿的操作都会导致一些严重的影响。 总体来...

38670
来自专栏编程软文

程序员常用软件,你用了哪些

30950
来自专栏腾讯Bugly的专栏

《iOS APP 性能检测》

| 导语 最近组里在做性能优化,既然要优化,就首先要有指标来描述性能水平,并且可以检测到这些指标,通过指标值的变化来看优化效果,于是笔者调研了iOS APP性能...

1.9K50
来自专栏编程

高级运维工程师学习路线

信息安全公益宣传,信息安全知识启蒙。 ? 运维工程师在前期是一个很苦逼的工作,在这期间可能干着修电脑、掐网线、搬机器的活,显得没地位!时间也很碎片化,各种零碎...

59070
来自专栏FreeBuf

软件逆向之陌路寻踪:突破未注册版软件的限制功能

摘要:试图对一个“太监版”的程序进行完整化,也就是把限制的功能恢复,把阉割的功能添加等等。 试验软件:PixtopianBook.exe (一个通讯录软件) 试...

26850
来自专栏AndroidTv

【Android】又一个Gank客户端来啦

Gank平台的移动端又来了,非常感谢Gank平台开放接口,让我们这些小白有机会练手、学习。

39360

扫码关注云+社区

领取腾讯云代金券