前几天有人私信我,问能不能帮忙抓取摩拜单车的数据。。。
我想着授人以鱼不如授人以渔,所以本次我们就讲讲如何抓取手机app的内容吧
Fiddle的安装及配置
抓手机包我用的是fiddle。
下载后按照提示安装就可以了。
import requests
# 如果headers里面没有referer则会访问异常
# referer表示上一个页面是什么。
headers =
{
'User-Agent':
'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Mobile/14E304 MicroMessenger/6.5.7 NetType/WIFI Language/zh_CN',
'Content-Type':
'application/x-www-form-urlencoded',
'Referer':
'https://servicewechat.com/wx80f809371ae33eda/23/page-frame.html',
}
url =
'https://mwx.mobike.com/mobike-api/rent/nearbyBikesInfo.do'
data =
{
'longitude':'121.1883',#
经度
'latitude':'31.05147',
# 纬度
'citycode':'021',
'errMsg':'getMapCenterLocation:ok'
}
# 下面必须加上verify=False,表示不验证ssl,要不然一直报错。。。
z = requests.post(url,data=data,headers=headers,verify=False)
可以看到我们已经抓取了需要的数据,那么怎么抓取整个上海的摩拜单车情况呢?? 只要获取上海的所有经纬度,然后替换上面data中的经度及纬度就可以了。。。
那么怎么获取上海的所有经纬度。。。
我发现挺难的。。。(有人拿到了请告诉我一声,谢谢)
然后我用了高德地图api的搜索功能,搜索了上海的所有小区的经纬度。一共898个,
然后查了这898个小区附件的摩拜单车情况….
看完本编文章,你应该学会“如何抓取手机app的包”
其实挺简单的(就是你手机通过电脑上网,然后这台电脑上所有的请求都被抓下来了,那么你手机的请求自然也被抓下来了)
大家还可以试着抓抓知乎客户端的包。。。
更多fiddle的使用技巧,请善用百度、Google
最后所有代码在https://github.com/kimg1234/pachong/blob/master/mobai.py