抓取摩拜单车分布数据做区域价值分析
抓取摩拜单车分布数据做区域价值分析
由于接的营销项目已经接近尾声， 终于有时间继续写点东西了。
之前写了几篇关于数据分析的文章，就有不少朋友问我怎么突然从营销改玩数据了？这其实是误解吧，营销和数据从来就不应该分家，营销需要数据来做研究、分析，也需要数据来考核、修正。关于两者合作产生的巨大化学反应，可以看看数据冰山大神的文章：
就在刚刚，我在看亚洲微软研究院的关于用共享单车数据做城市规划的文章，很受启发。仅就单区域而言，已经分布着膜拜、ofo、永安行旗下的5-7种单车，共享单车的数据样本确实足够巨大，反应的是人口密集度、区域价值、人口流动方向等等维度的指标。
下面是根据由知乎大神“团支书”根据膜拜单车提供的数据制作的关于上海市人口分布情况：
上图是以摩拜单车数据为例，绘制出的2017年某天上午该品牌共享单车在上海市的大致空间分布图。从地图上可以看到，共享单车已经深入了城市的每一个角落，几乎毫无死角。
可以从个体视角观察的话，我们看到普通市民的使用逻辑，上图是一个短途骑行者。他高频流连于市中心与杨浦区。
上图是一个长途骑行者，他曾经从杨浦区一口气骑到大虹桥。
上图使用了2013-2017（共享单车是2016年规模性出现在上海的）的房租数据，绘制出上海市外环线周边历年房屋租金与地铁站距离的衰减曲线图。
上图是上海共享单车的使用频率分布图。圆圈越大说明在该时段使用共享单车的人越多。很显然：工作日的早晚高峰（早上7-9点，晚上17-20点）是共享单车的使用高峰期，该期间的使用占比约为36%。而对于周末而言，共享单车是不存在早高峰的，但是却有非常明显的晚高峰。
我认真看了一下这份报告，确实很酷，也很有用。但是，这是上海啊，跟我们有什么关系呢？或者说，怎么样也能获得这样的数据，制作这样的分析呢？
下面就大致简单地说一说怎么样抓取泉州膜拜单车，或者其他单车的数据：
下图是我要摩拜单车小程序上的区域单车分布，因为摩拜单车的APP暂时没有API借口，并且不开放抓取，所以就用小程序上单车的分布数据了：
1、将电脑和手机设置同一wifi登陆；
2、在抓包工具fiddler中tools选项下的connections选项中勾选允许电脑连接选项，并且记住连接端口8888
3、在手机上打开http代理模式，并且将手机的服务器地址设置为电脑的ip地址，端口设置为8888
4、在手机浏览器输入（ip地址：8888）内容，下载手机http证书：
5、打开fiddler下的所有监控进程，通过以上设置就可以抓取手机信息了。
6、打开摩拜单车的微信小程序，定位到要抓取的区域上，等单车现实后，就可以在fidder上现实所要的数据，需要提取的是post方法里的含有mobike-api内容的数据：
7、接下来就用几行python代码抓取这些数据，相对来说还是比较简单的了。
这里只是抓取了附近某个区域的单车数据，那么要怎么抓取整个泉州的数据了，这个我还没有尝试过，但是只需要通过高德地图获取全部泉州的经纬度，就可以获得全部的单车数据了。