首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

单车数据爬虫

MobikeAgent 单车(Mobike)扫描器,自动搜集全国可用的单车。支持输出CSV和KML。 ? 白色底色为Lite版单车,红色底色为老版单车,红包为红包车,你懂的。...依赖安装 pip install -r requirements.txt 基本使用 第一步(可选): 之前单车服务器对请求频率作出限制,必须使用代理服务器,躲避IP限制。...116.8, 39.6, 40.3, kml_path="out.kml") #输出KML文件,用于在Google Earth等工具中可视化 数据样例 /data目录下为2017年4月采集的北京地区数据,单车在北京已经投放了超过...注意:单车返回的是火星坐标。最新的爬虫已经会自动转换成WGS84了,但是这个文件夹里的数据目前还是使用火星坐标,爬一次还是挺费时间的,以后会统一成WGS84。...TODO: 增加命令行功能,把这个脚本变成一个命令行工具 虽然优化了扫描的算法,但是爬取一次全北京的单车还是需要9w+次请求,耗时40分钟左右,请不要在高峰期运行,以免给单车的服务器造成压力。

84510
您找到你想要的搜索结果了吗?
是的
没有找到

单车爬虫源码及解析

專 欄 ❈我是思聪,Python中文社区专栏作者 博客: http://www.jianshu.com/u/b1e713e56ea6❈ 为什么爬的数据 是最早进入成都的共享单车,每天我从地铁站下来的时候...当然了,如果单车官方并不care数据的事情的话,这样的API设计也是ok的。...单车爬虫开源项目 项目地址:https://github.com/derekhe/mobike-crawler 目录结构 ?...单车的API返回的是一个正方形区域中的单车,我只要按照一块一块的区域移动就能抓取到整个大区域的数据。...其实单车是有IP的访问速度限制的,只不过破解之道非常简单,就是用大量的代理。 我是有一个代理池,每天基本上有8000以上的代理。

1.2K110

单车爬虫解析——找到API

在上一篇文章《单车非官方大数据分析》中提到了我在春节期间对单车的数据分析,在后面的系列文章中我将进一步的阐述我的爬虫是如何高效的爬到这些数据的。...为什么爬的数据 是最早进入成都的共享单车,每天我从地铁站下来的时候,在APP中能看到很多单车,但走到那里的时候,才发现车并不在那里。...最直接的来源是单车的APP。现代的软件设计都讲究前后端分离,而且服务端会同时服务于APP、网页等。在这种趋势下我们只需要搞清楚软件的HTTP请求就好了。...高兴得太早 连续爬了几天的数据,将数据进行一分析,发现单车的GPS似乎一直在跳动,有时候跳动会超过几公里的距离,显然不是一个正常的值。 难道是他们的接口做了手脚返回的是假数据?...当然了,如果单车官方并不care数据的事情的话,这样的API设计也是ok的。 下一篇文章将开源爬虫的源代码,敬请期待!如果您觉得文章有用,请打赏一杯咖啡,谢谢:)

59110

如何看待美团收购单车

美团收购,能给美团带来什么?对的影响又是什么?这是我在知乎的一个回答,希望能够给大家带来一些启发。另外,我的知乎账号也是:非著名程序员,玩知乎的朋友可以一起关注互粉一下。...而美团打车解决的是长距离的画线问题,而收购单车正好解决用户短途和短距离的用车画线需求,这是他们基于生活服务平台这个需求场景而布局的,收购单车是对他们出行服务矩阵的一个补充。...之前的共享单车的概念仅仅停留在解决用户一公里的问题,短距离用车的问题,甚至 ofo 提出让所有自行车联网的概念,这仅仅停留在传统的用车方面。...基于美团打造的超级生活服务平台,它可以让共享单车不至于在解决短距离,一公里出行用车方面受局限。收购,可以和美团的到店,到家,酒店旅游等业务形成共振,跳出共享单车这个小天地。...这项收购可以说,对美团来说是对它出行业务的更好的补充,可以让它的生活服务平台更完善,而对于来说,可以释放更多活力,带来更多的用途和玩法。

38430

单车融资后,共享单车向何处去?

单车再次获得E轮融资就是这一现象的具体体现。 据最新消息显示,全球智能共享单车行业首创者单车于6月16日完成了最新一轮超过6亿美元的融资。...值得注意的是,这是单车创下的共享单车领域最大一笔单笔融资。据悉,本次融资由腾讯领投,红杉中国、TPG等现有股东持续跟投,并新引入了工银国际、交银国际等新的投资人。...让人没有想到的是,还没有等到ofo宣布新一轮融资的消息,单车已经率先宣布了E论融资的消息。 格局已定,单车和ofo开始新的发展。...在这样一个阶段,即使是单车、ofo这两大共享单车领域的巨头都不可避免地会卷入到这场战争之中。 随着单车宣布完成E轮融资,共享单车市场的格局似乎已经被早早确定下来。...正如单车的联合创始人王晓峰所说的那样,单车将会利用新的融资进行新一轮的市场扩张以及自身附加值的提升,但是国内中小型的共享单车却没有资金和精力进行这些操作。

70850

抓取手机app的数据(单车

前几天有人私信我,问能不能帮忙抓取单车的数据。。。 我想着授人以鱼不如授人以渔,所以本次我们就讲讲如何抓取手机app的内容吧  Fiddle的安装及配置 抓手机包我用的是fiddle。...安装https证书 在手机浏览器上打开 你电脑ip:你设置的端口号 我的是192.168.31.146:8888 点击框框处安装证书 设置fiddle监听所有请求 选择all process 打开单车...因为我之前还用过的小程序,所以我们抓抓微信小程序试试看 打开单车的小程序 我们看到已经定位了。。...,并且把附件的单车都显示出来了 我们可以多移动我们的位置,然后等有把附近的车显示出来 可以看到fiddle上面已经有好多请求了 那么如何找到的那一条呢。。。 很简单,看单词就好。。。...一共898个, 然后查了这898个小区附件的单车情况….

1.8K120

单车非官方大数据分析

2017-7-19:想查看当前单车实时位置?请看 http://www.jianshu.com/p/058d847ba297 趁着过年的清闲时光,我抓取了单车的数据并进行了大数据分析。...成都的单车的整体情况如下: 标准车型和Lite车型数量相当 单车在成都大约已经有6万多辆车,两种类型的车分别占有率为55%和44%,可见更为好骑的Lite版本的占有率在提高。...出行距离分布 单车骑行次数以5次以下居多 单车的使用频率越高共享的效果越好。从单车的数据看,在流动的单车中,5次以下占据了60%左右的出行。...但1次、2次的也占据了30%左右的份额,说明单车的利用率也不是很高。 ? 单车骑行次数 ?...单车骑行次数 从单车看城市发展 从单车的热图分布来看,成都已经逐步呈现“双核”发展的态势,城市的新中心天府新区正在聚集更多的人和机会。 ?

93430

单车启动全国免押金,共享单车开启全新洗牌模式

单车在被美团收至麾下之后动作似乎相比之前少了很多,但是今天单车却宣布将会在全国百座城市实现无门槛免押金的活动,除了自己对用户免押金之后,还号召行业内的其他公司共同推广这一活动。...根据拜官方宣布的消息,今年五月初单车已经在全国的六座二线城市实现了免押金的活动。六月份,则将这一优惠的力度拓展到了全国百城新老用户的免押金的活动,而且不需要任何的信用积分。...由此,单车便开始了免押金城市不断扩大的进程。截止目前,单车的免押金骑行的活动已经拓展到了百座城市。...从这个角度来看,单车俨然已经成为当下共享单车市场的引领者,市场地位似乎已经确定。而这或许正是单车想要达成的效果。...同单车不一样的是,ofo则宣布取消信用免押金的活动,仅保留上海、杭州、广州、深圳、厦门五城。单车与ofo在免押金骑行上的不同表现似乎在告诉我们共享单车市场的用户和市场份额的战役并未结束。

28110

抓取单车分布数据做区域价值分析

仅就单区域而言,已经分布着膜拜、ofo、永安行旗下的5-7种单车,共享单车的数据样本确实足够巨大,反应的是人口密集度、区域价值、人口流动方向等等维度的指标。...下面是根据由知乎大神“团支书”根据膜拜单车提供的数据制作的关于上海市人口分布情况: ? 上图是以单车数据为例,绘制出的2017年某天上午该品牌共享单车在上海市的大致空间分布图。...圆圈越大说明在该时段使用共享单车的人越多。很显然:工作日的早晚高峰(早上7-9点,晚上17-20点)是共享单车的使用高峰期,该期间的使用占比约为36%。...下面就大致简单地说一说怎么样抓取泉州膜拜单车,或者其他单车的数据: 下图是我要单车小程序上的区域单车分布,因为单车的APP暂时没有API借口,并且不开放抓取,所以就用小程序上单车的分布数据了:...6、打开单车的微信小程序,定位到要抓取的区域上,等单车现实后,就可以在fidder上现实所要的数据,需要提取的是post方法里的含有mobike-api内容的数据: ?

1.3K71

单车正式进军日本,积极拓展海外市场

近日,单车宣布进入日本,并已在福冈市成立单车日本分公司,这是继新加坡和英国之后,单车进入的第3个海外市场。...近日,据媒体报道,单车将正式进军日本,并将在日本福冈市成立单车日本分公司。这对来说,在海外市场又下一城。据悉,这是的第3个海外市场,而在这之前,还在新加坡和英国崭露头角。...据单车海外拓展总监克里斯·马丁透露,进入日本市场是一项非常激动人心的新成就。福冈市向来以创新和活力闻名,与单车的合作可谓水到渠成。...据统计,自4月以来,单车单月活跃用户量环比增速超过200%,过去一个月单车新增2400万注册用户,继续保持市场领先地位。...而且,近日单车宣布完成一笔超过6亿美元的新一轮融资,这也是共享单车行业目前为止的单笔融资最高纪录,足见的实力。 此外,也有消息显示,单车今年底将拓展至全球200城。

31830

利益角逐:单车与ofo合并的最大变数

文|孟永辉 著名投资人朱啸虎有关单车与ofo若想盈利必先合并的言论再次引发人们关注。有关单车与ofo能否合并的讨论开始出现,整个市场再次将目光聚焦在了这两大共享单车巨头的身上。...前期资本的轮番加注以及以阿里、腾讯为代表的互联网巨头的参与都不断强化着两者之间的影响力。另外,前段时间马化腾与朱啸虎互怼事件同样让这一次有关合并的传言多少有些突兀。...其实,共享单车的另外一个利益相关方是互联网巨头们。我们都知道单车与ofo分别属于阿里和腾讯两大阵营,它们是两大互联网巨头进行市场布局的一个部分。...因此,从互联网巨头的层面上来看,单车和ofo并不会有合并的可能。 第三,资本的耐力有限,将会成为单车与ofo合并的主要推动者。...随着各方势力的此消彼长,单车与ofo合并的走势将会愈加清晰,等到各方势力的角逐确定胜负的时候,或许才是单车与ofo能够真正合并的时刻。

53850

单车联合创始人&CTO夏一平:骑行是一种情怀,更是科技的温度

借助计算 已具备全球领先的物联网平台能力 依靠物联网、大数据和人工智能技术,单车能够实时监测每一辆单车的运行情况...腾讯的诸多特色服务从不同角度满足了的需求,例如其独有的“黑石”,创建出一张和公有互通的私有网络,解决了专线昂贵和延时过高的问题。...而接入腾讯之后,不仅仅是用了腾讯的计算、存储、网络等基础设施,还得到了腾讯非常多的技术团队的支持,帮助快速成长。...“我们现在用的腾讯的产品比较多,从接入腾讯线上数据库产品到其他产品,我们跟腾讯的结合,其实就是在互相协作的过程中互相帮助。在一些特殊的紧急情况下,腾讯都积极的响应,给了我们很多的支持。”...目前,也在与腾讯探索如何在物联网方面更加深入的合作。

74740

揭秘全球最大出行业务背后的数据库系统

要支撑单车称霸中国、新加坡、英国、意大利、日本、泰国、马来西亚、美国、韩国等 9 个国家 180 +座城市,运营超过 700 万辆单车,其数据库系统的压力可想而知。...单车是在2016年年底开始接入腾讯数据库服务的,最初的想法很直接:人力紧张,公司需要节约成本,聚焦增效。...,拥有强大技术实力、海量服务的腾讯数据库,是单车业务不二的选择。...这一点在单车的产品业务中得到了印证,将不同业务的要求结合数据库的特征进行数据库选型,拥有从关系型到NoSQL全系列产品的腾讯数据库,全方位保障单车的业务场景。...单车订单业务上应用腾讯MySQL;数据缓存方面应用腾讯Redis;由于MongoDB对LBS查询的支持较为友好,一直是各大LBS服务商的首选数据库,于是腾讯MongoDB也就成了拜在用户查找附近单车功能上的不二之选

50610

揭秘全球最大出行业务背后的数据库系统

要支撑单车称霸中国、新加坡、英国、意大利、日本、泰国、马来西亚、美国、韩国等 9 个国家 180 +座城市,运营超过 700 万辆单车,其数据库系统的压力可想而知。...单车是在2016年年底开始接入腾讯数据库服务的,最初的想法很直接:人力紧张,公司需要节约成本,聚焦增效。...,拥有强大技术实力、海量服务的腾讯数据库,是单车业务不二的选择。...这一点在单车的产品业务中得到了印证,将不同业务的要求结合数据库的特征进行数据库选型,拥有从关系型到NoSQL全系列产品的腾讯数据库,全方位保障单车的业务场景。...单车订单业务上应用腾讯MySQL;数据缓存方面应用腾讯Redis;由于MongoDB对LBS查询的支持较为友好,一直是各大LBS服务商的首选数据库,于是腾讯MongoDB也就成了拜在用户查找附近单车功能上的不二之选

93250

全球最大最强出行业务背后的数据库系统大揭秘

单车成立于2015年1月到2016年整个技术团队仅有不到50人,后台开发只有十几人。十几个人面对高速增长的业务,要解决这么多问题,怎么办?非常明智地决定选择腾讯。...单车是在2016年年底开始接入腾讯的数据库服务的,最初的想法很直接,人力紧张,公司需要节约成本,聚焦增效。...,拥有强大技术实力、海量服务的腾讯数据库,是单车业务不二的选择。...这一点在单车的产品业务中得到了印证,将不同业务的要求结合数据库的特征进行数据库选型,拥有从关系型到NoSQL全系列产品的腾讯数据库,全方位保障单车的业务场景。...:单车订单业务上应用腾讯MySQL、数据缓存方面应用腾讯Redis、由于MongoDB对LBS查询的支持较为友好,一直是各大LBS服务商的首选数据库,于是腾讯MongoDB也就成了拜在用户查找附近单车功能上的不二之选

71440

300万单车出行记录数据,预测骑行目的地

本文300万单车出行记录数据获取和源码地址: 在公众号 datadw 里 回复 即可获取。 单车在北京的单车投放量已经超过40万。...用户可以直接在人行道上找到停放的单车,用手机解锁,然后骑到目的地后再把单车停好并锁上。因此,为了更好地调配和管理这40万辆单车,需要准确地预测每个用户的骑行目的地。...标注数据中包含300万条出行记录数据,覆盖超过30万用户和40万单车。数据包括骑行起始时间和地点、车辆ID、车辆类型和用户ID等信息。参赛选手需要预测骑行目的地的区块位置。 ?...源码地址: 在公众号 datadw 里 回复 即可获取。

89040
领券