首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

单车数据爬虫

MobikeAgent 单车(Mobike)扫描器,自动搜集全国可用的单车。支持输出CSV和KML。 ? 白色底色为Lite版单车,红色底色为老版单车,红包为红包车,你懂的。...依赖安装 pip install -r requirements.txt 基本使用 第一步(可选): 之前单车服务器对请求频率作出限制,必须使用代理服务器,躲避IP限制。...116.8, 39.6, 40.3, kml_path="out.kml") #输出KML文件,用于在Google Earth等工具中可视化 数据样例 /data目录下为2017年4月采集的北京地区数据,单车在北京已经投放了超过...注意:单车返回的是火星坐标。最新的爬虫已经会自动转换成WGS84了,但是这个文件夹里的数据目前还是使用火星坐标,爬一次还是挺费时间的,以后会统一成WGS84。...TODO: 增加命令行功能,把这个脚本变成一个命令行工具 虽然优化了扫描的算法,但是爬取一次全北京的单车还是需要9w+次请求,耗时40分钟左右,请不要在高峰期运行,以免给单车的服务器造成压力。

81710
您找到你想要的搜索结果了吗?
是的
没有找到

单车爬虫源码及解析

專 欄 ❈我是思聪,Python中文社区专栏作者 博客: http://www.jianshu.com/u/b1e713e56ea6❈ 为什么爬的数据 是最早进入成都的共享单车,每天我从地铁站下来的时候...当然了,如果单车官方并不care数据的事情的话,这样的API设计也是ok的。...单车爬虫开源项目 项目地址:https://github.com/derekhe/mobike-crawler 目录结构 ?...单车的API返回的是一个正方形区域中的单车,我只要按照一块一块的区域移动就能抓取到整个大区域的数据。...其实单车是有IP的访问速度限制的,只不过破解之道非常简单,就是用大量的代理。 我是有一个代理池,每天基本上有8000以上的代理。

1.2K110

单车爬虫解析——找到API

在上一篇文章《单车非官方大数据分析》中提到了我在春节期间对单车的数据分析,在后面的系列文章中我将进一步的阐述我的爬虫是如何高效的爬到这些数据的。...为什么爬的数据 是最早进入成都的共享单车,每天我从地铁站下来的时候,在APP中能看到很多单车,但走到那里的时候,才发现车并不在那里。...最直接的来源是单车的APP。现代的软件设计都讲究前后端分离,而且服务端会同时服务于APP、网页等。在这种趋势下我们只需要搞清楚软件的HTTP请求就好了。...高兴得太早 连续爬了几天的数据,将数据进行一分析,发现单车的GPS似乎一直在跳动,有时候跳动会超过几公里的距离,显然不是一个正常的值。 难道是他们的接口做了手脚返回的是假数据?...当然了,如果单车官方并不care数据的事情的话,这样的API设计也是ok的。 下一篇文章将开源爬虫的源代码,敬请期待!如果您觉得文章有用,请打赏一杯咖啡,谢谢:)

57010

如何看待美团收购单车

美团收购,能给美团带来什么?对的影响又是什么?这是我在知乎的一个回答,希望能够给大家带来一些启发。另外,我的知乎账号也是:非著名程序员,玩知乎的朋友可以一起关注互粉一下。...而美团打车解决的是长距离的画线问题,而收购单车正好解决用户短途和短距离的用车画线需求,这是他们基于生活服务平台这个需求场景而布局的,收购单车是对他们出行服务矩阵的一个补充。...之前的共享单车的概念仅仅停留在解决用户一公里的问题,短距离用车的问题,甚至 ofo 提出让所有自行车联网的概念,这仅仅停留在传统的用车方面。...基于美团打造的超级生活服务平台,它可以让共享单车不至于在解决短距离,一公里出行用车方面受局限。收购,可以和美团的到店,到家,酒店旅游等业务形成共振,跳出共享单车这个小天地。...这项收购可以说,对美团来说是对它出行业务的更好的补充,可以让它的生活服务平台更完善,而对于来说,可以释放更多活力,带来更多的用途和玩法。

36730

单车融资后,共享单车向何处去?

单车再次获得E轮融资就是这一现象的具体体现。 据最新消息显示,全球智能共享单车行业首创者单车于6月16日完成了最新一轮超过6亿美元的融资。...让人没有想到的是,还没有等到ofo宣布新一轮融资的消息,单车已经率先宣布了E论融资的消息。 格局已定,单车和ofo开始新的发展。...这些端倪就是国内的共享单车市场格局已经确定,接下来将会是更加纵深的发展。因为近日单车与曼彻斯特、索尔福德两座城市的合影已经刷爆了朋友圈。 为什么单车会将目光转移到海外呢?...在这样一个阶段,即使是单车、ofo这两大共享单车领域的巨头都不可避免地会卷入到这场战争之中。 随着单车宣布完成E轮融资,共享单车市场的格局似乎已经被早早确定下来。...正如单车的联合创始人王晓峰所说的那样,单车将会利用新的融资进行新一轮的市场扩张以及自身附加值的提升,但是国内中小型的共享单车却没有资金和精力进行这些操作。

69950

抓取手机app的数据(单车

前几天有人私信我,问能不能帮忙抓取单车的数据。。。 我想着授人以鱼不如授人以渔,所以本次我们就讲讲如何抓取手机app的内容吧  Fiddle的安装及配置 抓手机包我用的是fiddle。...安装https证书 在手机浏览器上打开 你电脑ip:你设置的端口号 我的是192.168.31.146:8888 点击框框处安装证书 设置fiddle监听所有请求 选择all process 打开单车...因为我之前还用过的小程序,所以我们抓抓微信小程序试试看 打开单车的小程序 我们看到已经定位了。。...,并且把附件的单车都显示出来了 我们可以多移动我们的位置,然后等有把附近的车显示出来 可以看到fiddle上面已经有好多请求了 那么如何找到的那一条呢。。。 很简单,看单词就好。。。...一共898个, 然后查了这898个小区附件的单车情况….

1.7K120

单车非官方大数据分析

2017-7-19:想查看当前单车实时位置?请看 http://www.jianshu.com/p/058d847ba297 趁着过年的清闲时光,我抓取了单车的数据并进行了大数据分析。...成都的单车的整体情况如下: 标准车型和Lite车型数量相当 单车在成都大约已经有6万多辆车,两种类型的车分别占有率为55%和44%,可见更为好骑的Lite版本的占有率在提高。...出行距离分布 单车骑行次数以5次以下居多 单车的使用频率越高共享的效果越好。从单车的数据看,在流动的单车中,5次以下占据了60%左右的出行。...但1次、2次的也占据了30%左右的份额,说明单车的利用率也不是很高。 ? 单车骑行次数 ?...单车骑行次数 从单车看城市发展 从单车的热图分布来看,成都已经逐步呈现“双核”发展的态势,城市的新中心天府新区正在聚集更多的人和机会。 ?

90930

单车启动全国免押金,共享单车开启全新洗牌模式

单车在被美团收至麾下之后动作似乎相比之前少了很多,但是今天单车却宣布将会在全国百座城市实现无门槛免押金的活动,除了自己对用户免押金之后,还号召行业内的其他公司共同推广这一活动。...根据拜官方宣布的消息,今年五月初单车已经在全国的六座二线城市实现了免押金的活动。六月份,则将这一优惠的力度拓展到了全国百城新老用户的免押金的活动,而且不需要任何的信用积分。...由此,单车便开始了免押金城市不断扩大的进程。截止目前,单车的免押金骑行的活动已经拓展到了百座城市。...从这个角度来看,单车俨然已经成为当下共享单车市场的引领者,市场地位似乎已经确定。而这或许正是单车想要达成的效果。...同单车不一样的是,ofo则宣布取消信用免押金的活动,仅保留上海、杭州、广州、深圳、厦门五城。单车与ofo在免押金骑行上的不同表现似乎在告诉我们共享单车市场的用户和市场份额的战役并未结束。

26910

抓取单车分布数据做区域价值分析

仅就单区域而言,已经分布着膜拜、ofo、永安行旗下的5-7种单车,共享单车的数据样本确实足够巨大,反应的是人口密集度、区域价值、人口流动方向等等维度的指标。...下面是根据由知乎大神“团支书”根据膜拜单车提供的数据制作的关于上海市人口分布情况: ? 上图是以单车数据为例,绘制出的2017年某天上午该品牌共享单车在上海市的大致空间分布图。...圆圈越大说明在该时段使用共享单车的人越多。很显然:工作日的早晚高峰(早上7-9点,晚上17-20点)是共享单车的使用高峰期,该期间的使用占比约为36%。...下面就大致简单地说一说怎么样抓取泉州膜拜单车,或者其他单车的数据: 下图是我要单车小程序上的区域单车分布,因为单车的APP暂时没有API借口,并且不开放抓取,所以就用小程序上单车的分布数据了:...6、打开单车的微信小程序,定位到要抓取的区域上,等单车现实后,就可以在fidder上现实所要的数据,需要提取的是post方法里的含有mobike-api内容的数据: ?

1.3K71

单车正式进军日本,积极拓展海外市场

近日,单车宣布进入日本,并已在福冈市成立单车日本分公司,这是继新加坡和英国之后,单车进入的第3个海外市场。...近日,据媒体报道,单车将正式进军日本,并将在日本福冈市成立单车日本分公司。这对来说,在海外市场又下一城。据悉,这是的第3个海外市场,而在这之前,还在新加坡和英国崭露头角。...据单车海外拓展总监克里斯·马丁透露,进入日本市场是一项非常激动人心的新成就。福冈市向来以创新和活力闻名,与单车的合作可谓水到渠成。...据统计,自4月以来,单车单月活跃用户量环比增速超过200%,过去一个月单车新增2400万注册用户,继续保持市场领先地位。...而且,近日单车宣布完成一笔超过6亿美元的新一轮融资,这也是共享单车行业目前为止的单笔融资最高纪录,足见的实力。 此外,也有消息显示,单车今年底将拓展至全球200城。

31330

利益角逐:单车与ofo合并的最大变数

文|孟永辉 著名投资人朱啸虎有关单车与ofo若想盈利必先合并的言论再次引发人们关注。有关单车与ofo能否合并的讨论开始出现,整个市场再次将目光聚焦在了这两大共享单车巨头的身上。...诚然,单车与ofo是否合并对于你我的影响都并不大,因为这是资本收割的必然结果。如果两个一味地缠斗而没有"眉来眼去"反倒有些不正常了。那么,单车与ofo会不会合并呢?...市场格局已定让单车和ofo并不存在外部威胁,他们只需要按照当前的节奏前进即可。所以,互联网市场的整体气候决定了单车与ofo之间的合并并不是特别迫切。...因此,从互联网巨头的层面上来看,单车和ofo并不会有合并的可能。 第三,资本的耐力有限,将会成为单车与ofo合并的主要推动者。...随着各方势力的此消彼长,单车与ofo合并的走势将会愈加清晰,等到各方势力的角逐确定胜负的时候,或许才是单车与ofo能够真正合并的时刻。

53050

300万单车出行记录数据,预测骑行目的地

本文300万单车出行记录数据获取和源码地址: 在公众号 datadw 里 回复 即可获取。 单车在北京的单车投放量已经超过40万。...用户可以直接在人行道上找到停放的单车,用手机解锁,然后骑到目的地后再把单车停好并锁上。因此,为了更好地调配和管理这40万辆单车,需要准确地预测每个用户的骑行目的地。...标注数据中包含300万条出行记录数据,覆盖超过30万用户和40万单车。数据包括骑行起始时间和地点、车辆ID、车辆类型和用户ID等信息。参赛选手需要预测骑行目的地的区块位置。 ?...源码地址: 在公众号 datadw 里 回复 即可获取。

87440

就在刚刚,服务系统全面瘫痪,单车又出问题

单车服务系统出现异常,在行业早期将问题暴露出来,对运营商们来说或许是件好事。 单车的用户应该都有一个感觉,自清明假期结束后,想骑车就变得不是那么容易了。...其实,宕机并不仅仅发生了这一次,据多名网友透露,单车自清明假期后在多个地区都出现过宕机现象,有些地区的服务异常甚至持续了15个小时甚至以上,今天傍晚时分更是大面积服务异常。...对此,方面通过其官方微博表示,因为系统正在维护,所以在短时间内导致了用户无法使用单车和注册账号。此外,还建议用户选择其他的出行方式,并对广大用户表示了歉意。 ?...随着资本对共享单车的热捧和各运营商扩张式的“掠夺”市场,这种出行方式在众一线城市已经获得了普遍的认可,注册用户和同时在线使用人数也随之激增。据统计,仅单车的注册用户就已经超过了1000万。...在运营商们被数据冲的激情昂扬之时,单车服务系统出现异常,在行业早期将问题暴露出来,对运营商们来说或许是件好事。

37330

单车大五位数收购域名moiot.com

[图片]   一开始双方邮件往来,米丁并不知道对方是单车,直到整个交易完成,后来他去查moiot.com的whois信息,才发现买家原来是单车。  ...:不仅是单车还是物联网平台   iot是Internet Of Things的缩写,中文简称“物联网”,在含义上,域名moiot.com可以理解为“物联网”。...作为出行领域的佼佼者已经渐渐融入了我们的生活,与其把看成了一家共享单车厂商,倒不如说它是一家物联网企业。   为什么说是一家物联网企业?...在感知层,单车首创将GPS定位模块、物联网芯片集成在车身智能锁上的模式,并为每辆单车安装了“北斗+GPS+格洛纳斯”多模卫星导航芯片和物联网通信芯片。   ...目前已经逐渐脱离单纯的共享单车概念,朝物联网生态平台的方向发展,这可能也是未来和其他共享单车平台拉开距离的关键点,而这也是为什么单车会收购域名moiot.com的原因了,毕竟拥有一个理想的域名,

71800

TiDB 在单车在线数据业务的应用和实践

作者:Mobike / 技术研发部 / 基础平台中心 丁宬杰 胡明 背景 单车于 2015 年 1 月成立,2016 年 4 月 22 日地球日当天正式推出智能共享单车服务,截至 2017 年 11...月中旬,已先后进入国内外超过 180 个城市,运营着超过 700 万辆单车,为全球超过 2 亿用户提供着智能出行服务,日订单量超过 3000 万,成为全球最大的智能共享单车运营平台和移动物联网平台...单车于 2017 年初开始使用 TiDB,从最早的 RC3、RC4、PreGA、到现在的 1.0 正式版,一步步见证了 TiDB 的成熟和稳定。...豆信用分业务 [1240] 单车信用分业务与用户骑行相关,用户扫码开锁时先行查询用户信用积分判断是否符合骑行条件,待骑行完成后,系统会根据用户行为进行信用分评估并进行修改。...后记 部署 TiDB 近一年来,单车经历了用户数量近十倍,日骑行数据数十倍的增长,依靠 TiDB 在线扩容的能力,我们完成了多次数据库扩容与服务器更换,而且这些操作对业务是完全透明的,我们可以更专注于业务程序的开发与优化

1.1K10
领券