地图开发科普篇:浅谈GPS大数据的实时处理和离线处理

2017/12/18

MONDAY

实时处理:Flume+Kafka+Storm+Mongo

数据实时处理是指通过Flume进行数据的的采集,将数据推送给Kafka,kafka作为数据的缓存层。Storm作为kafka的消费者,对采集上来的数据进行实时处理,并通过Web在前端进行展示。与此同时,我们能够实时统计和分析车辆的在线总数,轨迹点总数,对此做一些相关应用。

数据来源

主要是通过Nginx 服务器获取GPS数据和MSp数据,数据格式为json

数据采集

通过Flume的拦截器对日志进行预处理,将数据存储在缓存层kafka

数据统计

通过Storm实时拉取数据做计算,将临时结果数据存储在Redis

数据落地

最终的数据存储在Mongo中,定时获取Redis中的数据存储在Mongo

Web展示

通过查询数据库,定时更新前端页面,可以查看车辆停留点,实时位置,历史轨迹以及行车里程等信息

离线批量处理 :hadoop +Hbase+Phoenix

数据离线处理是指是通过GPS点数据,分析车辆的一些行为特点。例如:车辆的最大速度,最小速度,停留点,急加速,急减速等相关指标。

离线处理主要通过Hadoop分布式存储+MR分布式运算的框架,对海量数据进行批量的统计和分析。

1、分析车辆GPS点数据,通过MapReduce调用抓路纠偏引擎,获取GPS点的道路相关信息,生产批量临时文件。

2、通过Phoenix 加载中间数据到Hbase中,通过查询HBase这个数据仓库获取各个指标计算,例如道路等级,行政区划排行,以及车的归属地,车速等。通过数据的建模和历史数据的统计和分析,能够对车辆以及驾驶行为做出有效的判段。

当下,我们正处于一个多维度的大数据时代。

而其中几乎所有的大数据都需要而且可以与地理时空数据融合,所以地理空间信息在大数据分析过程中变得更加重要,许多行业的大数据需要与地理空间数据相结合,才能做出更合理的分析。

而我秀中国针对大数据的位置属性,结合各行业的特点,建立大数据分析、大数据决策的场景,分析行业需求,可以为政府、科研机构和行业企业提供有力的预研、决策数据支撑和可视化展示服务。

本文作者:秀友科技高级研发工程师 安国安

本文来自企鹅号 - 我秀中国地图服务媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java架构

微服务是传统企业电商解决方案的银弹吗?成功实施微服务的先决条件挑战和风险业务方面的思考演进路线结论

1773
来自专栏达摩兵的技术空间

所谓“前端能力不足”

随着前端越来越多的被提上日程,用户对产品的体验度要求越来越高,产品除了实用的特性还必须满足方便用,美观,交互好,人性化等一系列的操作,谁的产品先做到这些,就能获...

954
来自专栏WeTest质量开放平台团队的专栏

鲜科技!内部云游戏沙龙分享

云游戏,也叫订制游戏,是在线游戏的一种不只是网页游戏或者是微端游戏,是一种游戏输入,运算,和画面显示分离的技术。目前有2种主要的云游戏形式:基于视频串流的云游戏...

4817
来自专栏Albert陈凯

2018-08-01 编程十年,Java技术线路

https://my.oschina.net/u/3779583/blog/1862418

771
来自专栏IT大咖说

天天写业务代码,如何成为技术大牛!

不管是开发、测试、运维,每个技术人员心理多多少少都有一个成为技术大牛的梦,毕竟“梦想总是要有的,万一实现了呢”!正是对技术梦的追求,促使我们不断地努力和提升自己...

1333
来自专栏程序你好

微服务实战: 从电子商务平台到微服务电子商务(Omni-Commerce)

对于企业来说,微服务比单体架构应用更灵活,尤其是零售和电子商务行业来说。了解这个解决方案面临的挑战和系统架构。

1153
来自专栏Java架构

开发十年,只剩下这套Java开发体系了阅读源码分布式架构微服务性能优化并发编程开发工具项目实战

蓦然回首自己做开发已经十年了,这十年中我获得了很多,技术能力、培训、出国、大公司的经历,还有很多很好的朋友。

892
来自专栏Jerry的SAP技术分享

SAP成都研究院姚瑶:软件质量保证工作的变迁

大家好,我是来自SAP成都研究院Revenue Cloud 团队的质量工程师 , yoyo。很高兴可以和大家分享我个人的工作体会。每个团队都有QE(Qualit...

813
来自专栏小程序服务商

开发小程序公司如何选择 定制制作微信小程序多少钱?

首先,看其有无负面消息。在各大搜素引擎中搜索该公司的名字,如果出现“骗子”、“骗人”等负面性词汇时,则表明该公司对外的口碑并不好。反之,如果没有任何负面消息出现...

3431
来自专栏程序工场

阿里巴巴、百度、腾讯都在用的Java架构师知识体系

源码分析是一种临界知识,掌握了这种临界知识,能不变应万变,源码分析对于很多人来说很枯燥,生涩难懂。

942

扫码关注云+社区

领取腾讯云代金券