构建基于LBS的大数据应用

目前,3.0产品最重要的技术——电子围栏技术:电子围栏是精确捕捉用户场景,实时给用户推送有价值消息的手机推送解决方案。客户根据业务需求,在地图上设置电子围栏区域和目标用户属性,通过冷数据画像(结合大数据分析,筛选目标用户)以及热数据投放(当目标用户进入电子围栏实时触发),做到在合适的时间、合适的地点、合适的场景、把合适的内容、推送给合适的人。

构建基于LBS的大数据应用,一般的实现流程为:通过信息收集后进行基础数据的整理,数据挖掘/机器学习,服务搭建以及数据可视化等。

数据挖掘的基本流程

基础数据的处理主要包括:数据集成和一些部分数据处理。

数据集成,数据挖掘或统计分析可能用到来自不同数据源的数据,我们需要将这些数据集成在一起。但如果只有一个数据源,这一步可以省略。

基础数据处理,有些数据是缺失的(数据属性的值是空值),有些数据是含噪声的(属性的值是错误的,或有孤立点数据),有时同样的信息采用了多种不同的表示方式(在编码或命名上存在不一致),基于种种问题要对数据进行基础的处理。通过基础数据处理,可以确保村人数据仓库中的信息是完整、正确和格式一致的。

数据转换主要是利用现有的字段进行运算来得到新的字段,通常说到数据变换主要包括四种:数据离散化(采用分箱等方式)、产生衍生变量、使变量分布更接近正态分布、数据标准化。如果对连续变量进行离散化,可以避免引入任何分布假设。这样就不需要符合正态分布了。 数据挖掘时只根据数据库中的数据,用合适的数据挖掘算法进行分析,得出有用的信息。其中,模型算法质量的评价是很重要的一步。且数据挖掘是一个循环往复的过程。

基于LBS的大数据应用需要解决很多问题:基础数据问题比如海量数据流(>20W 条/s)、数据处理性能复杂计算(定位和统计)、准确率、秒级实时性要求、以及数据的实时性等。对此,个推的解决方案是:分布式流式计算框架、Spark Streaming、发布/订阅模型、Apache Kafka、Events等。

最后,基于大数据的LBS应用,可以使用分布式流式计算框架,构建数据闭环,从而实现持续优化基础数据。

目前的成功案例有: 1.杭州白马湖动漫节的安全保障。本通过海量的样本数据采集和分析,以实时人流热力分析图为主要服务接口,监控动漫节期间杭州滨江区白马湖动漫广场附近的人流去向和拥挤程度。这一项部署建立了白马湖区块的实时监控和人流预警系统,在人流量超过一定数量的时候实时发布预警,从而及时提醒相关人员注意对应区域的高峰人流量疏散和引导,从源头上防范踩踏事件及避免安全隐患的发生。 2.发生地震时实时警报,并通过大数据对人群热力图的分析,为震后救援工作定制合理方案及提供有效帮助。 3.与旅游局合作,将旅游分析热点图与实时推送相结合,用于疏散和引导景区高峰人流量,避免危险事件发生。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

MIT团队开发用脑电波和手势控制机器人的系统

让机器人做事并不容易,通常,科学家必须明确地编程或让它们了解人类如何通过语言进行交流。

11330
来自专栏华章科技

业余时间学数据分析,如何快速上手

广泛被应用的数据分析:谷歌的数据分析可以预测一个地区即将爆发的流感,从而进行针对性的预防;淘宝可以根据你浏览和消费的数据进行分析,为你精准推荐商品;口碑极好的网...

15040
来自专栏华章科技

分布式实时处理系统浪潮——浅析“深度学习”看未来发展

Autodesk资深系统研发工程师,从事平台架构方面的研发工作。曾在思科系统(中国)研发中心云产品研发部工作多年,全程参与了海量数据实时处理、分析系统的构建与实...

8120
来自专栏专知

【前沿】人工智能系统的四大趋势与九大挑战,美国Berkeley14位重量级学者(包含机器学习泰斗Jordan)最新观点

【导读】最近,加州大学伯克利分校大学的大牛们针对目前AI的火爆形势,又总结了一篇《A Berkeley View of Systems Challenges f...

1.1K60
来自专栏量子位

又大又沉!老黄发布英伟达GPU服务器标准平台HGX-2

18620
来自专栏新智元

【比竞争对手快3倍】微软官方发布CNTK 2.0,增加 Python 和 Keras 支持

【新智元导读】微软今天发布了深度学习工具包CNTK的2.0版本,新版本增加了支持 Keras 的 CNTK 后端,Java API,模型评估的 Spark 支持...

43780
来自专栏人工智能头条

谷歌工智能开源项目Tensorflow预示着硬件领域的重大变革

16930
来自专栏PPV课数据科学社区

☞【实践】数据可视化技术指南(附加视频)

☞【实践】数据可视化技术指南(附加视频) 转自:36大数据 ? 图为:美国立法程序 大数据是时下热议的话题,伴随着大数据,同样已经激增的数据可视化方法和呈现形式...

43150
来自专栏开源优测

大数据测试学习笔记之数据质量

大数据测试学习笔记之数据质量 数据质量定义 先搜索了一把,发现当前对于数据质量的定义没有一个共识的定义,通过阅读一些资料,做了些总结,可以从以下几个方面来定义数...

48780
来自专栏EAWorld

【超详解PPT】元数据驱动的微服务架构(上)

? 各位好!很高兴能与大家分享“元数据驱动的微服务架构”。 ? 本次分享有两个部分:1、微服务架构需要元数据,2、介绍微服务与元数据的关系。下期会分享:微服务...

61070

扫码关注云+社区

领取腾讯云代金券