专栏首页三言两语基于Spark的大数据热图可视化方法

基于Spark的大数据热图可视化方法

概述

针对普通客户端浏览和分析大数据困难的问题, 结合 Spark 和 LOD 技术, 以热图为例提出一种面向大数据可视化技术框架. 首先利用 Spark 平台分层并以瓦片为单位并行计算, 然后将结果分布式存储在 HDFS 上, 最后通过web 服务器应用Ajax技术结合地理信息提供各种时空分析服务.文中重点解决了数据点位置和地图之间的映射, 以及由于并行计算导致的热图瓦片之间边缘偏差这2个问题.实验结果表明,该方法将数据交互操作与数据绘制和计算任务分离, 为浏览器端大数据可视化提供了一个新的思路.

目前大数据可视化面临的主要问题包括:

1) 数据复杂散乱. 经常发生数据缺失、数据值不对、结构化程度不高. 2) 迭代式分析成本高. 在初次查询后如果发现结果不对, 改变查询条件重新查询代价高. 3) 构建复杂工作流困难. 从多数据源取得包含各种不同特征的原始数据,然后执行机器学习算法或者复杂查询, 探索过程漫长. 4) 受到原有技术限制, 对小规模数据分析很难直接扩展到大数据分析. 5) 数据点的规模超过普通显示器可能提供的有效像素点. Hadoop和Spark先后成为大数据分析工业界的研究热点,前者是一个能够对大量数据提供分布式处理的软件框架和文件系统(hadoopdistrib-utedfilesystem,HDFS);后者是一个通用大数据计算平台,可以解决大数据计算中的批处理、 交互查询及流式计算等核心问题.Zeppelin可以作为Spark的解释器,进一步提供基于 Web 页面的数据分析和可视化协作可以输出表格、柱状图、折线图、饼状图、点图等,但是无法提供更为复杂的交互分析手段.

相关工作

面向 web 的轻量级数据可视化工具主要是一些JavaScript库,利用canvas或者svg画散点,svg不能支持十亿以上的节点,使用 canvas 画布绘图的heatmap.js 在面对大数据量时也无能为力. 热图是一种常用的基本数据可视化技术,通常用颜色编码数值大小,并以矩阵或方格形式整齐排列,在二维平面或者地图上呈现数据空间分布,被广泛应用在许多领域.近年来,许多研究者成功地将热图应用在眼动数据可视分析上, 有效地概括并表达用户视觉注意力的累计分布 LOD针对数据可视化绘制速度慢、效率低等问题,孙敏等提出基于格网划分的LOD(levelsofdetail)分层方法, 实现对大数据集 DEM 数据的实时漫游.

并行计算大数据热图

  • 经纬度换算
  • 并行计算 在 Spark 平台上实现热图的绘制,首先将经纬度坐标转换为对应不同瓦片上的像素坐标.每个基站的辐射范围可近似认为相同, 即每个基站(收集数据的基站坐标)的初始影响力近似相同,因此可采用影响力叠加法将数据点绘制到画布上,然后做径向渐变,叠加出每个位置的影响大小,得到初始灰度图,如图2a所示.然后将每一个像素点着色,根据每个像素的灰度值大小,以及调色板将灰度值映射成相对应的颜色. 图 2b 是一个透明的PNG 格式图片, 调色板如图 2c 所示. 本文中出现的热图均采用图 2c 调色板.

将计算出的热图结果存储在HDFS上,并与经纬度以及层级建立索引关系方便以后读取,拼接后的热图绘制效果如图 3 所示.

瓦片边缘问题

边缘热点可能处于2片或者4片瓦片之间,因此需要通过2次或者4次重复计算.通过本文提出的重叠计算方法可以解决热图分片计算的边缘问题。

实验

总结

本文提出的大数据热图可视化方法能够有效地解决前端绘制计算量大的问题,通过在Spark平台上以瓦片为单位分层次并行计算热图, 将生成的热图存储在HDFS上,然后通过web服务器提供浏览器交互服务, 用户可以通过在地图上拖动鼠标或放大/缩小等操作选择感兴趣区域,再分析不同时间点用户行为差异或渐变过程. 通过解决热图数据点和地图映射关系问题以及瓦片热图之间的边缘问题,提供大数据热图绘方法, 以满足用户交互、协同和共享等多方面需求.该方法可以拓展到其他常用可视化方法,如ScatterPlot, Bar Chart,平行坐标等.但绘制过程是基于Spark计算后得到的离线数据,在实时性上还不能得到保证, 在下一步工作中, 我们将着手利用 Spark Streaming 库来解决这一问题.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • IDEA如何在项目中快速添加Maven依赖

    在日常项目开发中,组件的引入是很平常的事情,一般来说,我们的项目由Maven构建,然后在需要新引入一个依赖时,只需在pom.xml中添加依赖描述即可,但是,有时...

    ZONGLYN
  • 初识图数据的可视化

    图是信息科学中最常用的一类抽象数据结构,能够直观的表达现实世界中对象之间的真实关系。许多重要应用都需要用图结构表示,传统应用如最优运输路线的确定、疾病爆发路径的...

    ZONGLYN
  • IDEA中调试Topology出现的错误

    在IDEA的maven项目中编写Topology出错: NoClassFound找不到主类:解决– 在pom.xml中,找到中的storm,添加<>compi<...

    ZONGLYN
  • 速读原著-TCP/IP(往返时间测量)

    T C P超时与重传中最重要的部分就是对一个给定连接的往返时间( RT T)的测量。由于路由器和网络流量均会变化,因此我们认为这个时间可能经常会发生变化, T ...

    cwl_java
  • 如何10分钟装扮成大数据营销专家?

    首先要花记住几个词:跨屏、精准、RTB、程序化购买、定向……然后说出来,是否觉得比以前的4P、4C等等更有面子?

    华章科技
  • 结合Flink,国内自研,大规模实时动态认知图谱平台——AbutionGraph |博文精选

    AbutionGraph:北京图特摩斯科技自研的国内首个准实时多维图形数据库,首个将实时/离线/指标聚合/图挖掘/AI框架等热门技术线深度整合在一起的认知图谱平...

    AI科技大本营
  • 用户密码传输和存储的保护

    软件设计的过程中,用户的密码信息最为敏感,在进行用户登录验证时,除了将密码在传输的过程中,进行md5加密,避免密码明文传输过程中被截获外,还有一个就是密码在数据...

    码农阿宇
  • Windows 使用/优化 Windows 系统电脑提升使用体验的基本思路

    3.从官方渠道下载操作系统,不选择第三方打包后的“精简版”操作系统。 感谢 @WJXXBSH

    Erwin
  • 大数据商业智能的十大戒律

    如今,各路企业和组织都不再使用上一代架构来存储大数据。既然如此,为什么还要使用上一代商业智能(BI)工具来进行大数据分析呢?在为企业选择BI工具时,应该遵守以下...

    华章科技
  • 盘点 | 2015年Q3—2016年Q1 中国大数据领域投融资总金额超24亿元

    <数据猿导读> 回顾2015年Q3—2016年Q1连续9个月投融资动向,其中: 大数据行业已披露金额融资总额约24.2亿元人民币 大数据行业共计发生37起投融资...

    数据猿

扫码关注云+社区

领取腾讯云代金券