前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >时空大数据云平台

时空大数据云平台

原创
作者头像
魏守峰
修改2020-01-19 10:34:29
5.5K0
修改2020-01-19 10:34:29
举报
文章被收录于专栏:点滴积累点滴积累点滴积累

为了解决当前数据中心运营过程中的数据管理组织混乱,无法深入数据本身,无法实现在线查看、浏览、分析计算等问题,我司推出了一款时空大数据云平台,能够实现数据的在线管理、在线可视化、在线计算以及在线代码编辑器等功能。

一、在线管理

当前数据中心数据管理方式多为FTP,用户只能看到数据包含的文件信息,而无法看到真实的数据信息。针对大多数常用的空间数据以及观测数据(SHP、GEOJSON、KML、TIF、IMG、JP2、TXT、CSV、EXCEL、DAT等),平台能够像百度网盘一样进行数据的上传、下载、删除、移动、重命名等常规操作。并可以深入到数据实体而非数据文件进行管理,能够查看数据的缩略图,查看数据元数据(包含波段、空间范围、大小、分辨率等),查看数据统计信息(包含字段、数量、最大值、最小值、平均值等信息)等。

数据管理
数据管理
元数据
元数据
数据详情
数据详情
缩略图
缩略图

通过这些信息能够让用户对此数据有一个直观的了解,但这些还不够,还不足以让用户全面的了解一个数据,于是我们实现了数据在线可视化功能。

二、在线可视化

当前数据中心只能针对选定的特殊数据,采用提前发布服务的方式供用户在线浏览,需要提前进行大量的预处理操作并且用户无法实现自行配置可视化样式。针对此,平台支持用户直接将上传到平台的空间数据叠加在地图上进行可视化,并能够配置点线面以及波段的显示样式等,还可以查看每一个空间对象的属性信息;观测数据可以通过表格和图表两种方式进行查看,并支持字段过滤等简单清洗操作;若观测数据包含空间信息(诸如经纬度、地址等),还可以将观测数据转为空间数据,在地图中进行可视化。

数据可视化
数据可视化
矢量数据可视化
矢量数据可视化
栅格数据可视化
栅格数据可视化
观测数据可视化
观测数据可视化
观测数据可视化
观测数据可视化
数据过滤
数据过滤
空间化
空间化

系统还支持直接将可视化结果输出,用户可以自行配置标题、指北针、图例、比例尺、作者、时间等要素信息。

地图输出
地图输出

当我们需要查看某个地区一段时间的变化情况时,能够将此地区所关注的数据叠加到地图中,并按照时间顺序逐一显示,会让我们对此地区的变化情况一目了然。为此我们设计了长时间序列数据可视化功能,能够在地图中按照时间顺序动态显示数据。

长时间序列可视化
长时间序列可视化

三、在线计算

当前数据中心几乎只能提供数据申请等“静态”操作,若用户需要处理数据,则需下载到本地使用自己的计算机完成计算,不仅操作繁琐,还无法发挥出云端分布式计算、流式计算等高效计算的优势。针对此,我们研发了在线计算功能,用户无需将数据下载到本地,即可将多个相关数据在云端进行计算分析。目前已经实现常用 GIS 软件中大多数通用分析方法,包含缓冲区分析、获取中心点、提取边界、插值、栅格化、坡度坡向、山影、波段计算器、NDVI 等,还可以对数据进行切割、投影变换等操作,观测数据可以实现 JOIN、GROUP、DISTINCT、字段计算器等操作。

插值
插值
NDVI
NDVI
字段计算器
字段计算器

四、在线代码编辑器

若以上分析方法无法满足用户对数据处理分析的要求,我们还提供了在线代码编辑器,用户可以在线使用 python 语言编写代码,调用平台中的数据和上述一系列封装好的基础分析方法,实现自己的分析方法和模型,并调用平台的计算资源在线得到计算结果。

在线代码编辑器
在线代码编辑器

当然,用户也可以直接调用 pandas、spark、matplotlib 等常用科学分析库来处理平台中的数据,得到自己想要的结果。

在线代码编辑器-pandas库
在线代码编辑器-pandas库
在线代码编辑器-spark
在线代码编辑器-spark

五、总结

平台通过以上四个部分,实现了完整的数据中心解决方案。对于数据中心的管理者来说,解决了数据中心运营中的诸多不便和问题,扩展了数据中心功能;对于用户来说,增强了用户体验,提高了用户黏度。

*武汉一格空间科技有限公司*

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、在线管理
  • 二、在线可视化
  • 三、在线计算
  • 四、在线代码编辑器
  • 五、总结
相关产品与服务
流计算 Oceanus
流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的企业级实时大数据分析平台,具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档