点滴积累-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

点滴积累

专栏成员

108

文章

180138

阅读量

44

订阅数

时空大数据云平台

数据可视化 spark

为了解决当前数据中心运营过程中的数据管理组织混乱，无法深入数据本身，无法实现在线查看、浏览、分析计算等问题，我司推出了一款时空大数据云平台，能够实现数据的在线管理、在线可视化、在线计算以及在线代码编辑器等功能。

2020-01-18

5.6K0

geotrellis使用（三十三）关于Geotrellis读取Geotiff的两个细节

前言在上两篇文章中我介绍了如何直接将Geotiff（一个或者多个）发布为TMS服务。这中间其实我遇到了一个问题，并且这个问题伴随Geotrellis的几乎所有使用案例，下面我详细讲述。一、问题描述无论在将Tiff文件使用Geotrellis导入Accumulo中还是直接将其发布为TMS服务，其实这中间都存在一个问题：当多个Tiff文件存在重叠部分的时候如何接边、去重叠以及在边界处的瓦片如何取出各Tiff文件中涉及到的数据，即保持瓦片显示效果的完整性。这个问题可以说是一个问题也可以说是两个问题。当我们

2018-05-02

9550

geotrellis使用（二十）geotrellis1.0版本新功能及变化介绍

hbase spark 分布式

目录前言变化情况介绍总结一、前言之前版本是0.9或者0.10.1、0.10.2，最近发现更新成为1.0.0-2077839。1.0应该也能称之为正式版了吧。发现其中有很多变化，在这里为大家简单介绍。二、变化情况介绍 2.1 数据导入变化之前数据导入参数基本都要写在命令行，刚查看之前写的博客发现没有介绍数据导入的，只有一个老版的调用本地数据的，本文就在这里简单介绍Geotrellis的数据导入。 Geotrellis可以将数据（Tiff）从本地、HDFS

2018-04-28

1.1K0

geotrellis使用（二十四）将Geotrellis移植到CDH中必须要填的若干个坑

分布式 spark

目录前言若干坑总结一、前言近期干了一件事情，将geotrellis程序移植到CDH中（关于CDH，可以参考安装ClouderaManager以及使用ClouderaManager安装分布式集群的若干细节），本以为这是件很简单的事情，没想到跟安装CDH一样却碰到了许多的坑，很多事情真的就是这样，我们不去亲自实践觉得都是简单的，当我们真正甩开膀子去干的时候却发现会遇到各种各样的问题，但是当我们将这些一个个解决的时候，你收获的将不仅是美好的结果，更是很多通过学习无法得到的东西，这应该就是古

2018-04-28

9050

geotrellis使用（二十五）将Geotrellis移植到spark2.0

目录前言升级spark到2.0 将geotrellis最新版部署到spark2.0（CDH）总结一、前言事情总是变化这么快，前面刚写了一篇博客介绍如何将geotrellis移植导CDH中（见geotrellis使用（二十四）将Geotrellis移植到CDH中必须要填的若干个坑），刚各种折腾几天，就又跑不起来了，查找一番，发现是由于将geotrellis升级到最新版造成的，所以不得不赶紧再救火。原来是最新版以及以后的版本geotrellis都不再支持spark2.0以下版本，没办法只

2018-04-28

8090

geotrellis使用（十七）使用缓冲区分析的方式解决单瓦片计算边缘值问题

html spark 编程算法

Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html 目录前言需求分析实现方案总结一、前言最近真的是日理千机，但是再忙也要抽出时间进行总结。上一篇文章讲了使用缓冲区分析的方式解决投影变换中边缘数据值计算的问题（见geotrellis使用（十六）使用缓冲区分析的方式解决投影变换中边缘数据值计算的问题）。实际中往往还有一种需求就是对单个瓦片进行操作，比如求坡度等，如果这时候直接计算，同样会出现边缘值计算

2018-04-28

7960

使用bokeh-scala进行数据可视化

scala 数据可视化 spark

目录前言 bokeh简介及胡扯 bokeh-scala基本代码我的封装总结一、前言最近在使用spark集群以及geotrellis框架（相关文章见http://www.cnblogs.com/shoufengwei/p/5619419.html）进行分布式空间地理系统设计（暂且夸大称之为地理信息系统），虽说是空间地理信息系统但是也少不了数据可视化方面的操作，所以就想寻找一款支持大数据的可视化框架，网上查阅半天发现bokeh不错（其实是老板直接指明方向说用这款），恰好bokeh也有sc

2018-04-28

1.7K0

geotrellis使用（六）Scala并发（并行）编程

本文主要讲解Scala的并发（并行）编程，那么为什么题目概称geotrellis使用（六）呢，主要因为本系列讲解如何使用Geotrellis，具体前几篇博文已经介绍过了。我觉得干任何一件事情基础很重要，就像当年参加高考或者各种考试一样，老师都会强调基础，这是很有道理的。使用Geotrellis框架的基础就是Scala和Spark，所以本篇文章先来介绍一下Scala编程语言，同样要想搞明白Scala并发（并行）编程，Scala基础也很重要，没有Scala语言基础就谈不上Scala并发编程也就更谈不

2018-04-28

1.4K0

geotrellis使用（七）记录一次惨痛的bug调试经历以及求DEM坡度实践

spark 数据库

眼看就要端午节了，屌丝还在写代码，话说过节也不给轻松，折腾了一天终于解决了一个BUG，并完成了老板安排的求DEM坡度的任务，那么就分两段来表。一、BUG调试首先记录一天的BUG调试，简单copy了之前写好的代码（在前面几篇博客中已有介绍），然后添加了求坡度的代码，坡度代码暂且不表，然后满怀欣喜的上线，打开浏览器访问，以为节前的工作就可以告一段落了，谁知一天的辛苦就此拉开序幕——竟然空白一片，什么都没有，怎么会没有瓦片，难道数据没有导入，对spark集群各种检查，accumulo数据

2018-04-28

1K0

geotrellis使用初探

最近，单位领导要求我研究一下geotrellis(GITHUB地址：https://github.com/geotrellis/geotrellis，官网http://geotrellis.io/)，于是我只能接受这个苦逼的任务。官网中写到：GeoTrellis is a geographic data processing engine for high performance applications.可以看出这个框架主要是用来进行地理信息数据的高性能快速处理，当然是个很有用的东西，但是怎么学习之，是

2018-04-28

1.6K0

使用Ambari安装hadoop集群

spark ubuntu hadoop

最近需要做些spark的工作，所以弄了几台dell7500就这么准备开始搭建集群，之前用过几台更破的台式机搭建过一次，折腾了半个月之久，终于成功搭建，这次不想走老路，所以网上查了一下，发现一个神器AMBARI，可以部署、管理集群，果然是个好东西，所以就拿来用，但是在安装的过程中碰到了许许多多的问题，所以现在把安装过程总结一下，放到这里，以方便下次安装或者其他有对ambari感兴趣的同学可以参考之。安装过程大量查阅了网上的相关资料，主要是https://cwiki.apache.or

2018-04-28

1.3K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态