腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
点滴积累
专栏成员
举报
108
文章
180437
阅读量
44
订阅数
订阅专栏
申请加入专栏
全部文章(108)
其他(18)
scala(11)
spark(11)
html(10)
数据处理(9)
分布式(8)
openstack(8)
python(7)
编程算法(7)
大数据(7)
ubuntu(6)
容器镜像服务(6)
数据可视化(6)
javascript(4)
json(4)
数据库(4)
存储(4)
人工智能(3)
容器(3)
爬虫(3)
https(3)
人脸识别(2)
java(2)
sql(2)
github(2)
神经网络(2)
图像处理(2)
http(2)
开源(2)
shell(2)
hadoop(2)
面向对象编程(2)
windows(2)
key(2)
bash(1)
.net(1)
react(1)
jquery(1)
单片机(1)
nosql(1)
postgresql(1)
linux(1)
unix(1)
bash 指令(1)
mongodb(1)
网站(1)
渲染(1)
微信小程序音视频(1)
自动化(1)
运维(1)
网络安全(1)
html5(1)
jdk(1)
erp(1)
gui(1)
dns(1)
opencv(1)
zookeeper(1)
selenium(1)
tcp/ip(1)
markdown(1)
kvm(1)
安全(1)
小程序(1)
机器人(1)
数据分析(1)
数据结构(1)
hbase(1)
camera(1)
code(1)
etl(1)
events(1)
layer(1)
list(1)
merge(1)
position(1)
thread(1)
tiff(1)
搜索文章
搜索
搜索
关闭
geotrellis使用(三十一)使用geotrellis直接将GeoTiff发布为TMS服务
分布式
前言 传统上我们需要先将Tiff中存储的影像等数据先切割成瓦片,而后再对外提供服务。这样的好处是服务器响应快,典型的用空间来换时间的操作。然而这样造成的问题是空间的巨大浪费,一般情况下均需要存储1-18级左右的瓦片数据。我一直在思考有没有办法不存储瓦片而直接发布TMS服务,当然这样响应速度肯定是要受一点影响,但是基于Geotrellis的分布式计算对这一点提供了巨大帮助,大大缩短了瓦片临时切割(存储于内存中)所用的时间。而且这样不仅仅是节省了存储空间的问题,何况我们有时可能只是为了查看数据情况(大量的Tif
魏守峰
2018-05-02
1.3K
0
geotrellis使用(二十六)实现海量空间数据的搜索处理查看
分布式
目录 前言 前台实现 后台实现 总结 一、前言 看到这个题目有人肯定会说这有什么可写的,最简单的我只要用文件系统一个个查找、打开就可以实现,再高级一点我可以提取出所有数据的元数据,做个元数据管理系统就可以实现查找功能,有必要用geotrellis用分布式吗?这不是杀鸡用牛刀吗?理论上是这样的,但是要看我们考虑问题的尺度,如果你只是一些简单的数据用传统方法当然好,省事、省时、简单、速度快,但是当我们将数据的量放大到一个区域乃至全球的时候恐怕事情就不是那么简单了,比如我们有了全球Landsat数据
魏守峰
2018-04-28
1.3K
0
geotrellis使用(二十七)栅格数据色彩渲染
分布式
数据处理
目录 前言 复杂原因及思路分析 实现过程 总结 一、前言 今天我们来研究一下这个看似简单的问题,在地理信息系统中颜色渲染应当是最基本的操作和功能,比如我们将一幅Landsat数据拖拽到Arcgis或者QGis等软件中,软件会自动为我们呈现出漂亮的图案,一切看似来的那么容易,但是在分布式海量空间数据的情况下实现色彩渲染操作实在也是要了命的。今天我们就接着上一篇文章中的数据处理(权且将色彩渲染归结到数据处理中)来介绍一下如何在Geotrellis中为栅格数据渲染漂亮的色彩。 二、复杂原因及思路分析
魏守峰
2018-04-28
1.2K
0
geotrellis使用(二十)geotrellis1.0版本新功能及变化介绍
hbase
spark
分布式
目录 前言 变化情况介绍 总结 一、前言 之前版本是0.9或者0.10.1、0.10.2,最近发现更新成为1.0.0-2077839。1.0应该也能称之为正式版了吧。发现其中有很多变化,在这里为大家简单介绍。 二、变化情况介绍 2.1 数据导入变化 之前数据导入参数基本都要写在命令行,刚查看之前写的博客发现没有介绍数据导入的,只有一个老版的调用本地数据的,本文就在这里简单介绍Geotrellis的数据导入。 Geotrellis可以将数据(Tiff)从本地、HDFS
魏守峰
2018-04-28
1.1K
0
安装ClouderaManager以及使用ClouderaManager安装分布式集群的若干细节
分布式
目录 前言 整体介绍 分步安装介绍 总结 一、前言 周末干了近四十个小时中间只休息了五个小时终于成功安装了ClouderaManager以及分布式集群,其中各种辛酸无以言表,唯有泪两行。总体是安装的很慢,但是其中有很多细节问题,需要记录下来使以后再次安装少走弯路,以及给其他有需要的人提供一点参考。 二、整体介绍 整体上可以借鉴之前我写的一篇博客使用Ambari安装hadoop集群。安装共分三步,第一步安装并配置操作系统(本文采用Ubuntu14.04,其他的可以参考相应安装方法)
魏守峰
2018-04-28
761
0
geotrellis使用(二十四)将Geotrellis移植到CDH中必须要填的若干个坑
分布式
spark
目录 前言 若干坑 总结 一、前言 近期干了一件事情,将geotrellis程序移植到CDH中(关于CDH,可以参考安装ClouderaManager以及使用ClouderaManager安装分布式集群的若干细节),本以为这是件很简单的事情,没想到跟安装CDH一样却碰到了许多的坑,很多事情真的就是这样,我们不去亲自实践觉得都是简单的,当我们真正甩开膀子去干的时候却发现会遇到各种各样的问题,但是当我们将这些一个个解决的时候,你收获的将不仅是美好的结果,更是很多通过学习无法得到的东西,这应该就是古
魏守峰
2018-04-28
905
0
使用bokeh-scala进行数据可视化(2)
scala
数据可视化
分布式
github
目录 前言 几种高级可视化图表 总结 一、前言 之前已经简单介绍过一次如何使用Bokeh-scala进行数据可视化(见使用bokeh-scala进行数据可视化),以及如何在Geotrellis中进行分布式下的空间数据可视化(见geotrellis使用(十五)使用Bokeh进行栅格数据可视化统计),但是之前介绍的只是简单的线、圆圈等可视化方式,本文位大家介绍几种高级的可视化图表。 二、几种高级可视化图表 整体上与第一篇Bokeh-scala文章中介绍的方式相同,主要是完善了Boke
魏守峰
2018-04-28
2.1K
0
geotrellis使用(五)使用scala操作Accumulo
scala
数据处理
分布式
nosql
要想搞明白Geotrellis的数据处理情况,首先要弄清楚数据的存放,Geotrellis将数据存放在Accumulo中。 Accumulo是一个分布式的Key Value型NOSQL数据库,官网为(https://accumulo.apache.org/),在使用Ambari安装hadoop集群一文中已经介绍了如何安装Hadoop集群以及Accumulo。 Accumulo以表来分区存放数据,结构为Key Value,其中Key又包含RowID和Column,Column又包含Fa
魏守峰
2018-04-28
1.1K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档