geotrellis使用(三十二)大量GeoTiff文件实时发布TMS服务

前言

在上一篇文章中我讲了如何直接将Geotiff文件发布为TMS服务,在其中只讲了单幅Geotiff的操作,其实单幅这种量级的数据对Geotrellis来说就是杀鸡焉用牛刀,Geotrellis针对的是大数据量的操作。在进行完单幅Geotiff的操作后,就去出差了一周,这一周也没闲着,稍有空隙便在思索这个问题,并抽空写那么两行,回来一调试果然可以,于是就有了本文。下面我来介绍如何对大量Geotiff实时进行TMS服务化操作。

一、总体效果

上次使用的是北京首都国际机场影像数据,这次我又下载了部分北京市区影像数据,来看一下总体显示效果。

二、实现方案

总体思路如下:

  1. 判断当前请求瓦片的范围。
  2. 判断在此范围下有无Tiff文件。
  3. 若有则切割此Tiff文件并返回对应的瓦片。

2.1 判断当前请求瓦片范围

每次请求,前台会向后台发送一个需要的瓦片编号,包含zoom、x、y,根据这三个值以及当前地图的投影方式我们就能算出此瓦片的空间范围。代码如下:

val key = SpatialKey(x, y)
val layoutScheme = ZoomedLayoutScheme(crs, tileSize = 256)
val layout = layoutScheme.levelForZoom(zoom)
val extent = MapKeyTransform(crs, LayoutLevel(zoom, layout.layout))(key)

其中crs表示地图投影,多为WebMercator,最终得到的extent即位该瓦片在此投影下的空间范围。

2.2 判断在此范围下有无Tiff文件

显而易见,如果此范围下有Tiff文件我们才需要进行切割,否则不进行操作,那么这里就牵涉三点:

  1. 获取所有需要切割的Tiff文件。
  2. 获取Tiff文件空间范围。
  3. 将上面得到的extent与每一幅tiff的范围进行相交判断,若有交集则切割此瓦片。
  • 获取所有tiff文件。

文件存储在HDFS中,传入路径,获取其下所有文件即可。代码如下:

val hdfsPath = new org.apache.hadoop.fs.Path(path)
val fs = FileSystem.get(new Configuration())
val files = fs.listStatus(hdfsPath)

其中path为HDFS中的目录路径。这样就能得到该路径下所有文件。

  • 获取Tiff文件空间范围。

每一个Tiff文件都有一个范围, 普通方式可以直接读取Tiff文件的角点坐标等信息,在此我使用Geotrellis的方式来读取。代码如下:

val rdd = HadoopGeoTiffRDD.spatialMultiband(path)
val sm = rdd
      .map { case (key, grid) =>
        val ProjectedExtent(extent, crs) = key.getComponent[ProjectedExtent]
        // Bounds are return to set the non-spatial dimensions of the KeyBounds;
        // the spatial KeyBounds are set outside this call.
        val boundsKey = key.translate(SpatialKey(0,0))
        val cellSize = CellSize(extent, grid.cols, grid.rows)
        HashMap(crs -> RasterCollection(crs, grid.cellType, cellSize, extent, KeyBounds(boundsKey, boundsKey), 1))
      }
      .reduce { (m1, m2) => m1.merged(m2){ case ((k,v1), (_,v2)) => (k,v1 combine v2) } }
      .values.toSeq.head
      
val layoutScheme = ZoomedLayoutScheme(crs, tileSize = 256)
val layoutDefinition = layoutScheme.levelForZoom(zoom).layout
val tiffExtent = TileLayerMetadata[SpatialKey](
  sm.cellType,
  layoutDefinition,
  sm.extent,
  sm.crs,
  sm.bounds.setSpatialBounds(layoutDefinition.mapTransform(sm.extent))
).extent

path为tiff文件路径,这样便能获得当前tiff的空间范围。

  • 判断瓦片与tiff是否相交。
extent.intersects(tiffExtent)

2.3 返回瓦片

在判断此瓦片下有tiff文件后即可采用上一篇文章中讲述的方式进行切割并返回瓦片。

三、总结

本文简单讲述了如何使用Geotrellis将大量Geotiff文件发布为TMS服务,针对大批量的数据才是Geotrellis的核心所在,然而只有也只要掌握了对单一数据的处理将能很快实现大批量的数据,所以“大数据”其实并没有那么可怕。

Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Crossin的编程教室

【我问Crossin】编程应该养成那些好习惯?

1 安装好了 python 之后,在cmd 运行却出现这样的情况,该如何处理? ? 配置一下 环境变量即可,方法如下: 在 windows 系统下,依次点击 计...

3245
来自专栏deed博客

充分利用4G 空间 C8815 修改DATA分区,扩大存储空间,重新分配内置存储空间

1974
来自专栏信安之路

一道 CTF 题 get 到的新姿势

本文是从一个 CTF 题目中学到的一个新姿势,下面对我的学习做一个记录总结,给大家分享一下,希望大家多多参与一起分享学习。

1070
来自专栏大内老A

WCF 4.0一个鲜为人知的改变

本篇文章介绍可以算是WCF 4.0基于限流(Throttling)的新特性,是在修订《WCF技术剖析(卷1)》的时候编写演示实例的时候发现的。这个特性没有出现在...

2769
来自专栏杨建荣的学习笔记

orabbix结合python发送图形报表(二) (r6笔记第38天)

在之前的博文中分享过通过结合python来发送图形报表邮件的例子。 http://blog.itpub.net/23718752/viewspace-177...

3858
来自专栏Golang语言社区

设计Go API的管道使用原则

管道是并发安全的队列,用于在Go的轻量级线程(Go协程)之间安全地传递消息。总的来讲,这些原语是Go语言中最为称道的特色功能之一。这种消息传递范式使得开发者可以...

3706
来自专栏FreeBuf

代码审计之任意文件下载漏洞案例分享

继上次审计HDWiki之后,最近拿到一套新的源码Ear_Music_20180510_UTF8最新版进行审计,发现这套cms还是比较安全的,而当我审计遇到一处下...

1384
来自专栏Petrichor的专栏

git:git commit 书写格式

  正如 git add 的作用是将文件放入暂存区, git commit 的作用是将修改提交到分支上。

4052
来自专栏程序员宝库

从零开始写 PHP 扩展

PHP 是用 C 语言写的。对于每个 PHPer 来说,都有着内心的一种希望写扩展的冲动了吧。然而,缺乏一个很好的切入点。Google 上搜 PHP 扩展开发,...

3407

控制MongoDB中的集合分布

分片标记(Shard tagging)是MongoDB 2.2.0版中的一项新功能。通过对集合进行标记使其被强制写入到本地数据中心,也可以用来将某个集合固定到一...

2246

扫码关注云+社区

领取腾讯云代金券