腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

点滴积累

专栏作者

108

文章

173167

阅读量

44

订阅数

pandas dataframe 时间字段 diff 函数

数据处理 python 编程算法

pandas 是数据处理的利器，非常方便进行表格数据处理，用过的人应该都很清楚，没接触的可以自行查阅pandas 官网。

2020-10-30

1.8K0

pandas dataframe 时间字段 diff 函数

数据处理 python 编程算法

pandas 是数据处理的利器，非常方便进行表格数据处理，用过的人应该都很清楚，没接触的可以自行查阅pandas 官网。

2020-10-29

1.2K0

geotrellis使用（四十一）流水线技术

神经网络数据处理 json

前言之前 GeoTrellis 为方便用户将数据（GeoTiff 等遥感影像）导入到 backend （包含 Accumulo、File、Hadoop 等格式）中，编写了一个 ETL 类，该类的输入为用户配置好的 json 文件，其中包含数据源、数据类型、投影、瓦片类型、处理方式等等处理过程中需要用到的信息。从 2.0 版开始，GeoTrellis 加入了流水线（pipeline）功能，用户可以使用 json 或者 AST 将数据的处理过程配置成处理的流水线过程，这样只需要执行此流水线，系统便会自动的将

2018-07-04

7950

geotrellis使用（二十七）栅格数据色彩渲染

分布式数据处理

目录前言复杂原因及思路分析实现过程总结一、前言今天我们来研究一下这个看似简单的问题，在地理信息系统中颜色渲染应当是最基本的操作和功能，比如我们将一幅Landsat数据拖拽到Arcgis或者QGis等软件中，软件会自动为我们呈现出漂亮的图案，一切看似来的那么容易，但是在分布式海量空间数据的情况下实现色彩渲染操作实在也是要了命的。今天我们就接着上一篇文章中的数据处理（权且将色彩渲染归结到数据处理中）来介绍一下如何在Geotrellis中为栅格数据渲染漂亮的色彩。二、复杂原因及思路分析

2018-04-28

1.2K0

Landsat元数据批量下载工具

目录前言 landsat数据情况简介下载元数据总结一、前言最近由于工作需要，需要下载部分landsat数据的元数据，老板大手一挥，给了十几年的landsat的path、row以及日期等，就算交待完了。于是我就开始准备吭哧吭哧到USGS官网上去一个个找。程序员应该是世界上最懒的人，懒到哪怕只有几百个也不愿意一个个手动弄，于是在官网上翻腾半天，终于找到这么一个页面(https://landsat.usgs.gov/landsat-bulk-metadata-service)，能够给定范围

2018-04-28

1.8K1

geotrellis使用（三）geotrellis数据处理过程分析

之前简单介绍了geotrellis的工作过程以及一个简单的demo，最近在此demo的基础上实现了SRTM DEM数据的实时分析以及高程实时处理，下面我就以我实现的上述功能为例，简单介绍一下geotrellis的数据处理过程。一、原始数据处理 geotrellis支持geotiff的栅格数据（矢量数据还未研究），可以将geotiff直接缓存至hadoop框架下的Accumulo NOSQL数据库，并建立金字塔等，具体处理过程在geotrellis.spark.etl.Etl类中。具体代码如下： 1 de

2018-04-28

1.9K0

geotrellis使用（五）使用scala操作Accumulo

scala 数据处理分布式 nosql

要想搞明白Geotrellis的数据处理情况，首先要弄清楚数据的存放，Geotrellis将数据存放在Accumulo中。 Accumulo是一个分布式的Key Value型NOSQL数据库，官网为（https://accumulo.apache.org/），在使用Ambari安装hadoop集群一文中已经介绍了如何安装Hadoop集群以及Accumulo。 Accumulo以表来分区存放数据，结构为Key Value，其中Key又包含RowID和Column，Column又包含Fa

2018-04-28

1.1K0

geotrellis使用（八）矢量数据栅格化

markdown 编程算法数据库数据处理 sql

目录前言栅格化处理总结参考链接一、前言首先前几天学习了一下Markdown，今天将博客园的编辑器改为Markdown，从编写博客到界面美观明显都清爽多了，也能写出各种样式的东西了，有关Markdown，网上内容很多，暂且不表，开始进入今天的主题。前几天碰到一个任务，需要将矢量数据导入到Accumulo中，然后通过geotrellis进行调用。这一下又犯难了，之前处理的全是raster数据，通过ETL类可以直接进行导入生成金字塔等，如何将矢量数据导入平台之前未曾碰到，

2018-04-28

1.7K0

geotrellis使用（九）使用geotrellis进行栅格渲染

数据处理 erp

目录前言图像渲染总结参考链接一、前言前面几篇文章讲解了如何使用Geotrellis进行数据处理、瓦片生成等，今天主要表一下如何使用Geotrellis进行栅格渲染。昨日完成了两种数据叠加生成瓦片的工作，然而在进行瓦片渲染的时候始终得不到想要的漂亮的颜色效果，由于这块代码是从之前Geotrellis官方DEMO中拷贝过来的，从未进行深究，所以折腾半天也没能实现，无奈那么就看源代码吧，在源代码中找到了这样一篇文档（rendering.md），里面详细讲述了在系统中如何直

2018-04-28

1.4K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态