腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
点滴积累
专栏成员
举报
108
文章
180179
阅读量
44
订阅数
订阅专栏
申请加入专栏
全部文章(108)
其他(18)
scala(11)
spark(11)
html(10)
数据处理(9)
分布式(8)
openstack(8)
python(7)
编程算法(7)
大数据(7)
ubuntu(6)
容器镜像服务(6)
数据可视化(6)
javascript(4)
json(4)
数据库(4)
存储(4)
人工智能(3)
容器(3)
爬虫(3)
https(3)
人脸识别(2)
java(2)
sql(2)
github(2)
神经网络(2)
图像处理(2)
http(2)
开源(2)
shell(2)
hadoop(2)
面向对象编程(2)
windows(2)
key(2)
bash(1)
.net(1)
react(1)
jquery(1)
单片机(1)
nosql(1)
postgresql(1)
linux(1)
unix(1)
bash 指令(1)
mongodb(1)
网站(1)
渲染(1)
微信小程序音视频(1)
自动化(1)
运维(1)
网络安全(1)
html5(1)
jdk(1)
erp(1)
gui(1)
dns(1)
opencv(1)
zookeeper(1)
selenium(1)
tcp/ip(1)
markdown(1)
kvm(1)
安全(1)
小程序(1)
机器人(1)
数据分析(1)
数据结构(1)
hbase(1)
camera(1)
code(1)
etl(1)
events(1)
layer(1)
list(1)
merge(1)
position(1)
thread(1)
tiff(1)
搜索文章
搜索
搜索
关闭
pandas dataframe 时间字段 diff 函数
数据处理
python
编程算法
pandas 是数据处理的利器,非常方便进行表格数据处理,用过的人应该都很清楚,没接触的可以自行查阅pandas 官网。
魏守峰
2020-10-30
1.8K
0
pandas dataframe 时间字段 diff 函数
数据处理
python
编程算法
pandas 是数据处理的利器,非常方便进行表格数据处理,用过的人应该都很清楚,没接触的可以自行查阅pandas 官网。
魏守峰
2020-10-29
1.3K
0
geotrellis使用(四十一)流水线技术
神经网络
数据处理
json
前言 之前 GeoTrellis 为方便用户将数据(GeoTiff 等遥感影像)导入到 backend (包含 Accumulo、File、Hadoop 等格式)中,编写了一个 ETL 类,该类的输入为用户配置好的 json 文件,其中包含数据源、数据类型、投影、瓦片类型、处理方式等等处理过程中需要用到的信息。 从 2.0 版开始,GeoTrellis 加入了流水线(pipeline)功能,用户可以使用 json 或者 AST 将数据的处理过程配置成处理的流水线过程,这样只需要执行此流水线,系统便会自动的将
魏守峰
2018-07-04
825
0
geotrellis使用(二十七)栅格数据色彩渲染
分布式
数据处理
目录 前言 复杂原因及思路分析 实现过程 总结 一、前言 今天我们来研究一下这个看似简单的问题,在地理信息系统中颜色渲染应当是最基本的操作和功能,比如我们将一幅Landsat数据拖拽到Arcgis或者QGis等软件中,软件会自动为我们呈现出漂亮的图案,一切看似来的那么容易,但是在分布式海量空间数据的情况下实现色彩渲染操作实在也是要了命的。今天我们就接着上一篇文章中的数据处理(权且将色彩渲染归结到数据处理中)来介绍一下如何在Geotrellis中为栅格数据渲染漂亮的色彩。 二、复杂原因及思路分析
魏守峰
2018-04-28
1.2K
0
Landsat元数据批量下载工具
数据处理
目录 前言 landsat数据情况简介 下载元数据 总结 一、前言 最近由于工作需要,需要下载部分landsat数据的元数据,老板大手一挥,给了十几年的landsat的path、row以及日期等,就算交待完了。于是我就开始准备吭哧吭哧到USGS官网上去一个个找。程序员应该是世界上最懒的人,懒到哪怕只有几百个也不愿意一个个手动弄,于是在官网上翻腾半天,终于找到这么一个页面(https://landsat.usgs.gov/landsat-bulk-metadata-service),能够给定范围
魏守峰
2018-04-28
1.9K
1
geotrellis使用(三)geotrellis数据处理过程分析
数据处理
之前简单介绍了geotrellis的工作过程以及一个简单的demo,最近在此demo的基础上实现了SRTM DEM数据的实时分析以及高程实时处理,下面我就以我实现的上述功能为例,简单介绍一下geotrellis的数据处理过程。 一、原始数据处理 geotrellis支持geotiff的栅格数据(矢量数据还未研究),可以将geotiff直接缓存至hadoop框架下的Accumulo NOSQL数据库,并建立金字塔等,具体处理过程在geotrellis.spark.etl.Etl类中。具体代码如下: 1 de
魏守峰
2018-04-28
1.9K
0
geotrellis使用(五)使用scala操作Accumulo
scala
数据处理
分布式
nosql
要想搞明白Geotrellis的数据处理情况,首先要弄清楚数据的存放,Geotrellis将数据存放在Accumulo中。 Accumulo是一个分布式的Key Value型NOSQL数据库,官网为(https://accumulo.apache.org/),在使用Ambari安装hadoop集群一文中已经介绍了如何安装Hadoop集群以及Accumulo。 Accumulo以表来分区存放数据,结构为Key Value,其中Key又包含RowID和Column,Column又包含Fa
魏守峰
2018-04-28
1.1K
0
geotrellis使用(八)矢量数据栅格化
markdown
编程算法
数据库
数据处理
sql
目录 前言 栅格化处理 总结 参考链接 一、前言 首先前几天学习了一下Markdown,今天将博客园的编辑器改为Markdown,从编写博客到界面美观明显都清爽多了,也能写出各种样式的东西了,有关Markdown,网上内容很多,暂且不表,开始进入今天的主题。 前几天碰到一个任务,需要将矢量数据导入到Accumulo中,然后通过geotrellis进行调用。这一下又犯难了,之前处理的全是raster数据,通过ETL类可以直接进行导入生成金字塔等,如何将矢量数据导入平台之前未曾碰到,
魏守峰
2018-04-28
1.8K
0
geotrellis使用(九)使用geotrellis进行栅格渲染
数据处理
erp
目录 前言 图像渲染 总结 参考链接 一、前言 前面几篇文章讲解了如何使用Geotrellis进行数据处理、瓦片生成等,今天主要表一下如何使用Geotrellis进行栅格渲染。 昨日完成了两种数据叠加生成瓦片的工作,然而在进行瓦片渲染的时候始终得不到想要的漂亮的颜色效果,由于这块代码是从之前Geotrellis官方DEMO中拷贝过来的,从未进行深究,所以折腾半天也没能实现,无奈那么就看源代码吧,在源代码中找到了这样一篇文档(rendering.md),里面详细讲述了在系统中如何直
魏守峰
2018-04-28
1.4K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档