mod/myd04_3k的数据有个不好的地方,动态的过境情况,如果你要批量镶嵌一个区域里的影像,有个小问题,他们的数量是不确定的。例如我的范围
本文介绍基于Python中ArcPy模块,实现大量HDF格式栅格图像文件批量转换为TIFF格式的方法。
其实使用第一次的方法是有好处的,你可以任意改变镶嵌重叠区域的代码构造,你可以用顶层像元、底层像元、平均像素值等不同的算法,理论上gdal_merge.py应该也有这些代码,暂时没有研究,不过能用python进行镶嵌的实现,也是足够让人兴奋了。
gdal.open(r'D:/Thesis/ML/modis3km/MOD04_3K.A2018001.0320.061.2018003202214.hdf')
本文详细介绍基于Python语言gdal等模块实现多波段HDF栅格图像文件(即.hdf文件)的读取、处理与像元值可视化等操作。此外,基于gdal等模块读取.tif格式栅格图层文件的方法可以查看Python中gdal实现多幅栅格影像批量绘制直方图,读取单波段.hdf格式栅格图层文件的方法可以查看Python中gdal栅格影像读取计算与写入及质量评估QA波段筛选掩膜。
HDF(Hierarchical Data Format)由NCSA(National Center for Supercomputing Applications)设计提出,官方对其定义是:HDF5 is a unique technology suite that makes possible the management of extremely large and complex data collections.
版权声明:本文为博主原创文章,转载请注明原文出处! https://blog.csdn.net/T_27080901/article/details/82194108
我们可以在终端中使用gdal --formats命令查看安装的GDAL库支持的栅格数据格式
在进行遥感影像处理的时候,我们经常需要进行裁剪的工作,来看看如何使用GDAL工具进行这项操作吧!
这里不在赘述,参考如何获取NASA数据,下面的例子根据下载的LandCover与Rainfall数据进行展示,如何利用R语音进行读取,然后绘图。先加载所需R包及地图文件
GDAL提供了gdalwarp命令可以方便地让我们进行影像拼接,重投影,裁剪,格式转换等功能
今天给大家介绍下,R处理NASA下载的降雨量数据 在进行环境数据分析时候,经常需要用到降雨量的信息,而NASA提供了每年,每个月甚至每天的降雨量数据。 如何下载NASA降雨量数据,见此链接。
Modis数据向来风骚,其HDF里包含了很多subdataset,其中有一个maiac的数据尤为特别。Maiac文件里含有大概12个数据集,每个数据集里又有4个波段(维度),如果按GDAL的translate函数直接转换,将得到错误的结果,会只得到第一个波段Band1如下:
前期推文Python中gdal栅格影像读取计算与写入及质量评估QA波段筛选掩膜详细介绍了基于Python语言gdal等模块实现遥感影像栅格数据的读取,以及基于质量评估(QA)波段实现栅格像元筛选与掩膜的全部操作。而在本文,我们依据前述这一篇推文的代码,结合大家更为熟悉的MODIS系列遥感影像产品,基于其质量评估波段进行具体的对照讲解。也就是说,本文重点不在于代码的讲解(具体代码在前述这一篇推文中已经很详细地介绍了),而是将上述代码在更为具体的一个实践中加以应用,告诉大家该如何选择波段、处理质量评估QA波段并进行筛选操作等。同时,这里还有一点需要注意:在MODIS系列遥感影像中,质量评估波段更应该称为质量控制波段,因为其官方手册中将其写作Quality Control,因此后文就写作质量控制波段或QC波段。
MODIS是传感器而不是卫星(Landsat是卫星) MODIS传感器的全称为中分辨率成像光谱仪(moderate-resolution imaging spectroradiometer),主要搭载在Terra和Aqua星上。
WRF中土地利用类型最高分辨率是30s,且主要分为MODIS和USGS两种,其中MODIS数据是从2000年(有的也说是2001年)的MODIS卫星遥感数据,按照IGBP20分类标准得到的,总共有21类(含第21类—Lake),USGS数据则是1992~1993年的,总共分为24类,具体类型可以参考userguide,这些数据时间都比较久远了,如果进行最新模拟的话相差20年了,所以进行了替换。
本文介绍利用Python语言arcpy等模块,实现栅格图层建立与多幅遥感影像数据批量拼接(Mosaic)的操作。
GIS数据有很多种分类方式,按照数据结构可分为矢量数据、栅格数据、DEM数据,还可以再细致的分为数据库格式、点云格式、3D格式,也可以按照各厂家和标准类别来分等等。
MAIAC全称Multi-Angle Implementationof Atmospheric Correction algorithm (多角度大气校正算法),主要生产的是气溶胶光学厚度(AOD)产品,在MODIS数据库中的序列号是MCD19A2,目前有c6和c6.1两个版本。空间分辨率1km,时间分辨率为1d。这个算法得到的AOD更为精确,同时获得的AOD范围也更为广泛。有兴趣的同学可以到NASA官网了解更为丰富的MAIAC算法细节(本文不做扩展)。
矢量数据基于对象模型(object-based)的空间数据描述模型。矢量数据使用对象(点,线,面)及其对象之间的关系描述空间实体。
原文链接:https://www.cnblogs.com/DOMLX/p/9780786.html
modis的hdf文件在存储上有优势,但是在实际使用过程中存在一定的弊端。例如本次重点讲解的NDVI-16D-1km、MAIAC-1D-1km两类文件,其中maiac的文件在aod属性中包含4个波段的文件,需要将4个波段最大化的利用起来。而ndvi文件则较为简单只需要把hdf文件中对应部分取用即可。
gdal.Warp是一个很好用的函数们可以用来重投影、影像裁剪等。用它对MODIS数据进行重投影很简单。
WRF中地形数据(海拔高度)分辨率最高为30s,差不多就是900m,当模型空间分辨率较高时,比如在低于1km的情况下,经常会考虑增加地形高度的分辨率,这里使用美国的SRTM( Shuttle Radar Topography Mission)的DEM数据,这个数据覆盖了全球陆地,在美国本地分辨率为1s,其他地区为3s(约90m),因此使用这个更高分辨率数据来测试一下。
本文介绍基于Python语言gdal等模块对遥感影像加以处理的详细代码与操作。
Interactive Data I anguage(交互式数据语言) 第四代计算机语言 跨平台应用开发 科学数 据分析 可视化表达
xarray 支持多种文件格式(从 pickle文件到 netCDF格式文件)的序列化和输入输出。
至少gatk-4.0.2.1.zip无法走CNV流程,我重新下载了目前最新版的才能顺利运行:
函数语法 A = imread(filename, fmt) [X, map] = imread(…)
知名的开源OCR引擎Tesseract 3.0版本日前发布,可以在项目网站下载:http://code.google.com/p/tesseract-ocr, 新版本支持中文,中文语言包定义http:
HDF5(Hierarchical Data Format 5)是一种用于存储和组织大量科学数据的文件格式。h5py是Python中的一个库,提供了对HDF5文件的高级封装,使得在Python中处理HDF5文件变得更加简单和高效。本文将介绍h5py的基本概念和使用方法。
(1)numpy.save , numpy.savez , scipy.io.savemat
作为一个在深度学习上的小白,买Jetson TX2一个很大的原因就是想学习深度学习。那么当用Jetpack刷好板子后,第一个任务肯定是要学着安装caffe! 本文教程是参考了jiongnima的博客 (http://blog.csdn.net/jiongnima/article/details/70040262)和创客智造的文章(http://www.ncnynl.com/archives/201705/1631.html)——对于小白来说,站在大神的肩膀上可以节省不少时间。
如果在Python中使用pandas库时遇到了以下错误信息:ImportError: HDFStore requires PyTables, "No module named 'tables'",那么说明你的环境缺少PyTables库。 PyTables是一个用于在Python中操作HDF5文件的库,而pandas使用了PyTables来支持HDF5数据的存储和读取。因此,在使用pandas来读取或存储HDF5文件时,需要先安装PyTables库。 下面是解决这个问题的步骤:
ccplot 是一个开源的命令行程序,用于绘制 CloudSat、CALIPSO 和 Aqua MODIS 产品中的剖面图、图层和地球视图数据集。支持类Unix(Linux,macos等)和windows系统。
以上就是python查看hdf5文件的方法,希望对大家有所帮助。更多Python学习指路:python基础教程
HDF5 (Hierarchical Data Format) 是由美国伊利诺伊大学厄巴纳-香槟分校,是一种跨平台传输的文件格式,存储图像和数据
h5py官方文档:https://docs.h5py.org/en/stable/build.html
这次我们来简单了解下气象数据常用的格式以及处理的工具,常用的数据格式包括普通的二进制格式、文本数据、NetCDF、HDF4/5以及GRIB1/2数据。我们可以利用编程语言例如python、matlab以及c语言,根据数据的说明文档或者相应的数据api开发文档进行读取,此外我们也可以根据提供的command命令行进行高效提取数据。
数据输入输出通常可以划分为几个大类:读取文本文件和其他更高效的磁盘存储格式,加载数据库中的数据,利用Web API操作网络资源。
原文链接:https://blog.csdn.net/Fairy_Nan/article/details/105914203
“Hello!大家好哇,欢迎关注“自学气象人”。在这个系列笔记正式开始前呢,我想和大家分享一下作为一个大气科学专业的学子,为什么会选择学习Python。”
HDF5(Hierarchical Data Formal)是用于存储大规模数值数据的较为理想的存储格式。
HDF5(Hierarchical Data Formal)是用于存储大规模数值数据的较为理想的存储格式,文件后缀名为h5,存储读取速度非常快,且可在文件内部按照明确的层次存储数据,同一个HDF5可以看做一个高度整合的文件夹,其内部可存放不同类型的数据。在Python中操纵HDF5文件的方式主要有两种,一是利用pandas中内建的一系列HDF5文件操作相关的方法来将pandas中的数据结构保存在HDF5文件中,二是利用h5py模块来完成从Python原生数据结构向HDF5格式的保存,本文就将针对pandas中读写HDF5文件的方法进行介绍。
一个HDF5文件是一种存放两类对象的容器:dataset和group. Dataset是类似于数组的数据集,而group是类似文件夹一样的容器,存放dataset和其他group。在使用h5py的时候需要牢记一句话:groups类比词典,dataset类比Numpy中的数组。 HDF5的dataset虽然与Numpy的数组在接口上很相近,但是支持更多对外透明的存储特征,如数据压缩,误差检测,分块传输。
如上图,我们可以将其写为列表形式,前两位是从小到大的的两个点,最后一个代表权值,如 [1, 2, 2] 代表1和2之间的权值是2,以此类推
领取专属 10元无门槛券
手把手带您无忧上云