MODIS是传感器而不是卫星(Landsat是卫星) MODIS传感器的全称为中分辨率成像光谱仪(moderate-resolution imaging spectroradiometer),主要搭载在Terra和Aqua星上。
The Burn Area Index (BAI) is generated from the Red and Near-IR bands, and measures the spectral distance of each pixel from a reference spectral point (the measured reflectance of charcoal). This index is intended to emphasize the charcoal signal in post-fire images. See Chuvieco et al. (2002) for details. This product is generated from the MODIS/MOD09GA surface reflectance composites.
本文介绍国内用户在LAADS DAAC中批量下载MODIS遥感影像各产品的方法。
以上这段代码的核心是img.expression('表达式',{公式中的波段名称:要选择影像的波段}...)有几个波段参与运算就通过这个形式及逆行计算即可。
当然可以自己写一个匹配字符串获取计数的函数配合使用,任何代码都是根据需求来定制的。
这里我们进行使用geemap和eemont包基于MODIS影像计算GNDVI,NBR,NDWI指数,这里很方便的省去了计算指数、去云和缩放等功能,非常方便。
The Normalized Difference Vegetation Index is generated from the Near-IR and Red bands of each scene as (NIR - Red) / (NIR + Red), and ranges in value from -1.0 to 1.0. This product is generated from the MODIS/MOD09GA surface reflectance composites.
The Enhanced Vegetation Index (EVI) is generated from the Near-IR, Red and Blue bands of each scene, and ranges in value from -1.0 to 1.0. See Huete et al. (2002) for details. This product is generated from the MODIS/MOD09GA surface reflectance composites.
The Normalized Difference Snow Index is used to identify snow, based on its characteristically higher reflectance in the visible portion of the spectrum compared to the mid-IR. NDSI is computed using the Green and Mid-IR bands, and has a range of -1.0 to 1.0. See Riggs et al. (1994) for details. This product is generated from the MODIS/MOD09GA surface reflectance composites.
The Normalized Difference Water Index (NDWI) is sensitive to changes in liquid water content of vegetation canopies. It is derived from the Near-IR band and a second IR band, ≈1.24μm when available and the nearest available IR band otherwise. It ranges in value from -1.0 to 1.0. See Gao (1996) for details. This product is generated from the MODIS/MOD09GA surface reflectance composites.
在进行遥感影像处理的时候,我们经常需要进行裁剪的工作,来看看如何使用GDAL工具进行这项操作吧!
对于很多想在GEE上进行NDVI计算的同学,GEE平台已经将这集成了一个算法,只需要写入波段就可以进行执行了。具体代码如下:
The MOD16A2 Version 6 Evapotranspiration/Latent Heat Flux product is an 8-day composite product produced at 500 meter pixel resolution. The algorithm used for the MOD16 data product collection is based on the logic of the Penman-Monteith equation, which includes inputs of daily meteorological reanalysis data along with MODIS remotely sensed data products such as vegetation property dynamics, albedo, and land cover.
最近巴基斯坦有了洪灾,就想用遥感数据看一下怎么回事。 数据使用的是GEE中的Landsat数据,Landsat8没有在灾区过境,幸亏上一年发射了Landsat9,对灾区进行了成像。下面图中蓝色的是识别为水体的区域。 首先用MODIS数据(MOD09GA)看了一下灾区的范围,主要是在巴基斯坦的南部。 📷 MODIS获取的水体范围 之后又看了一下Landsat9的水体范围,基本上都是这一块。 📷 Landsat9获取的水体范围 淹没区域主要是集中在印度河流域,这应该是一个冲积平原。地形图如下: 📷 📷 基本上这
GDAL提供了gdalwarp命令可以方便地让我们进行影像拼接,重投影,裁剪,格式转换等功能
这里的关键在于GEE内部集成的算法:img.polynomial(),里面的三个参数分别对应着第二行注释的三个数值。
本文详细介绍基于Python语言gdal等模块实现多波段HDF栅格图像文件(即.hdf文件)的读取、处理与像元值可视化等操作。此外,基于gdal等模块读取.tif格式栅格图层文件的方法可以查看Python中gdal实现多幅栅格影像批量绘制直方图,读取单波段.hdf格式栅格图层文件的方法可以查看Python中gdal栅格影像读取计算与写入及质量评估QA波段筛选掩膜。
The MODIS Surface Reflectance products provide an estimate of the surface spectral reflectance as it would be measured at ground level in the absence of atmospheric scattering or absorption. Low-level data are corrected for atmospheric gases and aerosols. MYD09GQ version 6 provides bands 1 and 2 at a 250m resolution in a daily gridded L2G product in the Sinusoidal projection, including a QC and five observation layers. This product is meant to be used in conjunction with the MOD09GA where important quality and viewing geometry information is stored.
本文介绍基于Python中ArcPy模块,实现大量HDF格式栅格图像文件批量转换为TIFF格式的方法。
gdal.open(r'D:/Thesis/ML/modis3km/MOD04_3K.A2018001.0320.061.2018003202214.hdf')
2. Terra卫星原始数据命名规则 >>>15位 A20040707140331.down
=====================================================
这里不在赘述,参考如何获取NASA数据,下面的例子根据下载的LandCover与Rainfall数据进行展示,如何利用R语音进行读取,然后绘图。先加载所需R包及地图文件
MODIS目前主要存在于两颗卫星上:TERRA和AQUA。TERRA卫星每日地方时上午10:30时过境,因此也把它称作地球观测第一颗上午星(EOS-AM1)。AQUA每日地方时下午过境,因此称作地球观测第一颗下午星(EOS-PM1)。两颗星相互配合,每1-2天可重复观测整个地球表面,得到36个波段(表1)的观测得到,这些数据广泛用于全球陆地、海洋和低层大气内的动态变化过程研究。
背景 前面介绍了纳米孔测序的原理与碱基识别,本次带大家认识纳米孔测序数据的格式,以及怎么质控与处理。
mod/myd04_3k的数据有个不好的地方,动态的过境情况,如果你要批量镶嵌一个区域里的影像,有个小问题,他们的数量是不确定的。例如我的范围
HDF5(Hierarchical Data Format 5)是一种用于存储和组织大量科学数据的文件格式。h5py是Python中的一个库,提供了对HDF5文件的高级封装,使得在Python中处理HDF5文件变得更加简单和高效。本文将介绍h5py的基本概念和使用方法。
因为研究方向的变动将本号更名为《R语言交流中心与Python深耕之路》,从R语言扩展到Python编程。今天给大家介绍下一个完整的深度学习模型的构建所需要的必备python模块。
MODIS影像以HDF4或者HDF5格式进行存储。关于如何搭建开发环境,参见Ubuntu下GDAL读取HDF4(MODIS影像)开发环境搭建。
在上一篇文章《深度学习中超大规模数据集的处理》中讲到采用HDF5文件处理大规模数据集。有朋友问到:HDF5文件是一次性读入内存中,然后通过键进行访问吗?答案当然不是,在前面的文章中也提到过,最后生成的train.hdf5文件高达30G,如果全部加载到内存,内存会撑爆。实际上,由于HDF5采用了特殊的文件格式,这样我们可以在一次读操作中加载一个批量(比如128)的图片,而不用一个个的读取。也就是说采用这种方式,只是减少了IO操作次数,另外加载的图片是RAW图像数据,减少了解码时间。
(1)numpy.save , numpy.savez , scipy.io.savemat
MAIAC全称Multi-Angle Implementationof Atmospheric Correction algorithm (多角度大气校正算法),主要生产的是气溶胶光学厚度(AOD)产品,在MODIS数据库中的序列号是MCD19A2,目前有c6和c6.1两个版本。空间分辨率1km,时间分辨率为1d。这个算法得到的AOD更为精确,同时获得的AOD范围也更为广泛。有兴趣的同学可以到NASA官网了解更为丰富的MAIAC算法细节(本文不做扩展)。
在机器学习项目中,如果使用的是比较小的数据集,数据集的处理上可以非常简单:加载每个单独的图像,对其进行预处理,然后输送给神经网络。但是,对于大规模数据集(例如ImageNet),我们需要创建一次只访问一部分数据集的数据生成器(比如mini batch),然后将小批量数据传递给网络。其实,这种方法在我们之前的示例中也有所涉及,在使用数据增强技术提升模型泛化能力一文中,我就介绍了通过数据增强技术批量扩充数据集,虽然那里并没有使用到超大规模的数据集。Keras提供的方法允许使用磁盘上的原始文件路径作为训练输入,而不必将整个数据集存储在内存中。
Modis数据向来风骚,其HDF里包含了很多subdataset,其中有一个maiac的数据尤为特别。Maiac文件里含有大概12个数据集,每个数据集里又有4个波段(维度),如果按GDAL的translate函数直接转换,将得到错误的结果,会只得到第一个波段Band1如下:
本期记录只上干活,废话不多说,主要是后面与HEG配合使用,实现一系列研究与反演操作。
微生物由于形态微小,数目众多,分类鉴定一直都是一大难题,传统的微生物鉴定方法,主要是根据微生物的表型特征,例如形态学、生理生化学,生态学等特征来推断微生物的系统发育。但是由于微生物形体微小、结构简单等特点,微生物的分类鉴定除了传统的分类方法之外,还必须寻找新的特征作为分类鉴定的依据。分子生物学的发展,使我们不仅可以根据表型特征,而且可以从分子水平上,通过研究和比较微生物乃至整个生物界的遗传型特征,甚至生物的基因组特征来研究生物的进化、发育和分类鉴定。
深水地平线漏油事件被认为是有史以来最大的海上意外漏油事件。该井释放了超过 490 万桶石油,其中 410 万桶在 2010 年 4 月 20 日至 7 月 15 日期间进入墨西哥湾。通过燃烧或撇去海洋表面的石油和通过在海洋表面释放超过 184 万加仑的化学分散剂 (Corexit) 并直接进入海洋表面以下约 5,000 英尺的油井排放的油流中。即使做出了这些努力,漏油事件也严重影响了海湾的沿海和海洋生态系统。尽管为评估石油在这些生态系统中的影响付出了广泛的努力,但受泄漏影响的大面积区域使其变得困难。在本模块中,我们将通过监测受溢油高度影响的区域内藻类浓度随时间的变化趋势,对此次溢油的生态影响进行自己的探索。由于藻类是海洋生态系统的主要生产者,监测它们的种群如何受到这种变化的影响可能有助于我们更好地了解石油对受影响生态系统状态的整体影响。
美国国家航空航天局(NASA)地球科学数据和信息系统(ESDIS)项目是戈达德太空飞行中心飞行项目管理局下属地球科学项目部的一部分。作为ESDIS的关键组成部分,由美国独立设施的分布式网络运营12个互连的分布式活动档案中心(DAAC)
其实使用第一次的方法是有好处的,你可以任意改变镶嵌重叠区域的代码构造,你可以用顶层像元、底层像元、平均像素值等不同的算法,理论上gdal_merge.py应该也有这些代码,暂时没有研究,不过能用python进行镶嵌的实现,也是足够让人兴奋了。
HDF5 (Hierarchical Data Format) 是由美国伊利诺伊大学厄巴纳-香槟分校,是一种跨平台传输的文件格式,存储图像和数据
这篇论文数据分析和可视化的部分用到的数据和代码全部放到了github上 https://github.com/karkman/crassphage_project
H5文件是层次数据格式第5代的版本(Hierarchical Data Format,HDF5),它是用于存储科学数据的一种文件格式和库文件。接触到这个文件格式也是因为上Coursera深度学习课程的时候,作业用到了。它是由美国超级计算与应用中心研发的文件格式,用以存储和组织大规模数据。目前由非营利组织HDF小组提供支持。
相关文章:LIDC-IDRI肺结节公开数据集Dicom和XML标注详解 ---- 一、数据源 训练数据源为LIDC-IDRI,该数据集由胸部医学图像文件(如CT、X光片)和对应的诊断结果病变标注组成。该数据是由美国国家癌症研究所(National Cancer Institute)发起收集的,目的是为了研究高危人群早期癌症检测。 该数据集中,共收录了1018个研究实例。对于每个实例中的图像,都由4位经验丰富的胸部放射科医师进行两阶段的诊断标注。在第一阶段,每位医师分别独立诊断并标注病患位置,其中会标注三中
convert_imageset是将我们准备的数据集文件转换为caffe接口更快读取的LMDB或HDF5数据类型。
megan,Metagenome Analyzer Microbiome analysis using a single application。是一款综合性的微生物物种分类工具,将多款物种分类的工具集合到一个软件中。mega 不仅可以完成物种分类,同时还包括非常强大的可视化功能,可以用户物种分类结果的可视化,只需点点鼠标即可完成其他软件复杂的图。我们几乎可以将任何软件物种分类的功能表输入到megan 中进行数据可视化。
注:cuDNN在很多工程中兼容性较差,可能需要安装特定的历史版本,只需对如上命令中的版本进行修改. 查看caffe 是否成功使用cuDNN v5:
This chapter provides an overview of the MODIS collections and products.
数据分析过程中,需要对获取到的数据进行分析,往往第一步就是导入数据。导入数据有很多方式,不同的数据文件需要用到不同的导入方式,相同的文件也会有几种不同的导入方式。下面总结几种常用的文件导入方法。
http://intellij.mandroid.cn/ http://idea.imsxm.com/ http://idea.iteblog.com/key.php
领取专属 10元无门槛券
手把手带您无忧上云