NetCDF文件是自描述的二进制数据格式。所谓自描述就是自带属性信息，这和一般的雷达基数据格式不同，一般的雷达数据也是二进制的，但不是自描述的，而是需要额外的数据格式文档来说明数据格式，而NetCDF文件中包含了描述变量和维度的元数据信息。通常包含以下三个部分：
NetCDF(Network Common Data Form)是一种科学二进制数据格式，由UCAR负责开发和维护netCDF软件，主要用于存储多维科学数据。在地球科学领域使用较为广泛，大多数数值模式，卫星，雷达等数据格式通常为NetCDF格式。
本文介绍在Windows电脑的Visual Studio软件中，配置C++语言最新版netCDF库的方法。
前天在最强王者交流群，突然有人问起使用Python读取.nc文件的方法，正好之前有写过文章，这里拿出来跟大家分享下。
python中提供了多种方式来处理netcdf文件，这里主要讲一下常用的 netcdf4-python 模块。
xarray 支持多种文件格式(从 pickle文件到 netCDF格式文件)的序列化和输入输出。
.nc文件和常规的文件不太一样，有专门的第三方处理库，netCDF4，需要安装才行。
之前介绍过如何使用Python处理NetCDF格式文件，这次介绍一下如何创建NetCDF文件。
xarray 中的DataArray 和 Dataset 对象除了上节介绍过的直接手动创建之外，更多的情况下却是通过其他数据储存结构转换和存储在硬盘中的数据存储文件读取而来。
本文介绍基于Python语言，逐一读取大量.nc格式的多时相栅格文件，导出其中所具有的全部时间信息的方法。
本文介绍基于Python语言的netCDF4库，读取.nc格式的数据文件，并提取指定维（时间、经度与纬度）下的变量数据的方法。
前言 这两天帮一个朋友处理了些 nc 数据，本以为很简单的事情，没想到里面涉及到了很多的细节和坑，无论是“知难行易”还是“知易行难”都不能充分的说明问题，还是“知行合一”来的更靠谱些，既要知道理论又要知道如何实现，于是经过不太充分的研究后总结成此文，以记录如何使用 python 处理 nc 数据。 一、nc 数据介绍 nc 全称 netCDF（The Network Common Data Form），可以用来存储一系列的数组，就是这么简单（参考https://www.unidata.ucar.edu/so
这次我们来简单了解下气象数据常用的格式以及处理的工具，常用的数据格式包括普通的二进制格式、文本数据、NetCDF、HDF4/5以及GRIB1/2数据。我们可以利用编程语言例如python、matlab以及c语言，根据数据的说明文档或者相应的数据api开发文档进行读取，此外我们也可以根据提供的command命令行进行高效提取数据。
今天小编带大家绘制一幅”颜值“超高的学术图表，起初原因也是群里的小伙伴询问怎么绘制。要知道我可是非常宠读者的哈~~绝对的安排！读者给出的图片如下：
nc文件的处理方式比较多，可以用MATLAB、JAVA、C、python或者其他的语言。我这两天折腾用python读取nc文件，查阅很多资料，左拼右凑的终于读出来了。
网上对于这个依赖包的学习资料是比较的少，所以整理这个包里面，工作中我们可以用到的一些api进行学习
气象领域的数据存储格式大多都是netCDF、HDF、Grib格式，这些文件格式已经发展的比较成熟了，大家也都已经习惯了处理这些格式的文件。但随着数据量的增加以及云计算的发展，这些文件系统已经无法满足需求，针对云计算优化的文件系统应运而生。
在推出两期数据分享之后，获取数据的小伙伴们也知道，数据格式都是NetCDF(nc) 格式网格数据，虽然我在推文分享中说明使用Python、R或者GIS类软件都是可以进行 处理和可视化绘制的，但是，还是有小伙伴咨询使用编程软件Python或者R处理nc数据，正好也想分享一期关于nc网格数据的可视化绘制过程，这里我们使用R包进行nc数据的处理(Python处理较为简单，将放在空间插值系列的资料中，该部分正在加快进程中哦~~)，主要涉及的知识点如下：
HDF5（Hierarchical Data Format 5）是一种用于存储和组织大量科学数据的文件格式。h5py是Python中的一个库，提供了对HDF5文件的高级封装，使得在Python中处理HDF5文件变得更加简单和高效。本文将介绍h5py的基本概念和使用方法。
vardata = ncread(source,varname,start,count,stride)
HDF（Hierarchical Data Format）由NCSA（National Center for Supercomputing Applications）设计提出，官方对其定义是：HDF5 is a unique technology suite that makes possible the management of extremely large and complex data collections.
“ 大家好哇！上一期我们给出了一些在slurm作业系统中常见的报错提示的含义及解决方法。今天我们主要来看看如何在超算中配置运行环境。”
xgrads的主要功能是解析Grads文件为xarray对象，可以更好的利用xarray的高维数据分析和可视化功能，加速气象相关的数据处理、分析和可视化。以下是对此库的具体介绍。
除其他事项外，傅立叶分析通常用于数字信号处理。 这要归功于它在将输入信号（时域）分离为以离散频率（频域）起作用的分量方面如此强大。 开发了另一种快速算法来计算离散傅里叶变换（DFT），这就是众所周知的快速傅里叶变换（FFT），它为分析及其应用提供了更多可能性。 NumPy 针对数字计算，也支持 FFT。 让我们尝试使用 NumPy 在应用上进行一些傅立叶分析！ 注意，本章假定不熟悉信号处理或傅立叶方法。
在R中读取nc文件，我们首选ncdf4包，其使用参考网址如下：https://rdrr.io/cran/ncdf4/。这里简单介绍下主要的函数：
WRF模式是数值天气预报和大气模拟系统，其开发目的就是用语研究和实际应用。运行WRF模式时，可以利用多种初始场数据来驱动，然后配置好选项之后便可以模拟天气过程（说的好像很简单的样子==）。
本文介绍基于Anaconda环境，下载并安装Python中h5py与netCDF4这两个模块的方法。
作为曾经地球科学领域最炙手可热脚本语言之一的NCL已经进入维护模式，不再更新。NCAR将使用Python作为地球科学领域的主要数据处理和可视化工具。
Basemap 特别擅长绘制数值天气模式输出数据，比如 WRF。WRF [注1] 模式是广泛使用的数值预报模式，只要变量名合适，大部分情况下都可以使用其它模式的输出来运行。
•NetCDF格式 : netCDF4-python，h5py，h5netcdf，xarray等。 除了上述简单的数据处理库之外，python还提供了NCO和CDO工具的封装，pynco和cdo，提供了更多的便捷操作。•Grib格式：xarray，Iris，pygrib等，有些仅支持类Unix系统。 ECWMF提供了cfgrib工具可将grib格式转换为NetCDF格式，cfgrib库支持Mac，Linux和windows系统。•csv, xlsx等格式：pandas你值得拥有，无论是气象还是其他领域的类似格式数据，使用pandas可以解决你的常用操作。•HDF格式：pandas和h5py可以处理hdf5格式，PyHDF可以处理hdf4格式。•二进制：numpy可以处理二进制数据，同时借助python内置struct模块可以非常方便的处理二进制格式数据。
想如今气象数据netCDF(.nc)为盛，用者甚多，初学者见之仰天长啸，倘若再由Python经手，netCDF4-python，Iris，xarray，UV-CDAT选择众多，劳心伤神事小，逼出选择困难症事大。多番比对，选用xarray，解查安抚，化繁为简，最为称心。
因为近期涉及到预报系统部署和后处理开发的任务，为了和预报模式更好的兼容，一些数据处理工作就交给Fortran来做了。把Fortran和C的NetCDF库API部分内容做了一个整理。
Converts values of type short to values of type float using the "scale" and "offset" attributes (if present).
NCO是目前最强大的处理netCDF文件（包括由netCDF API创建的HDF5文件）的命令行工具，没有之一。NCAR开发NCO起初是为了处理分析GCM(General Circulation Models)数据集，即网格化科学数据集。
我们使用简单的测试用例来对各种高级编程语言进行比较。我们是从新手程序员的角度来实现测试用例，假设这个新手程序员不熟悉语言中可用的优化技术。我们的目的是突出每一种语言的优缺点，而不是宣称一种语言比其他语言更优越。计时结果以秒为单位，精确到四位数，任何小于 0.0001 的值将被视为 0 秒。
版权声明：本文为博主原创文章，转载请注明原文出处！ https://blog.csdn.net/T_27080901/article/details/82194108
首先需要确保xgrads库的安装： pip install xgrads Install from github 或者 git clone https://github.com/miniufo/xgrads.git cd xgrads python setup.py install 链接https://github.com/miniufo/xgrads ， 有提供示例ctl和dat文件，下面我们是使用的ctl和grd文件转换的，方法类似： #import sys #sys.path.append('/home/gavin/miniconda3/envs/atmpy/lib/python3.8/site-packages') #sys.path from xgrads import CtlDescriptor, open_CtlDataset ds = open_CtlDataset('lst.ctl') ctl = CtlDescriptor(file='lst.ctl') ds.attrs['pdef' ] = 'None' ds.to_netcdf('lst.nc') data = ds.ro1 data.where(data!=ctl.undef).plot(figsize=(9,5), cmap='jet') 以上需要注意两点： 1.如果在jupyter-lab中无法加载xgrads需要手动添加其路径，使用到的是：import sys 2. xgrads存在bug，如果不添加语句ds.attrs['pdef' ] = 'None'会一直报错，无法生成nc文件！
目录 1 生成nc 格式的文件 1.1 代码 2 简单读取nc 格式的文件 1 生成nc 格式的文件 1 首先是生成的nc格式文件使用panoply 软件打开的数据是： 📷 📷 第一个图解释： 以上就是使用代码生成的nc格式的文件，使用panoply 软件打 开之后，我们就看到了具体的信息； 一共有两个维度，一个是X ，一个是Y ，这两个维度的值代表 数组的长度；或者这样理解，一个维度就是一个数组，维度 的长度 就是数组长度，就是这个数组里面可以存放多少数据； 第二个图解释： 这个nc文件里面存放
上述步骤通常会产生很大的nc文件(>10G)，尤其是在处理大量数据时。最近在处理卫星数据时，最终生成的文件甚至超过了50G，有些甚至超过了100G。而目前xarray对于nc格式的大文件存储让人头疼。在存储这些大文件时耗时很长，甚至可能会导致程序挂起。
使用过WRF的人都知道，它的模拟结果是按照我们指定的时间间隔和模拟时间段依次输出的。但在处理数据的时候呢，比如想画一个时间趋势图之类的时候，挨个读取数据非常繁琐。我们希望能够把所有的数据或者某个我们关心的变量单独提取出来，让其按照指定的维度，如时间维度来排序并整合成一个文件。下面我就分享一下我在日常科研中为了解决这个问题而写的代码，供大家参考使用(代码很简单， 大家只需要把文件名、路径改成自己的就可以用了)。
官方文档:https://www.scipy.org/ \qquad https://docs.scipy.org/doc/scipy/reference/index.html
对比使用 Basemap，gdal 和 Cartopy，netCDF4 读取 WRF 模式数据并绘图。
获取Anaconda3-4.3.1-Linux-x86_64.sh、netCDF4-1.2.7-cp36-cp36m-manylinux1_x86_64.whl、opencv_python-3.2.0.7-cp36-cp36m-manylinux1_x86_64.whl
近几年，python在气象领域的发展也越来越快，同时出现了很多用于处理气象数据的python包。比如和NCL中的 WRF_ARWUser库类似的 wrf-python模块。
选自Medium 作者：Taposh Dutta-Roy 机器之心编译 参与：Nurhachu Null、李泽南 今年 3 月，英伟达的 GTC 2017 大会上展示了很多深度学习技术在医疗领域中的卓越工作。Ian GoodFellow、Jeremy Howard 以及其他的深度学习专家都分享了他们对深度学习的见解。顶尖的医科学校（例如西奈山医院、纽约大学、麻省综合医院等）以及肺癌 BOWL 的获奖者 Kaggle 一起解释了他们的建模策略。回顾我们的系列文章，在上一篇文章中，我们讨论了在文本和图像数据上的
今天打算使用GDAL读取MODIS影像数据，由于我的MODIS是HDF4格式，而默认的GDAL是不包含HDF数据驱动的，所以必须重新编译GDAL。 我的开发环境是Ubuntu 14.04，首先安装需要的HDF包。 sudo apt-get install libhdf4-alt-dev libhdf5-dev libnetcdf-dev hdf4-tools hdf5-tools libgeos-dev libproj-dev 其中，libhdf4-alt-dev，libhdf5-dev，libnetcdf-dev分别是HDF4, HDF5, NetCDF数据的开发库，hdf4-tools和hdf5-tools分别是HDF4和HDF4的命令行工具。libgeos-dev和libproj-dev分别是GEOS和Proj.4的库。 特别需要注意的是：对于HDF4不要安装libhdf4-dev而需要安装libhdf4-alt-dev。我今天刚开始安装的是libhdf４-dev，编译安装都没有问题。但是读数据的时候一直提示打不开HDF4的数据。折腾了好久，最后，网上查询到说是libhdf4-dev包中含有一个NetCDF库的兼容API导致的。 接下来是下载源码进行编译，进入源码目录，执行下面命令。 ./configure --with-geos --with-static-proj4 --with-hdf4 --with-hdf5 --with-netcdf --enable-debug make sudo make install 将lib库添加到用户环境变量中，我是在~/.profile文件中进行的配置： export LD_LIBRARY_PATH=/lib:/usr/lib:/usr/local/lib 最后使用sudo ldconfig命令使之生效。 利用其读取MODIS数据如下图：
文中代码与数据请点击https://pan.bnu.edu.cn/v/link/view/0cd746194a1e42858583e84ac7fc4e40直接下载，不需要转存。
首先看一下测试nc文件，总计7个文件，每个文件大约6.7G，是CNRM-CM6-1-HR模式按照25年的时间分开存储的。
本篇文章将从数据下载、处理、神经网络训练、画图四个大步骤叙说笔者在复现 Deep learning for multi-year ENSO forecasts这篇文章的工作。所涉及Python库有 wget , matplotlib , numpy ,xarray , pytorch 等一系列在深度学习以及气象数据处理中经常使用的函数库，希望这篇文章能够对大家有所帮助。笔者也只是大学二年级的本科生，做这些东西也只是凭借个人兴趣，水平低下、错误频出也是常有的事情，请大家见谅。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
