使用Python处理NetCDF格式文件

MeteoAI

发布于 2019-07-22 18:16:06

7.4K1

发布于 2019-07-22 18:16:06

文章被收录于专栏：MeteoAIMeteoAI

NetCDF(Network Common Data Form)是一种科学二进制数据格式，由UCAR负责开发和维护netCDF软件，主要用于存储多维科学数据。在地球科学领域使用较为广泛，大多数数值模式，卫星，雷达等数据格式通常为NetCDF格式。

NetCDF 数据的特性包括：

自描述性：即 netCDF 文件包括关于其中所含数据的信息，如捕获数据元素的时间以及使用的测量单位。
可移植性：或称跨平台性，即在一种操作系统上创建的 netCDF 文件通常可被其他操作系统上的软件读取。
可扩展性：即可有效地读取一个大 netCDF 文件的一个小子集，而无需读取整个文件。

本文不对NetCDF数据格式进行过多的介绍，主要讲一下如何处理NetCDF格式文件，并且如何对最终的数据进行可视化分析。

目前有非常多的软件可以处理NetCDF格式文件，并且相当一部分提供了可视化功能。如下图所示(截图仅展示了很少的部分，完整列表见Unidata[1])：

NetCDF 文件处理工具

其中列出的ncdump可以查看NetCDF文件中的变量和属性等信息，ncview，panoply可以对NetCDF文件中的变量进行简单的可视化，如果需要对NetCDF文件进行裁剪，算术运算或者插值等操作，可以使用nco或cdo等工具。复杂的数据处理工作和二维可视化可以使用matlab，python或NCL，三维可视化可以使用VisAD，Vis5d，IDV等。

处理nc文件的工具很多，此次仅利用python来讲一下如何处理nc文件。目前Python中最受欢迎的处理NetCDF数据的库是netCDF4-python。此外，scipy.io模块也提供了NetCDF文件接口，可以用来读取NetCDF文件。

如果你还没安装netCDF4，可以通过以下命令安装：

pip install netcdf4
#or
conda install netcdf4

本文以netCDF4-python为例。以下代码给出了完整的数据读取和绘图部分(效果见图2)：

# load library
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

import cartopy.crs as ccrs
from cartopy.mpl.ticker import LongitudeFormatter, LatitudeFormatter
from cartopy.util import add_cyclic_point
from palettable.colorbrewer.diverging import RdBu_11_r 
import netCDF4 as nc

sns.set_context('talk', font_scale=1.2) # 设置图形属性

# read NetCDF file
fn = 'air.sig995.2012.nc'
data = nc.Dataset(fn, 'r') # 默认为读文件，此处 'r' 可省略

# 读取相关变量
lat = data.variables['lat'][:].data
lon = data.variables['lon'][:].data
time = data.variables['time'][:].data
air = data.variables['air'][:].data

# 添加数据循环，以防止在0和360时出现白色条状
# 添加数据循环和不添加数据循环的效果见后文两张图
cycle_air, cycle_lon = add_cyclic_point(air, coord=lon)
cycle_LON, cycle_LAT = np.meshgrid(cycle_lon, lat)

projection = ccrs.PlateCarree() # 设置投影
fig, ax = plt.subplots(figsize=(16, 9), subplot_kw=dict(projection=projection))

con = ax.contourf(cycle_LON, cycle_LAT, cycle_air[0, ...], 
                 np.arange(220, 321), cmap=RdBu_11_r.mpl_colormap)

ax.coastlines(linewidth=1.5) # 添加海岸线
ax.set_xticks(np.arange(-180, 181, 60), crs=projection)
ax.set_yticks(np.arange(-90, 91, 30), crs=projection)

# 设置 ticklabels 格式
lon_formatter = LongitudeFormatter(number_format='.0f',
                                  degree_symbol='',
                                  dateline_direction_label=True)
lat_formatter = LatitudeFormatter(number_format='.0f',
                                 degree_symbol='')

ax.xaxis.set_major_formatter(lon_formatter)
ax.yaxis.set_major_formatter(lat_formatter)

# shrink 控制 colorbar 长度，pad 控制colorbar和图的距离
cb = fig.colorbar(con, shrink=0.73, pad=0.02)

# 调整 ticklabels
cb.set_ticks(np.arange(220, 321, 20))
cb.set_ticklabels(np.arange(220, 321, 20))

cb.ax.tick_params(direction='in', length=5) # 控制 colorbar tick

# 保存文件, dpi用于设置图形分辨率, bbox_inches 尽量减小图形的白色区域
fig.savefig('test.png', dpi=300, bbox_inches='tight')

上述导入的库：

numpy ：用于生成标签数组

matplotlib ：用于绘图

seaborn ：用于设置合适的图形参数，关于seaborn见 Python简单高效的可视化神器——Seaborn

palettable ：用于设置colormap

cartopy ：添加地理图形信息

netCDF4 ：读取netcdf格式文件

其余代码段的解释在上述代码中已经给出，文末也给出了Notebook和数据链接，Notebook中有更多更详细的代码和解释。Notebook中也给出了使用 scipy 读取 netcdf 文件的示例。