专栏首页气象杂货铺利用python-cdo处理气象数据

利用python-cdo处理气象数据

如果你不喜欢命令行的操作方式,那么你可以尝试使用python-cdo,利用python脚本语言的优势来处理气象数据。命令行的方式有其优势,比如简单易操作,可扩展性更强等,利用CDO的python接口也有其特有的优势,比如:

  • 通过numpy/narray可以进行直接的数据操作
  • 临时文件自动处理
  • 灵活的并行化计算
  • 条件处理操作
  • 扩展新操作符

安装

安装方式非常简单,运行以下命令即可:

pip install cdo
或
conda install python-cdo

操作符

一般情况下导入库时不建议使用如下方式导入的,建议使用 from ... import ... as ... 。为了调用所有操作符,建议按照 In [5] 方式执行赋值语句,以防出现属性调用错误。

查看文件信息

In [4]: from cdo import *

In [5]: cdo = Cdo()

In [6]: cdo.sinfon(input = "wrfout_d02_2016-06-23_06_00_00")
Out[6]: 
['File format : NetCDF2',
 '-1 : Institut Source   Steptype Levels Num    Points Num Dtype : Parameter name',
 '1 : unknown  unknown  instant       1   1     48240   1  F32  : LU_INDEX',
  .....
 '175 : unknown  unknown  instant       1   1         1   7  I32  : SEED2',
 'Grid coordinates :',
 '1 : curvilinear              : points=48240 (240x201)',
 'XLONG : 115.839 to 123.957 degrees_east',
 'XLAT : 30.0914 to 35.6799 degrees_north',
  ........
 '7 : generic                  : points=1',
 'Vertical coordinates :',
 '1 : surface                  : levels=1',
  ........
 '4 : generic                  : levels=4',
 'lev : 1 to 4 by 1 level',
 'Time coordinate :  36 steps',
 'YYYY-MM-DD hh:mm:ss  YYYY-MM-DD hh:mm:ss  YYYY-MM-DD hh:mm:ss  YYYY-MM-DD hh:mm:ss',
 '2016-06-23 06:00:00  2016-06-23 06:10:00  2016-06-23 06:20:00  2016-06-23 06:30:00',
  .....
 '2016-06-23 11:20:00  2016-06-23 11:30:00  2016-06-23 11:40:00  2016-06-23 11:50:00']

查看文件信息的操作符与CDO命令行操作符相同,在python中是以方法的方式调用。

通过 input 参数指定输入文件,如果需要输出文件时,则通过 output 参数指定:

In [8]: cdo.timmean(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfmean.nc")

性能对比

对比CDO命令行和Python-cdo接口的执行效率:

以下两个命令执行相同的操作:先选择1-5时步的所有变量数据,然后在结果中选择指定的变量。

In [21]: %time os.system("cdo -selname,SCW,SCTOT,SCH,SCS,REFL_10CM -seltimestep,1/5 wrfout_d02_2016-06-23_06_00_00 wrfsub_cdo.nc")
CPU times: user 0 ns, sys: 3.29 ms, total: 3.29 ms
Wall time: 36.9 s
Out[21]: 0

In [22]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub_python.nc")
CPU times: user 0 ns, sys: 3.65 ms, total: 3.65 ms
Wall time: 41.4 s
Out[22]: 'wrfsub_python.nc'
In [23]: %time os.system("cdo copy wrfout_d02_2016-06-23_06_00_00 wrfcopy_cdo.nc")
CPU times: user 2.3 ms, sys: 174 µs, total: 2.48 ms
Wall time: 10min 1s
Out[23]: 0

In [24]: %time cdo.copy(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfcopy_python.nc")
CPU times: user 0 ns, sys: 3.73 ms, total: 3.73 ms
Wall time: 10min 43s
Out[24]: 'wrfcopy_python.nc'

从上述结果中可以看出,CDO命令行的耗时和python接口的耗时差别不大。测试数据大小:19G。如果是对大量数据进行操作的话,可以优先使用命令行方式,效率相对会高一些。

:未进行完全测试,结果可能存在一定偏差。

参数

在利用 CDO转换数据集格式 时,需要指定输出文件格式,比如选择变量或时步时也需要指定操作符的参数。

在使用pyhon接口时如何指定CDO命令行方式的参数呢?

In [25]: %time cdo.copy(input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfcopy.grb", option = "-f grb")
CPU times: user 0 ns, sys: 4.12 ms, total: 4.12 ms
Wall time: 12min 18s
Out[25]: 'wrfcopy.grb'

只需要在调用方法时添加 option 参数即可。

为每个操作符添加参数时,只需要将参数作为方法的第一个参数即可。比如:

In [26]: %time cdo.seltimestep("1/3",input = "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub1.grb", option = "-f grb")
CPU times: user 244 µs, sys: 3.87 ms, total: 4.11 ms
Wall time: 44.9 s
Out[26]: 'wrfsub1.grb'

链式操作

python-cdo中完整的支持类似CDO命令行的链式操作符,执行顺序和CDO命令行操作相同。

In [27]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00", output = "wrfsub.grb", option = "-f grb")
CPU times: user 4.58 ms, sys: 349 µs, total: 4.93 ms
Wall time: 37.6 s
Out[27]: 'wrfsub.grb'

通过上述命令可以看出,除了 selname 操作的参数时在方法内单独给出之外,其余操作符(seltimestep)的调用方式和CDO命令行调用方式相同。

相当于:

cdo -selname,SCW,SCTOT,SCH,SCS,REFL_10CM -seltimestep,1/5 wrfout_d02_2016-06-23_06_00_00 wrfsub_cdo.nc

临时文件

CDO命令行的链式操作可以省却中间临时文件的输出,从而节省了不必要的空间存储,python-cdo也提供了临时文件的处理。

当不指定 output 参数时,当前文件夹下是不会生成输出文件的,但是从输出结果可以看出,输出文件存放到了临时文件夹下。

In [28]: %time cdo.selname("SCW,SCTOT,SCH,SCS,REFL_10CM",input = "-seltimestep,1/5 " + "wrfout_d02_2016-06-23_06_00_00")
CPU times: user 3.05 ms, sys: 4.09 ms, total: 7.14 ms
Wall time: 38.2 s
Out[28]: '/tmp/cdoPy_f_c2j0l'

类似临时文件的处理方式,当需要处理大量数据时,可以控制输出文件的输出,从而节省大量的时间(前提是不需要输出文件或是输出文件本身已经存在了)。可以通过以下两种方式控制输出文件的输出:

  • 设置全局属性

cdo.forceoutput = True/False

  • 操作符选项
cdo.selname("SCW", input = "wrfout_d02_2016-06-23_06_00_00", force = False)

多线程处理

python-cdo提供了多线程处理方式,可以处理能并行执行的任务。比如:

from cdo import *
import multiprocessing

def showlevel(arg):
    return cdo.showlevel(input=arg)

cdo       = Cdo()
cdo.debug = True
ifile     = '../wrfsub.nc'
pool      = multiprocessing.Pool(1)
results   = []

for i in range(0,5):
    results.append(pool.apply_async(showlevel, [ifile]))

pool.close()
pool.join()

for res in results:
    print(res.get())

python-cdo最重要的更新之一就是支持 numpy/narray 数组操作。通常有3中方式来获取数据:

  • 文件句柄

使用文件句柄可以非常方便的获取变量,属性,维度等信息。可以使用 returnCdf关键词或 readCdf 方法。比如:

In [50]: t = cdo.seltimestep("1/3", input = "wrfout_d02_2016-06-23_06_00_00", options = "-f nc", returnCdf = True).variables["T"][:]

In [51]: t.shape
Out[51]: (3, 59, 201, 240)
In [46]: ff = cdo.readCdf("wrfout_d02_2016-06-23_06_00_00")

In [47]: t = ff.variables["T"]

In [48]: t.shape
Out[48]: (36, 59, 201, 240)
  • numpy/narray 对象

当需要读取特定变量时可使用此方式

In [52]: t = cdo.seltimestep("1/3", input = "wrfout_d02_2016-06-23_06_00_00", options = "-f nc", returnArray = "T")

In [53]: t.shape
Out[53]: (3, 59, 201, 240)
  • 掩膜数组

如果目标变量含有缺省值,即有FillValue之类表示缺省值的属性,则会影响返回结果。比如:对海洋区域数据进行掩膜。

oro = cdo.setrtomiss(-10000, 0, input =  cdo.topo( options =  '-f nc'), returnMaArray =  'topo')

setrtomiss 表示将在 -10000, 0 之间的数设置为缺省值。

绘图

能够直接操作 numpy/narray 数据的好处之一就是处理好之后既可以直接进行绘图。当然,CDO也可以编译为支持 Magics++,然后在操作之后进行绘图操作,但是仍没有在python中利用 matplotlib 等绘图库要方便。

由于变量 t 在上面已经获取并且处理了,因此此处直接使用。

In [62]: import matplotlib.pyplot as plt

In [63]: plt.contourf(t[1, 6, :, :])
Out[63]: <matplotlib.contour.QuadContourSet at 0x7fc6832142b0>

In [64]: plt.colorbar()
Out[64]: <matplotlib.colorbar.Colorbar at 0x7fc6831896a0>

In [65]: plt.show()

关于python-cdo中提供的方法的使用方式,可以查看帮助。如果帮助看不明白,可以查看单元测试脚本,单元测试脚本中基本上包含了所有使用方式,比官方文档要更靠谱 [注1]


注1:https://github.com/Try2Code/cdo-bindings/blob/master/python/test/test_cdo.py

本文分享自微信公众号 - 气象杂货铺(meteogs),作者:lightning

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-08-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何利用CDO从数据集中提取数据

    之前说了如何利用CDO查看数据集信息 使用CDO查看气象数据信息。这一次说一下利用CDO从数据集中提取数据。这部分是非常使用的,尤其是当涉及到大数据集的时候,其...

    bugsuse
  • WRF模式之WPS的配置运行

    编译安装好可以模拟实际个例的WRF模式之后,在模拟之前需要先确定模拟域(即模拟范围)以及数据预处理(插值陆面数据,比如地形,土壤等数据;差插值气象数据到模拟域)...

    bugsuse
  • WRF模式之个例模拟

    WPS只是WRF运用实际数据模拟的准备过程,这就好比开车要先上车。讲完前处理过程之后 WRF模式之WPS的配置运行,就要开始模拟了。

    bugsuse
  • Emlog6 模板设置插件修复版

    首先找到路径/admin/views/template.php文件,替换一下全部代码

    似水的流年
  • 分治策略之归并排序(Python实现)

    比如数组 A ={3, 41, 52, 26, 38, 57, 9, 49},输出为{3,9,26,38,41,49.51,57}。

    TrueDei
  • 通读审计之DOYOCMS

    首先大家看到我文章的标题,我这里所谓的“通读审计”就是把整个代码审计过程一字不差的记录下来。因为审计过很多CMS,也看过很多代码审计文章,大多数都是把漏洞点提一...

    FB客服
  • 6-STM32物联网开发WIFI(ESP8266)+GPRS(Air202)系统方案微信小程序篇(PHP学习_1)

    其实平时开发的时候php开发的程序是单独的文件,一般不会嵌入到html里面,所以后面不加 ?>

    杨奉武
  • 云服务、云办公纷纷单飞,金山软件指谁养老?

    5月26日港股盘后,金山软件公布了2020年Q1财报。数据显示,一季度,金山软件营收11.7亿元人民币,同比增32%;归母净利润625.7万元,去年同期亏损67...

    金融外参
  • JAVA程序员面试30问(附带答案)

    最常被问到。final修饰符(关键字)如果一个类被声明为final,意味着它不能再派生出新的子类,不能作为父类被继承。因此一个类不能既被声明为 abstract...

    美的让人心动
  • 剖析Go的读写锁

    package main import ( "fmt" "sync" "time" ) func main() { rw := new(...

    李海彬

扫码关注云+社区

领取腾讯云代金券