前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >气象编程 | Python和NCL处理netCDF文件的scale_factor和add_offset

气象编程 | Python和NCL处理netCDF文件的scale_factor和add_offset

作者头像
气象学家
发布2022-01-18 13:15:38
2K0
发布2022-01-18 13:15:38
举报
文章被收录于专栏:气象学家气象学家

1.使用NCL的方案:

short2flt

Converts values of type short to values of type float using the "scale" and "offset" attributes (if present).

short2flt函数就能一步到位!

链接:

https://www.ncl.ucar.edu/Document/Functions/Contributed/short2flt.shtml

2.使用Python的方案:

使用python的netCDF4读取数据,发现数据集存在scale_factor和add_offset,但是我读取的数据应该是Unpacking data,也就是转换后的实际数据,不需要再处理,因为数据压缩是通过偏移和缩放之后将浮点数转化为整数,为了验证正确性,我通过下列代码验证:

代码语言:javascript
复制
from netCDF4 import Dataset

filename = r'geopotential.nc'
data = Dataset(filename)
print(data['z'].set_auto_maskandscale(True)) # 设置缩放和掩膜数组开启,默认就是开启,这句话可省略
print(data['z'][:]) # data1

print(data['z'].set_auto_maskandscale(False)) # 设置缩放和掩膜数组关闭
print(data['z'][:]) # 关闭后打印数据,得出的数据全部为整数
#将关闭后的数据应用缩放和偏移转换
print(data['z'][:]*data['z'].scale_factor+data['z'].add_offset) # data2
# 可以发现关闭data1和data2完全一致

'''
思路应该是这样:
采集到原始数据,然后为了节省存储空间,保证存储的数据精度,采取以下策略转换数据;
min:整个数据集的最小值, max:整个数据集的最大值, n:转化为多少个二进制数的整数,取决于你数据的范围,我这个数据集是16进制度
def compute_scale_and_offset(min, max, n):
    # stretch/compress data to the available packed range
    scale_factor = (max - min) / (2 ** n - 1)
    # translate the range to be symmetric about zero
    add_offset = min + 2 ** (n - 1) * scale_factor
    return (scale_factor, add_offset)
'''
def compute_scale_and_offset(min, max, n):
    # stretch/compress data to the available packed range
    scale_factor = (max - min) / (2 ** n - 1)
    # translate the range to be symmetric about zero
    add_offset = min + 2 ** (n - 1) * scale_factor
    return (scale_factor, add_offset)
# 我调用上述函数计算了偏移和缩放值:
import numpy as np
print(compute_scale_and_offset(np.array(data['z'][:]).min(),np.array(data['z'][:]).max(),16))
#得到的结果和我读取的ERA5文件中的scale_factor, add_offset一致。

参考链接:

https://www.codenong.com/cs105388609/

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-11-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 气象学家 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • short2flt
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档