气象AI｜雷达回波短临外推模型SE-ResUnet
一、Address
来自佳格天地的一篇ICDM workshop paper
Deep Learning Prediction of IncomingRainfalls: An OperationalServicefor the City of Beijing China
地址：https://ieeexplore.ieee.org/document/8955589
二、METHOD
2.1 数据去噪
数据存在一定的噪声，本paper用的是233* 233的每六分钟一次的数据
数据原本是一个维度的数据图片，但为了观察方便进行如上图所示可视化，以RGB显示进行着色的伪彩色图像，由0dbZ到70dbZ的尺度条表示。
这里paper中是用一个模型来去噪的。
这个模型结合了Unet+Resnet+Sqeeze-and-Excitation
输入是三个时刻的数据，相当于RGB，输出是expert处理的mask文件。
其实白话来讲就是学习哪些部分是有先后变化的，哪些是random的，random的就是噪声之后去掉。
2.2 数据集
2.2.1 挑选数据集
做降水预测都会有一些数据集的问题，正所谓数据量很大，但绝非什么时候都在下雨，所以为了让模型对rain天气学的更多，需要select一些数据，这个一般由自己的情况而定，这边的规则是：
2.2.2 数据增强
毕竟场景是北京地区，所以要根据地区的形势来定，而非其他任务那样random rotation
2.3 Model
SE-ResUnet
SE部分：(其实就是channel wise attention)
res block：(加上上面所示的attention，在temporal和spatial都存在)
2.4 loss func
15 对应于小雨， 35为中雨
三、实验结果
3.1 去噪效果
3.2 参数plot
3.3 预测结果
左上角，右上角是预测的，对应于左下角右下角是真实的。
四、作者经验
写这篇文章的时候刚好和第一作者宋博聊天，他说后期这个模型用的时候有一些经验也可以给大家分享下，以下是他发给我的：
这项深度学习工作是2018年北京市海淀区气象局委托北京佳格天地科技有限公司研发，用于服务北京市城市大脑的短时临近降雨预测。
2019年春天这项工作上线，到2019年秋天的模型迭代总结成了这篇文章。
在2020年，依据观察新的一个雨季，我们得出2020版本的总结，供业界同仁参照。
- 依据雷达数据的深度学习降雨预测对于中国北方雨区的生成过程的预测能力有限，尤其是对于局地强对流作用的雷阵雨预测能力较差。
- 深度学习对于雨区的消散预测极好。在今年大多数降雨过程里，深度学习对降雨消散的时间地点预测都强于人类气象预报员。
- 2019年版本深度学习模型的集成学习，在对极强降雨区的预报能力上，弱于单个深度学习模型。
- 输入时间段的长短，对于降雨预报有着极大的作用。从施行健博士2014-2015年开始尝试工作起，大多数业界尝试工作都使用10个时间点的连续数据输入。我们实验结果是在中国北方推荐使用15-25个时间点稀疏采样输入的效果最好；在中国南方（我们在2020年华为云杯粤港澳大湾区短临降雨预测大赛里拿了第二名）是5-15个时间点效果最好。同时，输入时间序列越短，对于最邻近的降雨时间预测效果最好；而输入时间序列较长，则对于较为靠后的降雨时间预测效果较好。
- 雷达数据的噪音问题对于降雨预测的效果有着极大影响。香港天文台的HKO-7公开数据集在这方面的特点是过分去噪，实际上是会导致很大麻烦的。而深圳气象局和华为云合作公布的粤港澳数据集在这方面的特点是有大量缺漏，实践中也会导致很大问题。因此，提请气象学界专家在今后的工作中对于数据源严加把控，而深度学习学界需要考虑噪音问题。