Nature | 英国顶级AI研究机构与气象局合作利用深度学习方法改善临近降水预报

前言

大家好，今天向大家介绍一篇由英国顶级AI研究机构deep mind与英国国家气象局合作发表于nature杂志上的文章。本文章的题目：是使用雷达的深度生成模型进行熟练的降水临近预报。本文开发了一种名为DGMR的深度学习方法，可以准确的预测未来90分钟内下雨的可能性。

天气预报在日常生活中十分重要，与民生息息相关。今天是否需要增减衣物，是否应该带伞，会不会遭遇洪涝？现在坐飞机是否安全？小到每个家庭的日常出行，大到农业、航空及各方面，人民生命财产安全.及时预报对于水资源管理、农业、航空等领域都至关重要。

降水临近预报是对未来两个小时内降水的高分辨率预测，它满足了许多依赖于天气决策部门的社会经济需求。近年来，常见的深度学习方法使用雷达直接预测未来降雨率。虽然准确的预测了低强度降雨，但是在罕见的中到大雨事件中表现不佳。对于气象学家来说，降水的临近预报仍然是一个巨大的挑战。

对此，deep mind的提出了DGMR深度学习方法，用于雷达测量降水的概率临近预报。

DGMR模型

deep mind 根据来自英国的雷达数据训练人工智能，研究人员将这些数据输入到一个深层网络中去。经过训练可以生成新的数据样本，这些样本与它训练的真实数据非常相似。

通过DGMR, deep mind基于过去的雷达测量数据预测未来的雷达测量结果，既可以捕获未来的大规模事件，同时也可以生成许多代替的雷达场景，也就是集合预测，从而提高了预测降水的准确性。实现提前两小时预测降雨的数量、时间和地点，这也就相当于看了几帧电影之后，猜测接下来会发生什么。

数据信息

首先向大家介绍一下本文的数据信息。本文的数据来源是英国的复合雷达观测数据，其时间分辨率是5min，空间分辨率是1km×1km，空间范围是1536km×1280km。时间范围是2016年1月1日至2019年12月31日，每5min收集一次的雷达数据训练集设定为2016年至2018年，测试集设定为2019年，验证集设定为2016年至2018年每个月的第一天。 将这些数据输入到DGMR网络中去，就能预测并生成未来的动态类大图。

训练方法

下面向大家介绍一下训练方法。学习是在条件生成对抗网络的算法框架中构建的。以过去的雷达数据为基础，对未来的雷达做出详细和可信的预测。也就是说在给定的时间点t使用基于雷达的地表降水估计值xt基于过去m个雷达场预测未来n个雷达场。

对于本文的问题来说，就是基于过去20min观测雷达数据获取的数据。DGMR能够预测未来90min的降雨概率。由于数据的时间分辨率是5min，因此过去20min就意味着四帧的数据未来90min就意味着十八帧的数据。

模型结构

接下来向大家介绍一下模型具体的结构。 临近预报模型是一个生成器，它使用了两个判别器和一个额外的正则画像进行了训练。 该图时显示了DGMR模型的总体框架，左侧为生成器部分，右侧为判别器和正则化部分。

生成器结构图

接下来向大家分别介绍生成器和判别器的详细示意图。

首先，该图展示了生成器的结构图，该生成器主要有两个模块组成，分别是左侧的条件堆栈部分和右侧的采样器部分。总体来看是一个u型结构。

左侧的条件堆栈部分是一个前馈卷积神经网络，旨在从过去4帧的雷达数据中生成条件表示，首先每帧256×256×1的雷达观测数据，通过空间到深度的操作被转化为128×128×4的数据。然后使用四个下采样残差块，降低了分辨率，并增加了二倍的通道数量。每个参差框的四个输出在通道维度上进行连接，并且对于每个输出应用3×3规划卷积将通道数量减少到原来的二倍后，再使ReLu激活函数分别产生大小为64×64×48、32×32×96、16×16×192和8×8×384的条件表示。

再看右侧的采样器部分，采样器由卷积门控循环单元循环网络构成。它使用条件表示和空间前变量z作为输入，对未来是对未来18个雷达场进行预测。8×8×768的潜在表示，zsp由潜在条件堆栈产生，这是一个小的潜规卷积网络。通过逐渐增加新的数量，将原本8×8×8的输入转化为8×8×768的潜在表示。对于潜在变量z的整合可以确保模型做出的预测在空间上具有依赖性，可以提高模型的预测效果。

具体来看，每个convGRU的输出被上采样到下一个convGRU的输入，该convGRU具有一个频谱规划卷积和两个残渣块。对于第一个预测时段t1来说，他接受左侧条件堆栈部分最深层最小特征度的条件表示作为convGRU循环模块隐藏层的初始状态。再加之从下面来的zsp传入t1的输入，这时得到了两个输出，其中一个作为下一时刻t2的隐藏状态向右传递，另一个输出向上输入到参差块中,使用最近邻插值法将输入的空间分辨率加倍，通道数减半。直到最后一个convGRU模块图像，此时的大小应为128×128×48。这时再经过批归一化激活函数1×1的规划，卷积产生的输出大小为128×128×4。然后与条件堆栈部分高分辨率图像操作相反，此时进行了深度到空间的操作，将128×128×4的图像转化为256×256×1的图像，以此类推处理全部十八个预测事件。

判别器的结构图

了解了生成器结构后，再看判别器的部分。该图具体展示了判别器的结构，两个判别器分别用于空间上和时间上的对抗性学习。学习有两个损失函数和一个正则画像驱动，通过比较真实雷达观测值和模型产生的观测值来指导参数调整第一个参数。

第一个损失函数由空间判别器定义，这是一个卷积神经网络，每个残差块将分辨率减半，通道数量加倍，旨在区分单个观测到的雷达场和生成的场，确保空间一致性，并避免模糊的预测。第二个损失由时间判别器定义，它是一个三维卷积神经网络，其结构和步骤与空间判别器类似，只在区分到观测到的和生成的雷达序列。

同时，为了提高精度，我们还引入了一个正则画像。他沿着高度h宽度w和提前时间n轴对所有的网络单元进行了平均,惩罚真实雷达序列和模型预测均值之间的网格单元分辨率偏差。该项对于模型产生准确的位置预测和提高性能非常重要，有利于保持样本一致性。

这是通过生成器和判别器之间不断的循环对抗,生成器g和判别器d的能力就会越来越强，最终得到可以基于过去的雷达数据对未来的天气信息进行详细和合理的预测的深度生成模型。

总结

总结一下本文在此项研究中结果。deep mind采用独特的科研思路，把可用于高质量数据用于难以攻克的重要领域，同时推动了深度学习算法在临近预报方面大展宏图。而DGMR的出色表现也使得天气转感技术向前迈进了一大步。雷达提供高分辨率与测量数据的频率大幅提高。从过去的20min观测一月提升，可以为接下来90min的观测进行了概率预测。

相比于传统发现问题解决问题的论文，本文之所以可以刊登在nature上，有一个很重要的原因我认为不可以被忽略。就是deep mind除了采用各种评分指标来评估模型外，还采用了一种更为新颖的人文方式，即通过五十多位专业的气象学家进行系统评估。

评估的结果表示与之前广泛使用的临近预报方法相比，该方法在89%的案例中准确性和实用性均排名第一，包括其对教育的位置、范围、运动和强度等预测的方面。证明了DGMR深度学习方法具备为现实世界的决策者提供洞察力的能力。

据了解，平流方法生成的降水结果强度通常过高，而确定性深度学习方法及Unet方法，它的结果就较为模糊。比起这两种临近预报方法，DGMR平衡了预测结果的降水强度和范围，可以更好的捕捉环流强度和结构，并能够更清晰准确的预测局部的降雨和运动。不仅如此，在运行速度上，该模型能够快速生成全分辨率及时预报。也就是说，它仅用一块英伟达v100gpu，就能在一秒钟左右的时间里生成单个预测。总的来说，本文值得我们深刻学习。