ECMWF：机器学习在IFS预报系统中的应用

过去三年，机器学习在天气和气候科学中的应用蓬勃发展，许多领域都进行了探索。机器学习工具可以从大量的数据中表示复杂任务，有望改善地球科学的许多问题。

因此，ECMWF已开始探索复杂机器学习技术在很多相关领域的应用。ECMWF在2021年组织了两次机器学习研讨会，并计划在2022年5月举办第一次机器学习培训课程。

神经网络是机器学习工具箱中最突出的方法。这些网络可以在训练期间通过调整一组神经元之间的连接强度来学习复杂任务的表征。在监督训练期间，最小化大量输入/输出数据样本之间的映射误差。

机器学习模型模拟应用的复兴

ECMWF第一次使用神经网络是在 Frédéric Chvalier 等人（1998）的一个项目中：模拟辐射方案的红外分量。这意味着，神经网络被训练用于替代传统辐射方案一个组成部分。

这为什么有用呢？因为模拟器可能更快，算法表示也更容易。虽然模拟辐射方案是成功的，但随后放弃了模拟部分辐射方案的想法，主要是因为很难使模拟器与最新的模型周期保持最新，而且垂直分辨率的提高使模拟更加困难。

然而，在经历了20年的停滞后，可用数据量呈指数级增长，训练复杂机器学习工具的能力取得了巨大进步，用于地球系统模型组件的机器学习模拟器迎来了复兴。

神经网络计算由线性代数主导，可以使用非常低的数值精度，这使得它们在现代超级计算机上非常有效。此外，它们可以很容易地移植到异构超级计算硬件，如GPU或张量处理单元。不断增长的深度学习应用市场将超级计算机的发展推向了神经网络的需求。此外，ATOS的新ECMWF超级计算机将包括GPU节点，这些节点对于神经网络的训练和运行非常有效。

辐射和重力波拖曳方案模拟

在ECMWF，我们开始着手模拟：

• 辐射方案 ecRad (与NVIDIA合作)
• 重力波拖曳参数化方案 (与牛津大学合作)

我们已经成功地建立了一个非地形重力波表示的模拟器。与业务的默认方案相比，模拟器不仅更快(如果使用GPU，则能提速10倍)，而且更好，因为它是从具有更高分辨率的参数化方案版本训练而来的（图1）。此外，我们能够使用模拟器来构建已在数据同化实验中成功使用的所谓的切线性和伴随版本的模拟器。

图1 Forecasts with the Integrated Forecasting System of the zonal-mean zonal jet averaged between latitudes -5 to 5, depicting the quasi-biennial oscillation (QBO). Top: using an increased complexity version of the existing non-orographic gravity wave drag scheme. Bottom: using a neural network to emulate non-orographic gravity wave drag. Both forecasts capture the phases of the QBO and only diverge after significant simulation time.

对于辐射模拟，我们最近发布了一个训练数据集，作为Maelstrom EuroHPC项目的一部分，任何感兴趣的人都可以使用。我们现在正在离线模式下训练神经网络模拟器，不久将开始将模拟器重新集成到预测系统中，以研究在线性能（图2）。

图2 Example offline emulation of instantaneous short-wave surface tendency (W/m2) from the radiation scheme. Top: using a conventional radiation scheme (ecRAD with the Tripleclouds solver), middle: using a convolutional neural network emulator, bottom: difference between the two.

ECMWF还与雷丁大学David Meyer等人合作，参与了机器学习模拟器的应用，以表示辐射方案中云的三维形状的影响。目前，在传统的辐射方案中进行业务预测来表示这些影响代价太高。神经网络模拟器则要高效的多，并且可以很好地呈现三维效果。然而，仍需要验证模型中的在线性能。此外，还与Peter Ukkonen等人进行了合作，以模拟辐射方案中的气体光学(gas-optics)。

预报中应用机器学习的挑战

虽然到目前为止结果显示出机器学习很有前景，但是足够准确的模拟以及将机器学习工具引入到预报流程中是非常具有挑战性的。

例如，我们仍然无法为重力波阻力参数化方案的地形部分建立模拟器。这项任务对于机器学习方法来说是非常困难的，因为该方案对于大部分网格列都是不活跃的，导致机器学习解决方案中对这些活动表示不足。此外，将当前的模拟器应用到预报系统中，并在ECMWF当前基于CPU的超级计算机上运行时并不总是更快。这主要是因为需要遵循预报系统中当前使用的并行结构。然而，随着预测模型的可移植性得到改善，模拟器也将获得更大的灵活性，并且GPU和其他加速器也有望改善计算效率。

目前，仍需要更多的研究改进耦合机器学习和常规的预报系统。这将通过开发Infero库进行规划，该库由ECMWF的生产服务团队开发，并由作为天气和气候建模卓越中心成员的ATOS贡献部分工作。

地球系统科学中机器学习日益广泛的应用

与此同时，在地球系统科学界内仍在不断的努力去尝试模拟模型组件。目前正在探索模拟以下模式组件，包括动量、边界层、重力波阻力、辐射、云和对流参数化方案，以及整个海洋、海气相互作用、大气化学、陆面模式和水文学。

有许多方式可以确定问题的框架，比如从现有的组件中学习，从计算代价高的方案版本中学习，甚至从高分辨率的模拟或观测中学习新的组件。除此之外，机器学习模拟器有不同的体系结构；例如，递归或卷积网络，以及物理知识机器学习方法。

因此，在让这些模拟器变得更好且更高效之前，我们还有很长一段路要走。

声明：本文编译自ECMWF官方文章，有所删减，如有疏漏，敬请指正。