ECMWF｜面向可扩展的气象和气候机器学习项目

以下内容采用DeepL免费版进行翻译

MAchinE Learning for Scalable meTeoROlogy and climate (MAELSTROM) 项目由EuroHPC Joint Undertaking资助，并由ECMWF协调。该项目为期三年，于2021年4月1日启动，旨在帮助天气和气候社区为大规模机器学习应用做好准备。

机器学习仍然是地球系统科学的一个热门话题。机器学习工具在从许多应用的大型数据集中提取相关信息和学习复杂的非线性系统方面有很大的改进前景。然而--正如ECMWF的机器学习路线图 ECMWF发布未来十年战略规划，包括机器学习路线图 所概述的那样，机器学习应用的增长也给ECMWF等天气和气候预测中心带来了挑战。例如，领域和机器学习科学家习惯于使用一套不同的工具和基础设施（CPU上的Fortran与GPU上的Python）。

对机器学习来说，可以说是影响最大的领域之一，就是如何进行高性能计算（HPC）。人工智能（AI）是一个价值数万亿美元的市场，数倍于整个超级计算市场价值。因此，机器学习，尤其是深度学习，目前正在改变HPC的格局。我们不能低估未来几年人工智能对硬件发展的影响。事实上，人工智能已经影响了硬件发展。可参考 Nature计算科学｜地球系统科学的数字革命

虽然定制化的处理器是为深度学习应用而开发的，例如谷歌的TPU或Cerebras的定制化AI芯片，但面向一般HPC市场的商品化硬件将拥有用于深度学习的加速器，例如NVIDIA Volta GPU上的张量核心加速器。这种特殊的硬件通常针对低数值精度的密集线性代数计算进行了优化，对于能够利用这种运算的应用来说，很可能会使性能得到显著改善，成本也会降低。因此，天气和气候科学家应该去探索这些硬件新的功能，并学习如何使用这种硬件来满足他们的需求。

此外，机器学习工具的复杂度可以任意增加，对机器学习方法准确性的唯一限制是可用于训练的数据的质量和数量，以及计算和数据处理基础设施（包括软件和硬件）的限制。然而，天气和气候科学数据丰富，对于许多应用领域来说，几乎可以生成无限量的训练数据（例如，使用深度学习模拟模式组件）。因此，开发大规模的机器学习解决方案是很有意义的。这些解决方案将利用大型超算，并能将TB级的全球大气三维状态作为输入，同时利用数百万个可训练的参数进行测试和开发。

MAELSTROM项目将从以下方面做出重大贡献。第一步，MAELSTROM将探索天气和气候科学中六个最有前景的机器学习应用，这些应用将覆盖天气和气候预测流程的所有重要组成部分，包括：融合公众观测（citizen observations）、社交媒体数据与数值天气预报；使用神经网络模拟加速天气预报模式和资料同化；通过预报后处理改善区域天气预报；定制化天气预报为欧洲能源生产提供支撑。对于每项应用，将在线公布基准数据集，用于培训和开发机器学习工具。

第二步，MAELSTROM将设计一个软件框架，使科学家能够有效地应用和比较机器学习工具和库。用户界面将把应用开发者与计算系统设计者联系起来。在开发阶段，将对机器学习解决方案进行自动基准测试和错误检测。

第三步，MAELSTROM将针对不同的应用对计算系统设计进行能耗、求解时间、数值精度和求解精度的基准测试。将设计出针对应用需求进行优化的定制化计算系统，以加强欧洲的高性能计算组合，并在一般机器学习应用的推动下，将最近的硬件发展拉向天气和气候应用的需求。

图1 MAELSTROM联合设计

上述三步将形成一个如图1所示的联合设计周期，允许应用、软件和硬件开发之间的反馈。该项目的主要成果是针对天气和气候科学领域的大规模机器学习应用，一个优化可用性和大规模机器学习训练效率的软件框架，以及优化应用性能和能源效率的定制化计算系统设计。MAELSTROM的机器学习解决方案将成为未来超级计算机上广泛的机器学习应用的蓝图。

图2 MAELSTROM成员

为了实现这一雄心勃勃的计划，MAELSTROM将利用一个多学科联合体的能力（见图2）。在ECMWF的协调下，将能够与世界上领先的全球天气预报中心之一以及哥白尼大气监测和气候变化服务机构进行紧密互动。

挪威气象研究所是首批探索物联网（IoT）数据以改善预报的气象服务机构之一。

ETH的Torsten Hoefler小组是欧洲超级计算应用、HPC软件和诊断的领先团队之一。他们还在推动DEEP500机器学习相互比较项目。

卢森堡大学通过卢森堡英伟达人工智能技术中心参与MAELSTROM，该中心将为优化机器学习技术提供必要的专业知识，以提高解决方案质量和HPC效率及性能建模。

4cast是极少数已经在业务上使用机器学习进行天气预测的公司之一，它可以生成当地的风向预测，为风电场提供建议。4cast也为联盟带来了很多工作流工具开发方面的专业知识。

E4是欧洲少数几家最近部署了TOP500系统的公司之一。

最后，Juelich维护着欧洲一些最大的超级计算机，在计算系统设计方面拥有领先的小组，Martin Schultz的小组正在协调天气和气候领域的几个大型机器学习项目（如DeepRain和IntelliAQ）。

MAELSTROM将是一个令人激动的机会，可以改善天气和气候科学的机器学习应用，并为HPC中的机器学习做出重要贡献--目前这个科学领域的发展速度令人叹为观止。

扫描二维码阅读原文

—END—