【万有AI】听腻了ChatGPT，看看IBM 的AI如何帮助 NASA 研究人员挖掘地球数据

作者｜里昂    出品| 新芒X

如果听腻了ChatGPT，今天我们看一个围绕着IBM，人工智能和NASA的高能案例。

NASA 拥有海量数据，而且每天都会收到更多数据。虽然一些数据会立即处理，但大部分数据会存档以备日后处理，有时甚至是数年之后。

如果研究人员要利用这些数据来研究具有动态变化特征（如全球气候变化）的关键问题，则势必需要改变这种情况。

为了提高及时处理和使用这些数据的能力，美国宇航局马歇尔太空飞行中心宣布与 IBM 研究院联合开发计划，使用 IBM 的基础人工智能技术处理美国宇航局数据。

为了正确看待这项任务的规模，我们不妨通过这样一个数据来做个比较。最近通过沃顿商学院 MBA 考试的 ChatGPT AI 平台开发的 GPT-3 数据集代表了大约 45TB（太字节）的数据。相比之下，NASA 估计其数据集可能超过 250PB（拍字节）。什么概念呢，1PB 等于 1,000TB，NASA 数据集比 GPT-3 数据集大 5,000 多倍。

GPT-3 的威力和魅力是显而易见的，相比之下，这项处理宇航局的任务更是高难度任务，但好处可能是具有突破性的。

此前，IBM估计，收集的数据中有90%从未被使用过，在他们的新闻邀请函中，IBM和NASA指出，“目前，所有科学发现中有一半来自存档数据，这使得研究人员研究气候变化等不断演变的威胁具有挑战性。”高效地挖掘海量的档案数据需要人工智能的力量。IBM Research的海量云资源、该公司人工智能专家的集体经验以及其AI基础模型技术将帮助NASA在几天或几个月内过滤和分析地球科学数据，而不是几年甚至几十年。

第一个基础模型将在超过 300,000 份地球科学出版物上进行训练，从中提取上下文信息。这一阶段将加强对现有数据的搜索和调查。第二个模型将在 USGS（美国地质调查局）和 NASA 的Harmonized Landset-Sentinel2 (HLS2)卫星数据集上进行训练。

这里我们多说一句，Harmonized Landsat Sentinel-2 (HLS) 项目是在马里兰州格林贝尔特的 NASA 戈达德太空飞行中心进行的研究的延伸，该研究从联合 NASA/USGS Landsat 8 和 Landsat 9 以及 ESA（欧洲航天局）获取输入数据Sentinel-2A 和 Sentinel-2B 卫星生成协调的、可分析的表面反射率数据产品，每两到三天进行一次观测。

根据 NASA 网页，Landsat 8 和 Landsat 9 数据收集（具有 30 米空间分辨率和 16 天重复周期）与 ESA Sentinel-2A/B 收集（具有 10 至 20 米空间分辨率和五天的重复周期）将允许这些数据集被使用，就好像它们是一个单一的集合。使用这个协调的数据集，可以创建陆地表面观测，每两到三天提供 30 米的HLS 数据经常刷新，这允许对地表进行时间序列观察，直至田野、地块规模。此统一数据集的应用包括从检测自然灾害到跟踪植被、虫害和野生动物栖息地的变化等方方面面。

IBM 和 NASA 仍处于该项目的早期阶段。IBM 基础模型目前在 IBM Cloud 中的大量 Nvidia A100 GPU 安装上进行训练。然而，数据中心战略将取决于“数据引力”（NASA 的数据是否具有足够的便携性以发送到云端，或者计算是否必须位于靠近数据的位置）和应用于工作负载的计算资源。

NASA希望利用基础模型，为天气预报、气候分析、地质分析等领域的transformer模型（针对特定应用定制的AI模型）的生成提供支持。训练数据集和基础模型将是开源的，可供其他研究人员使用。从理论上讲，NASA 数据可以与其他美国和国际政府机构的数据相结合，例如 NOAA（美国国家海洋和大气管理局）和农业部，以进一步改进训练数据集并扩大基础模型的范围几乎涵盖了地球的方方面面。

这种合作的结果可能会产生广泛的影响。研究人员将提高监测和分析地球数据的能力。IBM 本身可以将这些数据用于其子公司 Weather.com，以更好地模拟天气模式和天气对地球的影响。由此产生的模型对于农业、渔业、石油和天然气勘探、采矿和许多其他行业的商业运营也可能至关重要。

如果像 GPT-3 这样的大数据集能够在短短几个月内形成智能通信平台，那么地球超级数据集和基于它的 AI 基础模型或许能够帮助人类更好地了解和监控我们的星球，从而走向更美好的未来。