谷歌公布SIMA，未来AI帮你玩游戏

今日，Google DeepMind实验室再创里程碑，从单一游戏智能转向研发全面、可指令化操作的通用型游戏AI代理。

在最新的技术报告中，DeepMind揭示了一款名为SIMA（Scalable Instructable Multiworld Agent）的创新型人工智能产品，它能在多个3D虚拟环境中理解自然语言指令并执行任务，犹如人类玩家般灵活适应。

视频游戏领域一直是检验人工智能系统性能的关键沙盘，其复杂多变的实时场景与现实世界有诸多相似之处。

自早期的Atari游戏研究直至AlphaStar挑战《星际争霸II》人类高手，DeepMind在AI和游戏结合方面积累了丰富的经验。而今，DeepMind将目光投向更广阔的天地——创造一个能跨越多种游戏世界的通用型AI。

SIMA作为一款适用于3D虚拟环境的万能AI代理，在与包括Hello Games和Tuxedo Labs在内的八家游戏工作室合作下，已在九款不同的视频游戏中接受了训练和测试。

这其中包括了《无人深空》与《拆房工》等多元化的游戏世界，每个游戏都为SIMA提供了全新的互动环境和待学习技能，从基本的导航、菜单使用到开采资源、驾驶宇宙飞船甚至制作头盔，全方位提升其适应性。

为了使SIMA更好地理解和运用语言指导行为，研究人员采用了一种创新方法：记录人类玩家在游戏中的一对一互动过程，其中一人通过语音指示另一人进行游戏操作。

此外，他们还让玩家自由玩耍后再回看自己的操作，并根据回放记录指令以重现相应动作。

SIMA的核心组件包括预训练的视觉模型以及主模型，后者整合了记忆功能并输出键盘及鼠标动作。

这种设计使得SIMA无需访问游戏源代码或专用API接口，只需接收屏幕图像和用户提供的简单自然语言指令，即可控制游戏角色完成指定任务。

如此简洁的交互方式意味着SIMA理论上能够与任何虚拟环境进行有效互动。

当前版本的SIMA已成功掌握了600多项基础技能，涵盖导航、物体互动及菜单使用等多个维度，并被训练去执行可在约10秒内完成的简单任务。

而在评估过程中，研究人员发现，经过多个游戏训练的SIMA表现显著优于仅针对单个游戏进行训练的特化AI代理。尤其令人鼓舞的是，即使面对未曾在训练集中出现过的全新游戏环境，SIMA也能展现出较强的泛化能力。

尽管目前SIMA尚处于起步阶段，但实验结果显示，当结合语言指令时，其表现远胜于未经语言训练的对照组。这也表明，SIMA的进步与理解指令的能力密切相关。

展望未来，DeepMind团队期待进一步拓展SIMA在更多训练环境中的应用，并不断融入更为强大的模型，从而提高其对高级战略规划和多重子任务的理解与执行能力，例如“寻找资源并建立营地”。

SIMA的研究成果预示着我们正逐步迈向新一代通用型、基于语言驱动的AI代理，它们有望在虚拟与现实世界中，成为人类身边可靠且有益的智能助手。

随着技术的持续进步，最终目标是打造更加通用、更能理解复杂指令并安全执行广泛任务的AI系统。