MOBA游戏中的宏观策略建模实践【王者荣耀】

1.内容提要

游戏AI的下一个挑战主要在实时策略游戏领域（RTS，Real Time Strategy）。RTS提供了部分可观测的游戏环境，智能体之间在一非常大的行动空间中互动，这个空间比围棋的大很多。掌握RTS游戏需要同时具有强大的宏观策略和微观操作。

最近，在微观操作方面已经有了很大的进展，但在宏观策略方面仍然欠缺。这篇文章中，我们提出了一种新颖的基于学习的分层宏观策略模型进行多人在线竞技游戏（MOBA，Multiplayer Online Battle Arena），这种游戏属于RTS的一个分支。

通过分层宏观策略模型的训练后，智能体可以准确地进行宏观策略决策，进而指导微观操作。尤其是每个智能体在与盟友通信的同时进行独立决策的，通信是通过一种新颖的模拟跨智能体交流机制。我们将这个方法在一款流行的5V5MOBA游戏中进行了综合评估。我们的5-AI队伍在与人类排名前1%的队伍的对抗中，获得了48%的胜率。

2.研究思路

Game AI的发展兴起源于AlphaGo，不再赘述整个过程，有兴趣的同学看原文即可。

重点说说RTS相比于围棋的新挑战：

1）计算复杂度，RTS的行动空间或状态空间为10^20000，而围棋是10^250左右。 2）多智能体，RTS需要多智能体协同。 3）不完备信息，RTS中存在战争迷雾，具有更强的不确定性。 4）稀疏和延迟的奖励，RTS的行动周期可以达到20000帧，而围棋通常不超过361步。

目前RTS方向的研究取得了一定进展，但仍然有以下几个问题没有很好的解决：

1）通过微操级别的状态空间学习宏观策略非常困难。 2）目前宏观策略的学习主要依赖于手写公式的方式，通过influence maps/potential fields的计算和融合。在MOBA中由于参数众多，很难手工设计。 3）多智能体协同是RTS中宏观策略实现的最大挑战之一。 4）我们发现宏观策略建模是MOBA中AI性能的关键影响因素，但前人的工作中没有考虑这一点。

本文所提出的技术路线：

提出了一种分层宏观策略模型（HMS，Hierarchical Macro Strategy），一种用于MOBA的通用有监督框架，可以有效应对计算复杂度和多智能体的挑战。该方法通过在游戏阶段建模的指导下，预测游戏地图中的attention来进行宏观策略操作。因此，HMS通过融合游戏的知识来降低计算复杂度。而且，每个HMS智能体通过一种新的队友交流机制进行学习，应对多智能体挑战。

3.试验评估情况

1）数据准备：30万组游戏记录用于训练，从中整理了2.5亿个案例用于训练。考虑了视觉和属性两类特征，视觉选取了85个特征，如位置等，并把视觉特征模糊成12*12的分辨率。属性特征考虑了181个特征如英雄ID等。

2）模型程序：模型细节不多解释了参见原文。主要是用卷积和全连接层做视觉特征提取，用全连接层做属性特征提取，先做Task1的游戏阶段建模，然后是task2的注意力，最终输出宏观策略，再指导微观操作。整个训练过程在8个GPU的情况下，需要大概12小时。其中task1和task2的建模输出如视觉观察的情况是一致的，task1的输出如图4a所示。

3）关于游戏开局策略、不同英雄的宏观策略、智能体之间的模拟交流机制都得到了很好的验证。主要通过完整版的HMS分别与没有宏观策略、没有交流机制、没有游戏阶段建模的AI进行对战，结果明显是完整版的HMS优于其他AI，见下表，每一列中左侧是HMS的胜率，右侧是测试AI或人类选手的胜率。其中人类选手是从所有选手中选取了前1%的250名选手进行对战，胜率达到48.3%。

4.HMS模型基本原理

HMS模型主要由注意力部分、游戏阶段建模部分、模拟跨智能体交流部分组成，主要组件包括卷积层、全连接层、contact层等，然后将宏观策略输出给微观操作模型进行微操。详细参见原文。

5.未来展望

本文提出的HMS方法在RTS中表现出了非常好的潜力，可以推广到其他MOBA游戏中，比如星际争霸等。跨智能体的模拟交流机制同样可以用于智能体协同。关于游戏阶段的建模需要针对不同游戏进行特定设计，但是底层的思想是可以推广的。

HMS同样可以在多智能体协同的场景中进行推广，比如机器人足球等。

在未来，我们将会把规划机制融合到HMS中，利用AlphaGo中的MCTS（蒙特卡洛搜索）来对RTS的行动进行规划，我们期待规划机制对RTS游戏发挥很好的作用，因为这不仅对不完备信息游戏有用，而且可以在有监督学习失效时给出期望的奖励反馈。