碾压Dota2准职业玩家还不够？OpenAI Five下一步剑指TI8！

新智元报道

来源：OpenAI Blog

作者：大明

【新智元导读】昨日，OpenAI Five在与人类准职业精英玩家的Dota 2较量中再次以碾压级优势大获全胜。今日Open AI发文回顾了比赛过程，简要介绍了对模型的训练流程和思路，并表示已经开始训练新的模型，准备参加本月底举办的世界最高级别的Dota2赛事——TI8，与全球最高水平的职业玩家切磋技艺！请随时关注新智元的报道！

昨天，OpenAI Five与人类队伍的三局两胜的Dota2比赛中以2:1获胜，对手的游戏水平高于99.95%的玩家，队员分别为Blitz、Cap、Fogged、Merlini和MoonMeander，其中有四人是Dota2前职业玩家，在现场和观看直播的观众超过10万人。在第三局由现场观众故意为AI选择弱势英雄的情况下，人类队伍赢得了第三局比赛。我们还展示了我们的初步成果，包括OpenAI Five对比赛形势的判断，预测其获胜概率等，预测结果让人类观察者感到惊讶。这些结果表明，OpenAI Five是迈向处理现实世界的复杂性和不确定性的高级AI系统的重要一步。

预热：与观众对战

最开始时，现场观众中的志愿者队伍勇敢地参加了与OpenAI Five的第一场公开比赛。

现场盛况

结果OpenAI Five仅用14分钟就获得胜利。（实力相当的匹配局比赛平均用时为45分钟）

观众志愿者队伍与OpenAI Five对战

第1局和第2局比赛：人类选手被碾压

人类队伍在比赛前

我们展示了一个OpenAI Five的一个新能力：即选人能力。英雄选择（draft）被认为是Dota2中极具挑战性的一部分，因为众多英雄们以复杂的方式相互交流。

第一局开始阶段，OpenAI Five在每个英雄都被选出后给出了预期的获胜概率

6月下旬，我们在神经网络中添加了一个获胜概率的输出，想看看OpenAI Five的预测能力如何。当后来考虑把英雄选择这一指标加进来时，我们觉得可以用它来评估任何英雄阵容的胜利概率：只要看一下比赛阵容确定那一刻的预测结果就可以了。在这个策略实施的一周内，我们模拟了1100种可能的团队对阵阵容，打造了一个框架，并编写了一个树搜索，以找到OpenAIFive的最佳的英雄选择策略。

在第一场比赛的选人结束后，OpenAI Five就预测自己有95％的获胜概率，而在人类看来，这场比赛看起来基本是五五开。OpenAI Five用了21分37秒赢得了第一场比赛。在第2场比赛的英雄阵容出来后，OpenAI Five预测自己的获胜概率为76.2％，并在24分53秒内赢得了第二场比赛。

第3局比赛：观众为AI选英雄，人类挽回面子

在第3局比赛中，我们要求观众为OpenAI Five选英雄。不出所料，他们选择了一套弱势阵容。

在比赛开始之前，OpenAI Five预测自己只有2.9％的机会获胜。尽管获胜几率很低，比赛还是照常进行了，而且OpenAI Five比赛中一度取得进展，预测胜率上升至17%，但最终OpenAI Five在35分47秒后输掉了第三局。

人类队伍获得第三局比赛的胜利

模型的训练

我们通常的开发流程是，从头开始训练系统的每个版本。不过，当前版本的OpenAIFive包含自6月9日以来在六个大幅修订版的系统中进行训练的参数。每个新版系统都使用前一个版本的参数进行初始化。

我们在“手术”工具上投入了大量资源，使得我们能够将旧的参数映射到新的网络架构上。例如，当第一次训练插眼（warding）时，我们共用了一个action head来决定英雄的移动方向和插眼位置。但是OpenAI Five往往会把眼插在它试图前进的方向上，我们推测这主要是因为OpenAI Five主要将其运算力分配在了移动上。后来，我们利用工具让将一个action head分为完全相同的两个，并使用相同参数进行初始化。

据我们估计，训练各种Dota AI系统的计算力为：

1v1模型：8 petaflop/s-days

6月6日模型：40 petaflop/s-days

8月5日模型：190 petaflop/s-days

我们还发布了最新的网络架构。

新模型概览

我们可以通过输出来了解模型，输出可以预测英雄在未来一段时间的预计位置。在下面的视频中突出显示了斯温（Sven）在6秒后的预测位置：

我们还可以训练输出以预测各种其他统计数据，比如补刀数、推塔数等：

要实现模型功能需要解决许多bug和意外行为。下面的视频中就是一些例子：

下一步：剑指TI8!

这些结果使我们有信心推进该项目的下一阶段：本月晚些时候，我们计划让OpenAI5参加Dota2最高水平的国际赛事：TI8。一旦最终确认，我们将会公布更多的详细信息，敬请期待！

OpenAI博客：

https://blog.openai.com/openai-five-benchmark-results/