人类奋起反击!OpenAI遭滑铁卢,Dota2顶级淘汰赛开场惨败!


新智元报道

来源:OpenAI、TI8

作者:文强,三石

【新智元导读】刚刚,OpenAI Five在Dota2最受关注的国际竞赛TI8中进行了首场表演赛,对战职业玩家队伍paiNGame,也是TI8中最先被淘汰的一支队伍,然而却饮恨惜败。双方经过激烈对战,AI在操控速度和团队支援方面远远超过人类,但对于技能的释放和兵线的理解还有很大提升空间。

OpenAI Five,输了。

此前以惊人的速度不断进化,并且成功碾压Dota2准职业玩家后,OpenAI Five剑指TI8,挑战现役职业人类玩家,并于刚刚结束了首场与人类的对战。

51分钟的时间里,OpenAI Five虽然在控制速度和团队支援上远超人类,但金币数量只有一次稍稍领先,说明对英雄技能的释放以及兵线的理解还有待提高。

OpenAI Five 在DOTA2 5V5团队战中战胜Top 05%玩家,让好多研究强化学习的人激动了一把,更何况还有比尔·盖茨的那句评价:“这是人工智能发展历史上的一座重大里程碑”。

因此,对于这次在TI8的首场对战,可谓吸足了眼球。

战火一触即发!

第一场演示赛,OpenAI Five对战人类职业玩家队伍paiN Game。

这是Pg的现役队员

虽然pg是18支参赛队伍中最弱的一队(最先被淘汰),但不要忘了,这相当于参加奥运赛短跑决赛中跑得最慢的那一位,也是人类的强中之强啊。

这次对战,OpenAI选择的英雄分别是:潮汐猎人、矮人直升机、水晶室女、死亡先知、巫妖。PG这方则选的是:莱恩、瘟疫法师、巫医、狙击手和斧王。

一上场,OpenAI的兵线就比当时Benchmark赛的时候更加靠前,这是因为从5个信使变成了1个。

根据对战前的预测,大部分投票者还是认为人类会赢(55%)。这或许也是OpenAI团队怀着忐忑心情上场的原因。

实际战况开始双方势均力敌,在地图各处都在开打,难分难解,但开场20分钟后,OpenAI Five就推倒了两座塔,不过双方的伤亡几乎差不多。

几分钟后,OpenAI首次在金币总量上超过了PG一点点,然后逐渐获得优势,23杀vs18,OpenAI Five要领先2k。

如果你以为AI就会这样获胜,那么就想错了!

OpenAI的英雄DP总喜换守在Roahn那里。不朽者Roshan是Dota 2中最为强大的中立生物,他是游戏中首个生成的单位,在比赛载入完成后即会出现,并且是唯一随着时间成长的NPC。

OpenAI Five研究人员表示,DP守在Roshan那里,是因为要确认具体位置,这是训练时Roshan随机化的一个副作用,AI控制的英雄不知道Roshan会从哪里出现,因此就喜欢守在那里确认。

至于人类这边,坦白说,斧王一直表现不好,AI虽然在整体执行力、控制技能释放以及保命道具使用上远超人类,但对于游戏的理解、兵线的牵扯以及大招的释放还有待提高

兵线对于游戏是很重要的,如果是人类这边进行更多带线牵扯,AI可能会提前10分钟被推掉高地。

也很明显能看出来,PG并没有认真去对战。OpenAI这边的C位是飞机,但在买活死亡后且复活时间有100多秒,而人类这边一直在AI的高地下玩,这段时间本是可以推下至少一路高地的。

一直到游戏结束,AI这边人头数量都是超过PG战队的,说明AI团战和支援的速度更强,但是人类这边经济始终没有落后太多并在取得优势的情况下,迅速拉开经济差,说明现役职业玩家在DOTA2的资源分配和对兵线的理解上,仍然是人类的希望。

OpenAI Five训练:从简单的操作中学到专业级的策略

1、OpenAI FIVE是如何工作的?

OpenAI Five是一个由5个人工神经网络组成的队伍,可以把它想象成一个模拟的“大脑”,是专门为学习Dota而设计的。OpenAI Five将世界看作一个包含20000个数字的列表,这些数字对可见的游戏状态(仅限于人类玩家被允许看到的信息)进行编码,并通过发出8个数字的列表来选择一个动作。

OpenAI团队编写的代码在游戏状态/操作和数字列表之间进行映射。 一旦经过训练,这些神经网络就是纯粹本能的生物——它们的神经网络实现了记忆,但不会进一步学习。OpenAI Five虽然是一个团队,但并没有设计特殊的沟通、交流结构,只提供他们一种激励(incentive)。

2、OpenAI Five的训练过程

OpenAI Five的神经网络从随机参数开始,使用通用的训练系统Rapid来学习更好的参数。Rapid拥有OpenAI的5个游戏副本,此前的报道中也提到过,OpenAI Five每天通过成千上万的并发游戏生成180年的游戏数据,使用了128,000个CPU内核和256个GPU。

在每个游戏框架中,Rapid会计算出一个数值奖励,当有好事发生时(比如一个盟军英雄获得了经验)是正数,当有坏事发生时(比如一个盟军英雄被杀)是负数。而后Rapid应用近端策略优化(Proximal Policy Optimization)算法来更新神经网络制定动作的参数。

3、TAKEAWAY

就像人类在规划一天的生活时不会计划肌肉运动一样,OpenAI社区(包括OpenAI)也期望通过长期规划来获取算法,以此来解决短期和长期的计划,可能通过强化学习得以突破。

尽管OpenAI Five的底层算法非常简单,但在没有提供任何人工数据的情况下,它从简单的操作中可以学到专业级的策略。

OpenAI DOTA进化时间线:只用1年,从1v1到5v5!

2016.11.05 OpenAI选择将Dota作为要攻克的目标,因为这是Twitch在Linux上最受欢迎的游戏,并且有API。

2016.11.09 OpenAI首次在Dota库中提交。

2017.03.09 首先在Rapid库中提交。

2017.08.11 OpenAI在Dota国际竞赛TI7中,1v1战胜了顶级Dota 2职业玩家Dendi

2017.09.07 OpenAI在Dota 2 1v1普通模式(normal gameplay)首次战胜了职业玩家,后续又有十几个职业玩家与其挑战,对战了上千次。

2018年1月 在特定有限条件下(只有5位固定英雄,没有守卫,不能隐身等),OpenAI Five战胜了脚本bot。

2018年4月 OpenAI Five在有限制的情况下,战胜了OpenAI自己组建的半职业人类玩家队伍(双方阵容固定而且一样的:NEC,火枪,毒龙,冰女,巫妖;不能插眼;没有肉山;不能用隐身道具;不能使用召唤物和幻象;没有圣剑,瓶子,补刀斧,飞鞋,知识之书,魂泪;5只不能被攻击的信使;不能扫描),被比尔·盖茨称之为“人工智能的一大里程碑”。

2018.06.06 OpenAI Five战胜了OpenAI自己组建的队伍,这次的游戏限制相比上次少了一些。很多DOTA 2玩家表示,插眼和肉山非常重要,如果排除这些因素,对战并不公平。所以,OpenAI Five学会了插眼与打肉山。

2018.08.05 OpenAI在全球10万+观众的直播见证下,战胜了Dota 2 Top 0.5%的玩家(Blitz、Cap、Fogged、Merlini和MoonMeander,其中有四人是Dota2前职业玩家),创造了OpenAI Five Benchmark。这次的胜利解除了一些限制,比如英雄池有18个可供选择,将AI时间调整为更接近人类的200ms。更详细的介绍可以看此前新智元的报道。此前,很多评论员认为实现这一进步至少需要一年的时间,但OpenAI用差不多一个月就做到了。

2018.08.20 OpenAI被指责不是通过机器视觉而是游戏API获取数据,而人类玩家仅通过“看”来判断,因此AI得出的结果和测距更加精准,从而也更具优势。但OpenAI在赛前便公开所有条件,并不能称“作弊”。

2018.08.22 OpenAI Five在Dota2国际竞赛TI8中进行首次对战,对战现役职业玩家队伍Pain Game(是TI8中第一支被淘汰的队伍),虽然人头数一直领先,但最终不敌对手,首场比赛以失败告终。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-08-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

告别五毛特效,AI 轻松再现多层材料质感

在影视作品和网络游戏中,往往需要通过计算机技术制作出大量的虚拟图像,例如建筑、车辆、甚至是河水山峦,从而降低制作成本、保证演员的安全、增强观众或游戏用户的视觉真...

13630
来自专栏AI科技大本营的专栏

最近比较火的10篇大数据文章,看看你错过了哪篇?

翻译 | AI科技大本营(rgznai100) 参与 | Shawn Sicara团队精挑细选,了10篇在今年7月发表的大数据相关文章(Sicara是一家从事A...

36360
来自专栏机器之心

前沿 | 详解Microns项目:通过大脑逆向工程来创造通用人工智能

选自IEEE Spectrum 机器之心编译 参与:黄小天、晏奇、李亚洲 去年,美国高级情报研究计划署(Intelligence Advanced Resea...

36450
来自专栏机器之心

更偏好白人男性?Science新研究证明人工智能也能学会偏见

选自Science 机器之心编译 参与:吴攀、晏奇 至少从口号上来说,我们一直在追求「人人平等」,但我们也都清楚我们离这一目标还相去甚远,部分原因是因为世界并不...

37780
来自专栏玉树芝兰

白话本科毕业论文写作

老师把写论文的基本方法告诉了学生,指点他到哪里查资料、读论文。满以为他可以从这些核心期刊上的优秀论文里不仅获取到研究主题、内容与资料,而且还可以学习前辈们写文章...

10920
来自专栏PPV课数据科学社区

“被打”和“北大” 的关联--- 趣味数据挖掘系列之一

作者:唐常杰 小时候喜欢读趣味数理化,所以久有一个小心愿,写一组趣味数据挖掘的科普博文。要把数据挖掘的一些概念讲得通俗有趣,需要好的例子,正搜寻中,一个...

32080
来自专栏数据冰山

听说,SuperMajor,血魔和兽王更配哦

为什么要借用这个句式?因为本文要讨论的是——在刚刚结束的「中国DOTA2超级锦标赛」上,职业队选择的英雄之间,是否存在有价值的关联关系?这些英雄组合的胜率如何?

10120
来自专栏大数据文摘

资源 | 机器学习高质量数据集大合辑

在机器学习中,寻找数据集也是非常重要的一步。质量高或者相关性高的数据集对模型的训练是非常有帮助的。

15140
来自专栏机器之心

习惯arXiv的今天,我们的论文应该引用预印本吗?

选自fossilsandshit 作者:Jon Tennant 机器之心编译 参与:吴攀、李泽南 不久之前,ICLR 匿名评审的方式引起了争议,参见机器之心文...

44680
来自专栏CDA数据分析师

《谁动了我的奶酪》中的粒子群算法

本文为作者郭飞原创,CDA数据分析师已获得授权 1、《谁动了我的奶酪》是讲啥的? 其实这本书是一碗上古的老鸡汤。 故事大概是这样的,有4个小生命,其中有两只老鼠...

23560

扫码关注云+社区

领取腾讯云代金券