专栏首页新智元人类奋起反击!OpenAI遭滑铁卢,Dota2顶级淘汰赛开场惨败!

人类奋起反击!OpenAI遭滑铁卢,Dota2顶级淘汰赛开场惨败!


新智元报道

来源:OpenAI、TI8

作者:文强,三石

【新智元导读】刚刚,OpenAI Five在Dota2最受关注的国际竞赛TI8中进行了首场表演赛,对战职业玩家队伍paiNGame,也是TI8中最先被淘汰的一支队伍,然而却饮恨惜败。双方经过激烈对战,AI在操控速度和团队支援方面远远超过人类,但对于技能的释放和兵线的理解还有很大提升空间。

OpenAI Five,输了。

此前以惊人的速度不断进化,并且成功碾压Dota2准职业玩家后,OpenAI Five剑指TI8,挑战现役职业人类玩家,并于刚刚结束了首场与人类的对战。

51分钟的时间里,OpenAI Five虽然在控制速度和团队支援上远超人类,但金币数量只有一次稍稍领先,说明对英雄技能的释放以及兵线的理解还有待提高。

OpenAI Five 在DOTA2 5V5团队战中战胜Top 05%玩家,让好多研究强化学习的人激动了一把,更何况还有比尔·盖茨的那句评价:“这是人工智能发展历史上的一座重大里程碑”。

因此,对于这次在TI8的首场对战,可谓吸足了眼球。

战火一触即发!

第一场演示赛,OpenAI Five对战人类职业玩家队伍paiN Game。

这是Pg的现役队员

虽然pg是18支参赛队伍中最弱的一队(最先被淘汰),但不要忘了,这相当于参加奥运赛短跑决赛中跑得最慢的那一位,也是人类的强中之强啊。

这次对战,OpenAI选择的英雄分别是:潮汐猎人、矮人直升机、水晶室女、死亡先知、巫妖。PG这方则选的是:莱恩、瘟疫法师、巫医、狙击手和斧王。

一上场,OpenAI的兵线就比当时Benchmark赛的时候更加靠前,这是因为从5个信使变成了1个。

根据对战前的预测,大部分投票者还是认为人类会赢(55%)。这或许也是OpenAI团队怀着忐忑心情上场的原因。

实际战况开始双方势均力敌,在地图各处都在开打,难分难解,但开场20分钟后,OpenAI Five就推倒了两座塔,不过双方的伤亡几乎差不多。

几分钟后,OpenAI首次在金币总量上超过了PG一点点,然后逐渐获得优势,23杀vs18,OpenAI Five要领先2k。

如果你以为AI就会这样获胜,那么就想错了!

OpenAI的英雄DP总喜换守在Roahn那里。不朽者Roshan是Dota 2中最为强大的中立生物,他是游戏中首个生成的单位,在比赛载入完成后即会出现,并且是唯一随着时间成长的NPC。

OpenAI Five研究人员表示,DP守在Roshan那里,是因为要确认具体位置,这是训练时Roshan随机化的一个副作用,AI控制的英雄不知道Roshan会从哪里出现,因此就喜欢守在那里确认。

至于人类这边,坦白说,斧王一直表现不好,AI虽然在整体执行力、控制技能释放以及保命道具使用上远超人类,但对于游戏的理解、兵线的牵扯以及大招的释放还有待提高

兵线对于游戏是很重要的,如果是人类这边进行更多带线牵扯,AI可能会提前10分钟被推掉高地。

也很明显能看出来,PG并没有认真去对战。OpenAI这边的C位是飞机,但在买活死亡后且复活时间有100多秒,而人类这边一直在AI的高地下玩,这段时间本是可以推下至少一路高地的。

一直到游戏结束,AI这边人头数量都是超过PG战队的,说明AI团战和支援的速度更强,但是人类这边经济始终没有落后太多并在取得优势的情况下,迅速拉开经济差,说明现役职业玩家在DOTA2的资源分配和对兵线的理解上,仍然是人类的希望。

OpenAI Five训练:从简单的操作中学到专业级的策略

1、OpenAI FIVE是如何工作的?

OpenAI Five是一个由5个人工神经网络组成的队伍,可以把它想象成一个模拟的“大脑”,是专门为学习Dota而设计的。OpenAI Five将世界看作一个包含20000个数字的列表,这些数字对可见的游戏状态(仅限于人类玩家被允许看到的信息)进行编码,并通过发出8个数字的列表来选择一个动作。

OpenAI团队编写的代码在游戏状态/操作和数字列表之间进行映射。 一旦经过训练,这些神经网络就是纯粹本能的生物——它们的神经网络实现了记忆,但不会进一步学习。OpenAI Five虽然是一个团队,但并没有设计特殊的沟通、交流结构,只提供他们一种激励(incentive)。

2、OpenAI Five的训练过程

OpenAI Five的神经网络从随机参数开始,使用通用的训练系统Rapid来学习更好的参数。Rapid拥有OpenAI的5个游戏副本,此前的报道中也提到过,OpenAI Five每天通过成千上万的并发游戏生成180年的游戏数据,使用了128,000个CPU内核和256个GPU。

在每个游戏框架中,Rapid会计算出一个数值奖励,当有好事发生时(比如一个盟军英雄获得了经验)是正数,当有坏事发生时(比如一个盟军英雄被杀)是负数。而后Rapid应用近端策略优化(Proximal Policy Optimization)算法来更新神经网络制定动作的参数。

3、TAKEAWAY

就像人类在规划一天的生活时不会计划肌肉运动一样,OpenAI社区(包括OpenAI)也期望通过长期规划来获取算法,以此来解决短期和长期的计划,可能通过强化学习得以突破。

尽管OpenAI Five的底层算法非常简单,但在没有提供任何人工数据的情况下,它从简单的操作中可以学到专业级的策略。

OpenAI DOTA进化时间线:只用1年,从1v1到5v5!

2016.11.05 OpenAI选择将Dota作为要攻克的目标,因为这是Twitch在Linux上最受欢迎的游戏,并且有API。

2016.11.09 OpenAI首次在Dota库中提交。

2017.03.09 首先在Rapid库中提交。

2017.08.11 OpenAI在Dota国际竞赛TI7中,1v1战胜了顶级Dota 2职业玩家Dendi

2017.09.07 OpenAI在Dota 2 1v1普通模式(normal gameplay)首次战胜了职业玩家,后续又有十几个职业玩家与其挑战,对战了上千次。

2018年1月 在特定有限条件下(只有5位固定英雄,没有守卫,不能隐身等),OpenAI Five战胜了脚本bot。

2018年4月 OpenAI Five在有限制的情况下,战胜了OpenAI自己组建的半职业人类玩家队伍(双方阵容固定而且一样的:NEC,火枪,毒龙,冰女,巫妖;不能插眼;没有肉山;不能用隐身道具;不能使用召唤物和幻象;没有圣剑,瓶子,补刀斧,飞鞋,知识之书,魂泪;5只不能被攻击的信使;不能扫描),被比尔·盖茨称之为“人工智能的一大里程碑”。

2018.06.06 OpenAI Five战胜了OpenAI自己组建的队伍,这次的游戏限制相比上次少了一些。很多DOTA 2玩家表示,插眼和肉山非常重要,如果排除这些因素,对战并不公平。所以,OpenAI Five学会了插眼与打肉山。

2018.08.05 OpenAI在全球10万+观众的直播见证下,战胜了Dota 2 Top 0.5%的玩家(Blitz、Cap、Fogged、Merlini和MoonMeander,其中有四人是Dota2前职业玩家),创造了OpenAI Five Benchmark。这次的胜利解除了一些限制,比如英雄池有18个可供选择,将AI时间调整为更接近人类的200ms。更详细的介绍可以看此前新智元的报道。此前,很多评论员认为实现这一进步至少需要一年的时间,但OpenAI用差不多一个月就做到了。

2018.08.20 OpenAI被指责不是通过机器视觉而是游戏API获取数据,而人类玩家仅通过“看”来判断,因此AI得出的结果和测距更加精准,从而也更具优势。但OpenAI在赛前便公开所有条件,并不能称“作弊”。

2018.08.22 OpenAI Five在Dota2国际竞赛TI8中进行首次对战,对战现役职业玩家队伍Pain Game(是TI8中第一支被淘汰的队伍),虽然人头数一直领先,但最终不敌对手,首场比赛以失败告终。

本文分享自微信公众号 - 新智元(AI_era),作者:新智元

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-08-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • OpenAI成立新公司,前YC总裁担纲CEO,马斯克退出

    OpenAI 非营利部门负责管理 OpenAI LP,主持学者和研究人员等教育计划,并负责政策实施。

    新智元
  • OpenAI还是CloseAI?记者半年揭秘这个以拯救世界为使命的机构幕后真相

    OpenAI成立短短四年,就已经成为世界领先的人工智能研究实验室之一,最重要的是,它因其使命而受到崇拜:它的目标是第一个创造AGI——一种具有人类思维的学习和推...

    新智元
  • 锻造最强机脑!微软向马斯克创立的OpenAI投资10亿美元研发AGI

    左:OpenAI CEO Sam Altman,右:微软CEO Satya Nadella

    新智元
  • 百倍利润封顶:OpenAI宣布转型为营利公司,Sam Altman任CEO

    这家成立于 2015 年的著名 AI 机构发出公告宣布成立「OpenAI LP」,这是一家新形式的「有限利润」公司,以此快速增加对于计算和人才的投资,同时 Op...

    机器之心
  • OpenAI还是CloseAI?记者半年揭秘这个以拯救世界为使命的机构幕后真相

    OpenAI成立短短四年,就已经成为世界领先的人工智能研究实验室之一,最重要的是,它因其使命而受到崇拜:它的目标是第一个创造AGI——一种具有人类思维的学习和推...

    新智元
  • 从开放到封闭,资金压力正在侵蚀OpenAI

    作为由钢铁直男Elon Musk和YC创始人Sam Altman等人共同创立的项目,OpenAI尽管成立只有4年的时间,但已经成长为在AI研究领域媲美于Goog...

    AI科技评论
  • OpenAI成立新公司,前YC总裁担纲CEO,马斯克退出

    OpenAI 非营利部门负责管理 OpenAI LP,主持学者和研究人员等教育计划,并负责政策实施。

    新智元
  • 要更有钱、更烧钱,OpenAI 重组,加速融资之路

    AI 科技评论按:OpenAI 是一个非盈利性的 AI 组织,他们雇佣了许多一流的研究和开发人员,在机器学习理论和深度学习应用方面多有诸多成果,我们曾经报道过的...

    AI科技评论
  • OpenAI不Open:闭门造车、融资不断,深度报道再掀争议,马斯克:应该更加开放

    此前,创立于2015年12月的OpenAI,在短短4年间,已经成为全世界最具盛名的AI研究机构。但盛名之下,却也伴随着质疑:CloseAI?宣传太过火?

    量子位
  • OpenAI变CloseAI?非营利研究组织转型“上限利润”企业吸引资金

    2015年,马斯克与其他硅谷科技大亨决定共同创建OpenAI。创立初期,OpenAI自身定位是一家非盈利企业。希望能够预防人工智能的灾难性影响,推动人工智能发挥...

    大数据文摘

扫码关注云+社区

领取腾讯云代金券