首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >DeepMind新突破:雷神之锤3战场AI夺旗,团战胜率超过人类

DeepMind新突破:雷神之锤3战场AI夺旗,团战胜率超过人类

作者头像
量子位
发布2018-07-19 18:12:17
4960
发布2018-07-19 18:12:17
举报
文章被收录于专栏:量子位量子位
黑栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI

OpenAI战队在5v5刀塔比赛上打败人类,才是几天前发生的事。

如今,DeepMind为了训练AI电竞的团魂,也已把触手伸向了雷神之锤3竞技场。

DM的强化学习智能体,不止要和AI队友一起攻打人类的阵地,也要和人类队友并肩作战。

至少,在夺旗 (Capture the Flag) 比赛中,AI的胜率比人类高。

而且,这里的比赛,比原版游戏还要复杂多变

拔下对方的大旗

DeepMind团队这次选择的雷神之锤3竞技场,是款3D第一人称多人游戏,也是培育AI团战技能的好地方。

视频内容

其中的夺旗游戏,两队的目标都是拔掉对方的旗子,将己方旗子守在自己的大本营。

我是蓝方,就需要标记 (Tag) 扛着蓝旗往回跑的红方敌人,我方的旗子才能失而复得。

如果红方把蓝旗搬到了他们的阵地,就不好了。所以,队友之间要紧密配合才行。

规则其实很简单,但场景的变化很复杂。

不过,DeepMind团队还想让情况更复杂一些,给AI更有 (bian) 趣 (tai) 的锻炼。

于是,夺旗游戏的地图上,发生了一些可爱的改动。

各种地图,训练有素

每场比赛之间,地图都会发生变化。这个变化,是随着比赛的进行生成的。

这样一来,智能体要学会应付,许多没有见过的新地图

DeepMind的强化学习模型,有三个要点——

· 第一,既然是团战,当然要把几只智能体扔进竞技场一起训练。

它们要学习,怎样和队友亲密互动,打击敌人。

· 第二,每个智能体要学习,它自己的奖励信号,建立自己的小目标,比如拔掉对方的旗。

优化过程是双层 (Two-Tier) 的,可以优化智能体内部的奖励,让奖励信号更直接地指向胜利

· 第三,智能体在两种节奏里面运行,一种快,一种慢,这样可以增强它们运用记忆体、生成稳定的动作套路,的能力。

神经网络的架构,称为FTW (For The Win) ,为了赢 (字母顺序不要颠倒) 。

这里,有快速慢速训练用的RNN,有一个共享存储模块,可以学习怎样把游戏中的某个,转换为相应的奖励

稳胜人类一筹

训练好的智能体,就做好了赢的准备。

面对地图大小的变化,队友数量的变化,以及敌方的变量,都表现出训练有素的样子。

这是户外地图,红蓝双方都是AI,斗争非常激烈。

室内地图,则是AI与人类选手组成的混合战队,与纯AI战队的斗争。

DeepMind这次一共动用了**40个人类加入战斗,与AI随机组队。看得出他们的比赛并不轻松。

最终的结果,人类胜率不及AI

另外,不管强大的人类,还是普通的人类,Elo评分都没有FTW那么高。

AI为什么赢?

除了看到AI拔旗比人类厉害,团队还想知道,它们是凭什么赢。

于是,就研究了AI的行为模式,观察一下它们是怎么理解比赛的。

各种颜色的点点,分别代表, 旗在阵地,队友扛走敌方大旗,自身处在敌方阵地等等。

不同战况之下,AI的反应明显不同。安全和危险,分得清清楚楚。

甚至有一些神经元,是专为某种特定境况而生的。

没有人教过AI,比赛规则是什么,但它们依然能够在训练中,产生战士的修养和自觉。

另外,团队还发现,AI的战斗力虽然是在非监督学习中炼成的,但它们也像人类一样,会跟着队友走,会在敌方阵地上玩耍,如此种种。

果然,即便再放养,AI的爸爸也还是人类吧。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-07-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 拔下对方的大旗
  • 各种地图,训练有素
  • 稳胜人类一筹
  • AI为什么赢?
相关产品与服务
文件存储
文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档