游戏AI探索之旅:从AlphaGo到MOBA游戏

背景:7月28日,腾讯云在北京举办云+社区沙龙,邀请来自腾讯与四川云检科技的五位AI技术专家,分享他们在专业领域的AI开发经验,帮助开发者在具体行业场景中实践AI技术。本文根据王亮在【7.28日腾讯云+社区技术沙龙-AI技术全面场景化落地实践】现场演讲内容整理而成。

讲师介绍

王亮,腾讯AI高级研究员。2013年加入腾讯,从事大数据预测以及游戏AI研发工作。目前主要从事MOBA类游戏AI相关的研发工作。

本次分享大纲

今天分享的课题是游戏AI探索之旅。本次分享分为四部分:

第一部分,什么是游戏AI,游戏AI为什么对现在的游戏非常重要;

第二部分,业界和工业界对于做游戏AI主要的方法,以及现在业界一些主流的游戏上的进展。

第三部分,结合基于公司自有的MOBA游戏,分享一下我们做的一些探索研究及现在的进展;

第四部分,会简单介绍一下基于深度学习方法来做游戏AI,对于游戏开发者来说需要提供哪些环境便于AI的开发。希望通过今天的分享能给大家之后工作或者接下来学习上带来一些的启发和思考。

什么是游戏AI

什么是游戏AI,对于游戏开发者而言是要增进用户体验,提升游戏玩家的活跃度,方法主要是基于一些人工规则的方式。而对于学术界来说目标是最大化赢的概率,而现在主要是基于学习的方法。

几乎每款游戏都有自己的游戏AI。棋牌类的(深蓝、Alphago)、体育类的足球篮球、角色扮演类游戏……越复杂的游戏对AI的依赖程度越高。AI在游戏中常用的方式:人机对战:AI为游戏提供一种玩法,玩家可以选择与游戏AI对战去熟悉游戏;平衡性测试:辅助游戏设计开发,如:游戏数值改变,AI可以用于验证测试数值变化带来的影响;对于射击类的游戏,AI可以用于探索地图的探索等。

通用的游戏AI的设计,包含三部分: 感知系统、决策系统、导航系统;游戏AI的决策操作基于一定的时间粒度进行循环工作。

业界和工业界对于做游戏AI主要的方法

接下来介绍一下常用的游戏AI方案,游戏AI常用方法分为三类:1) 工业界常用的行为树、有限状态机及势力图,优点:实现逻辑清晰,不足:固定逻辑执行,容易被玩家识破,复杂逻辑难实现; 2) search方法,常用的方法:遗传算法、蒙特卡洛搜索树方法等; 3) 基于learning的方法: 监督学习算法、强化学习算法;

监督学习算法:基于训练数据,难点是抽象状态环境以及执行操作Action,通常Action的定义直接影响模型的上限;对于复杂游戏来讲,对于状态s很难定义最优的Action操作。

强化学习回避SL中如何确定“正确”A的问题,转而定义reward(例如赢一场比赛reward=10,击杀对方英雄reward=1, 自身死亡reward=-5);强化学习通常用于序列操作决策问题,对于强化学习来说,特别是复杂游戏,遇到的挑战:1) exploration和exploitation的问题, 2) 对于游戏玩法时间较长,如何解决reward delay问题。

谈到游戏AI探索研究,目前很多研究者在星际2上探索,目前星际上AI采用目前最强的StarCraftAI由hard-coded程序和learning程序共同实现,且hard-coded部分占大部分;目前最强的StarCraft AI还不能战胜业余的中上水平。星际游戏较为复杂,通用设计:将AI根据决策时间长短,分为:strategy,tactics, reactive control 进行分层优化。

Alphago掀起了游戏AI的浪潮,它成功超越了人类,它的算法主要由Supervised learning +Reinforcement learning +Monte Carlo tree search三部分组成,它的线下训练需要大量的计算资源。目前DeepMind跟暴雪已经合作开发了一个开放平台,模拟器是非常重要的,如果要做游戏AI相关开发,模拟器是必要的环境,通过模拟器获取数据以及提供一些操作指令能直接操作游戏AI。

今年在游戏界或者在游戏AI行业里最有影响力的就是Dota2了,在5个特定英雄等限制条件下AI能力能够超过90%的玩家(截至2018.6.25)。采用的是强化学习的方法。线下训练所使用的资源远远大于Alphago在围棋上使用的资源:12W+CPU,256GPU。

MOBA游戏AI的研究与探索

接下来介绍我们在MOBA游戏上的AI研究与探索。王者荣耀是一款即时战略游戏,与Dota,LoL是同类型游戏。MOBA游戏特点:注重英雄的操作,英雄设计较为复杂。

介绍AI技术方案之前,首先我们来看下做MOBA类游戏难点在哪:

强化学习在围棋上成功的应用,为什么Moba类游戏AI还没有战胜人类的职业选手?以王者荣耀这款游戏来分析,从状态训练空间来看,王者的操作基本是在102000,围棋只有10170。操作序列空间也存在巨大差别,导致计算会非常非常大。

我们再看一下王者荣耀跟围棋存在什么样的差异:从AI的个数上来说,围棋只有一个AI,只需关注黑白子。对于王者来而言却是有多种对战情况的,5V5,3V3,是多个AI的操作。其次就是确定性的问题,下围棋落子即定,不存在下完还可能下不成功的问题。而对于战略性游戏却是非确定的操作,即使发出了技能也有可能被人打断,所以是非确定性的操作。对于状态可观测性,围棋可以看到整体的情况,而王者地图对于玩家而言是部分可见,只能看到友方的视野,这样就会涉及到博弈问题:如何去预测敌方的位置。

接下来我们再看下目标学习问题。目标学习是非常重要的,首先需要解决每个英雄要去哪里的问题,对每个英雄或者对每类英雄要去的位置和出场是不一样的。其次就是选目标的问题:游戏中有七十多个英雄,每一局英雄可能不一致,如何解决英雄不一致的问题?因为AI学的是用户的操作,每个英雄技能设计不一样,有的是方向型的技能,有的是指向型技能,有的是位置型技能。

第三个难点是知识表达的问题。如果对于一个复杂英雄如:露娜,李白,玩家没有熟悉一百场练习很难熟练操作这复杂英雄。露娜无限连怎么打,关羽的无限推,李白四字真言,诸葛亮大招躲避。另外每个英雄有一些技能状态变化的设计,例如说花木兰,它的技能会随着三技能的变更,前两个技能效果也会变。这些如何表示?对于人来说是游戏常识,难点在于对于AI如何进行表达。

对于遇到的主要问题我们的解决方案:第一是引入框架进行分层,任务分层场景切分。对于知识表达,引入了多模态的特征表达方式:卷积特征+向量特征+ 时序特征;模型采用多深度学习模型结合。

接下来介绍下王者AI的主要技术解决方案。框架设计主要包含两大组成部分:游戏分析和策略模块。游戏分析模块主要包含:英雄搭配问题,装备策略的分析等。策略执行模块用以解决:接下来去做什么,到达对应地点后如何进行对战的问题。

大局观设计,大局观是解决下一时刻位置问题。具体来说对于英雄它下一次的热点在哪里?下一次的战斗位置在哪儿?或者它下一次蹲草丛在哪个位置。微操的设计,微操解决的是场景发生战斗的问题。我们特征采用多模态方式组织:位置相关信息通过imagelike特征组织,属性信息通过向量特征表征,采用深度学习的Multi-task模型。

整体来说随着强化学习,深度学习方向进展,以前主要是基于规则,现在主要是基于学习方式来研究AI。如果采取基于学习的方式研究AI对于开发者而言需要提供相关的环境便于开发者进行迭代调试。总而言之,MOBA类游戏AI研发遇到很多困难与挑战,但也充满了机会。

这是今天的分享,谢谢大家。

原文发布于微信公众号 - 腾讯技术工程(Tencent_TEG)

原文发表时间:2018-08-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

论文 | 百度「一次包会」模型:「一次性」教会Agent认新事物

百度 Research 在近日发表了一篇博文,介绍了通过交互式对话来教 AI 智能体学会语言和一次性实现主动概念学习的方法。

14620
来自专栏数据科学与人工智能

【机器学习】机器学习正在五个方面重塑我们的世界

机器学习的技术越来越成熟,与大数据结合在一起为我们的世界带来了巨大的变化。对此,大数据专家Bernard Marr总结了机器学习在听、说、读、写、看五个方面如何...

24880
来自专栏新智元

Facebook AI 野心与LeCun的小目标:拥有类人智能的对话助理

【新智元导读】 不同于以往的“深度好文”,这篇描写 Facebook AI发展的文章不仅仅聚焦在机器学习技术,更多地强调各种先进的机器学习模型与Faceboo...

28560
来自专栏新智元

谷歌趋势:人工智能首超大数据,深度学习关注度上升最快

【新智元导读】 KDnugget 在谷歌趋势(Google Trends)上对比了几个相关关键词的关注度,对大数据、机器学习、人工智能、数据科学和深度学习进行排...

51960
来自专栏AI科技评论

从 Google Trends,看各大深度学习框架使用热度

AI 科技评论按:随着深度学习在计算机视觉、自然语言处理等领域取得的成果越来越显著,对深度学习的讨论越来越多。作为当下最热门的话题,从 2015 年至今,短短三...

10220
来自专栏数据科学与人工智能

数据科学面临的共同挑战

随着我们进入2017年下半年,是时候看看那些使用数据科学和机器学习的公司面临的共同挑战。假设你的公司已经在大规模收集数据,需要用到分析工具,而且你已经认识到数据...

357100
来自专栏人工智能快报

物理学家发现经典机器学习与量子物理学习相同之处

据物理组织网(https://phys.org/)报道,物理学家发现特定类型的量子学习算法结构与对应的经典算法十分类似。这一发现能够帮助科学家进一步开发学习算...

43250
来自专栏新智元

【干货】杨强:从机器学习到迁移学习 | GAITC 演讲(附PPT)

【新智元导读】杨强教授认为,DeepMind把端到端的深度学习应用在强化学习上,使得强化学习能够应付大数据,因此能在围棋上把人类完全击倒,它做到这样是通过完全的...

336100
来自专栏CSDN技术头条

【BDTC 2015】推荐系统分论坛:百度、微博、京东推荐系统架构和实现

2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办,...

238100
来自专栏机器之心

专访 | 从专家系统到大数据知识工程,「千人计划」专家吴信东如何为数据冠以知识

吴信东教授是国家「千人计划」特聘专家、长江学者、IEEE & AAAS Fellow,他早期关注于专家系统,也就是知识工程的应用实践。而随着机器学习与大数据的流...

14030

扫码关注云+社区

领取腾讯云代金券