少年,这有套《街霸2》AI速成心法,想传授于你……

千平 发自 LZYY 量子位 出品 | 公众号 QbitAI

“ 少年,我看你骨骼精奇,是万中无一的武学奇才。我这有套《街霸2》心法,见与你有缘,就十块钱卖……”

慢!

苦练《街霸2》可能已经没前途了。

因为AI来了。

少年,不如修习如何炼制一枚格斗游戏AI吧。量子位这有套西方来的《街霸2》AI速成心法,见与你有缘,就免费转送了……

AI心法

这套心法,乃是“宅肉死抠破”(Gyroscope)所创。基于超任平台(Super Nintendo)。所用乃是强化学习之方法。依靠强化学习,AI观察世界、选择行动方式,目标是最大限度的获得奖励。

在游戏中也是一样。想要炼制一枚《街霸2》AI,需教会这个神经网络每个角色如何跳跃、移动、出招,还得教会它观察血量和剩余时间。我们需要把游戏中的种种信息,提炼成AI能看懂的格式,称之曰:观察空间。

观察空间

为了达到速成的目的,节省训练时间,这套心法在使用强化学习时,使用了手动定义观察空间的方式。具体来说,这个观察空间包括:

  • 每个角色的X、Y坐标
  • 血量
  • 角色是否跳跃
  • 角色是否蹲下
  • 角色移动的指令
  • 两个角色之间的绝对距离
  • 游戏时间

这个观察空间非常庞大。至少有数万亿个参数。

动作空间

AI观察环境之后,必须立刻进行下一步动作。表征可用动作最简单的方法,是使用超任手柄上的按钮:上、下、左、右、A、B、X、Y、L、R。如果考虑按钮同时按下的情况,就有1024中不同的可能。

考虑动作空间的另一种方法是建立可用的动作集,例如高踢、抱摔、上切等。把一个动作转变为对应的按钮组合。这里为了节省训练时间,心法将动作空间简化为一个方向键+一个出招键的组合,例如“上+A”。

这样就把动作空间简化到35种可能性。当然,如果时间允许,我们也 可以尝试更复杂的组合方式。

奖励

一旦采取了行动,就得让AI得到奖励/惩罚。

在《街霸2》种,出招合理与否有个简单的衡量方式:血量。AI要做的就是,却把血量的最大化。如果脚踢对手,能造成10个点的伤害,那么系统就奖励AI同样的得分。

如果下次观察后,AI没有行动,只要能保持血量的差距,仍然会获得10分奖励。当然,如果表现不好,也会被扣分。

这是街霸中Dhalsim(印度)训练中的奖励情况

AI训练AI

在训练AI这件事上,Gyroscope有一套算法,可以自动搞定哪个问题用什么算法最好。在《街霸2》这件事上,简化使用了这个方法,并且选择了DQN作为强化学习的方法,当然也做了一些调整。

DQN使用模型来预测哪些动作是最优选择。至于具体的做法,这里卖个关子,稍后会在另一篇心法中详述。

模拟器

想要训练AI,得把它带到《街霸2》的世界里。问题是,手头上没有超任的SDK。幸运的是,还是找到了解决的办法。

BizHawk,支持多种模拟器内核,包括超任。BizHawk提供了一系列关键工具:

  • 一个Lua语言脚本界面,可以逐帧控制游戏
  • 一套主机内存监视工具,用以检查内存中的地址
  • 没有速度和显示限制,可以最大化游戏帧率

BizHawk源代码在此:

https://github.com/TASVideos/BizHawk

有了Lua界面,就可以在《街霸2》中控制按钮、读取内存位置以及控制模拟器内核。内存探测器让AI可以直接读取对手的血量、动作等数据。

注意,这里只让AI读取了玩家能看到的信息,没有读取额外内容。

侵入内存

我们需要从内存中读取一些关键数据,来构成观察空间。在开头我们也提到过,比方角色的位置、血量、行动、时间等。这些都放在内存中的某个地方。

到底在哪呢?这时就可以用BizHawk的工具,来监测内存数值的变化,进而发现内存中被改变的地方。Gyroscope花了几个小时,最终确定了所有数据在内存中的位置,建立了从内存到观察空间的映射。

举个栗子,比方像下面这样:

public int get_p1_health()

{

    return _currentDomain.PeekByte(0x000530);

}

public int get_p2_health()

{

    return _currentDomain.PeekByte(0x000730);

}

搞定代码

BizHawk内嵌了Lua脚本引擎,所以Gyroscope初步尝试在Lua里写SDK。那是一个Lua库,用于访问所有的内存位置。

不过问题在于,Lua接口不支持任何网络I/O。由于服务在云端运行,所以这是一个大问题。可以借助Python从中转送,但会带来同步和速度等方面的问题。

解决的办法是放弃Lua,直接使用原生BizHawk工具,这些工具是用C#编写的。之前写的Python代码仍然保留,当做一个简单的接口,给它起了个名字叫EmulatorController。

最后的结果是,对于游戏中的每一帧画面,获得一个观察结果,然后发送给EmulatorController,这个控制器再去询问AI,得到行动指令后,返回下一帧予以执行。

这个方法的速度够快,是时候开始正式训练了~

训练AI

随着一切准备就绪,针对AI的训练立即开始。每个角色训练了8个小时,大概3000场比赛。

在训练过程中,Gyroscope尝试了观察空间、动作空间、奖励函数、DQN参数的各种不同组合,直到找到一个胜率较高的AI配置。

除了标准的调优技术和良好的习惯(一次只改变一个参数),训练AI中最关键的发现是按方向键和按出招键的不均衡权重。

对于每一帧,方向键造成的影响很小,而出招键会引发一系列重大变化。例如,出拳需要很多帧才能完成。也就是说,一帧中的动作会在后续很多帧中继续产生影响。所以,AI被训练为在下一步行动前,会在20帧内持续按下出招键。

换句话说,AI不是逐帧采取行动,而是每⅓秒观察和行动一次。

很多人会问,为什么没把最终赢得胜利作为奖励?简单地说,那样的话会让训练更加困难和冗长。

训练之初,AI对三星级(街霸的星级系统)对手的胜率是20%,训练到最后,胜率已经达到90%。如果训练的时间再长,应该可以获得更好的成绩。

街霸2争霸大赛

这个《街霸2》AI第一次亮相,是在刚刚结束的三星开发者大赛上。

Gyroscope搞了一个《街霸2》AI争霸大赛!

一共四位AI选手出战,每个AI控制两个角色。对战表如下图所示。

最终的决赛,在M.Bison和Dhalsim之间展开。好吧,M.Bison简直是个bug级的存在,他获得了最后的胜利。

然后换了一组角色,再次展开捉对厮杀。

决赛中,Sagat击败本田,赢得冠军。

快取走这套心法

好吧,讲到这里,再指一条明路。Gyroscope把修改的模拟器放在GitHub上了,地址在此:

https://github.com/GyroscopeHQ/BizHawk

好吧,这套心法讲完了。今天就到这里,休息休息一下。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-10-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【下载】Scikit-learn作者新书《Python机器学习导论》, 教程+代码手把手带你实践机器学习算法

【导读】哥伦比亚大学老师Andreas C. Müller同时也是著名机器学习Python包scikit-learn的主要贡献者 Andreas Muller ...

70050
来自专栏PPV课数据科学社区

近期GitHub上最热门的开源项目(附链接)

来源:开源最前线 2 月份 GitHub 上最热门的开源项目又出炉了,又有哪些新的项目挤进热门榜单了呢,一起来看看。 ……………………………… 1、nocode...

37690
来自专栏华章科技

近期GitHub上最热门的开源项目(附链接)

2 月份 GitHub 上最热门的开源项目又出炉了,又有哪些新的项目挤进热门榜单了呢,一起来看看。

9020
来自专栏数说戏聊

Tableau构建销售监测体系(初级版)1.商业理解2.基本分析流程3.多数据源融合4.Top客户监测表制作

12820
来自专栏PPV课数据科学社区

diRblo|中文文本分析方便工具包chinese.misc简介(附文本样例)

现在NLP技术那么发达了,各种工具那么NB了,可是用R做文本分析的人居然还得为如何读文件不乱码、如何分词、如何统计词频这样的事犯难,也是醉了。如果老停留在这个水...

34080
来自专栏PPV课数据科学社区

手把手教你学习R语言

随着分析数据的方式在近两年发生了翻天覆地的变化,随着互联网在人们的生活中广泛的普及,人手一部智能机的时代,人们的衣食住行都接上的互联网,这使得数据的获取量得以指...

1.3K80
来自专栏AI黑科技工具箱

0.伏笔:图像读取方式以及效率对比

入职了之后挺忙,已经好久没有做一些科普性的更新了。近期已做了些学术要求不高的工作,所以刚好有时间写写总结。

724110
来自专栏Albert陈凯

OLAP(On-Line Analysis Processing)在线分析处理引擎

OLAP(On-Line Analysis Processing)在线分析处理是一种共享多维信息的快速分析技术;OLAP利用多维数据库技术使用户从不同角度观察数...

41070
来自专栏CDA数据分析师

手把手教你用Python分析电影 | 以《蚁人2》为例

《蚁人2》自8月24日在中国大陆上映以来,已经有将近一个月。作为《复仇者联盟3》之后漫威出品的首部电影,《蚁人2》对漫威宇宙电影的剧情承转起着关键作用。9月20...

30120
来自专栏CDA数据分析师

入门 | 一小时向非程序员介绍 R 编程语言

来源 | 伯乐在线 我妹妹正在念大四,主修社会学。她刚刚签了下个学期一份不错的分析员工作,对方告诉她工作中要用到 R 编程语言。她让我在寒假时教教她,我欣然同意...

27060

扫码关注云+社区

领取腾讯云代金券