专栏首页量子位少年,这有套《街霸2》AI速成心法,想传授于你……

少年,这有套《街霸2》AI速成心法,想传授于你……

千平 发自 LZYY 量子位 出品 | 公众号 QbitAI

“ 少年,我看你骨骼精奇,是万中无一的武学奇才。我这有套《街霸2》心法,见与你有缘,就十块钱卖……”

慢!

苦练《街霸2》可能已经没前途了。

因为AI来了。

少年,不如修习如何炼制一枚格斗游戏AI吧。量子位这有套西方来的《街霸2》AI速成心法,见与你有缘,就免费转送了……

AI心法

这套心法,乃是“宅肉死抠破”(Gyroscope)所创。基于超任平台(Super Nintendo)。所用乃是强化学习之方法。依靠强化学习,AI观察世界、选择行动方式,目标是最大限度的获得奖励。

在游戏中也是一样。想要炼制一枚《街霸2》AI,需教会这个神经网络每个角色如何跳跃、移动、出招,还得教会它观察血量和剩余时间。我们需要把游戏中的种种信息,提炼成AI能看懂的格式,称之曰:观察空间。

观察空间

为了达到速成的目的,节省训练时间,这套心法在使用强化学习时,使用了手动定义观察空间的方式。具体来说,这个观察空间包括:

  • 每个角色的X、Y坐标
  • 血量
  • 角色是否跳跃
  • 角色是否蹲下
  • 角色移动的指令
  • 两个角色之间的绝对距离
  • 游戏时间

这个观察空间非常庞大。至少有数万亿个参数。

动作空间

AI观察环境之后,必须立刻进行下一步动作。表征可用动作最简单的方法,是使用超任手柄上的按钮:上、下、左、右、A、B、X、Y、L、R。如果考虑按钮同时按下的情况,就有1024中不同的可能。

考虑动作空间的另一种方法是建立可用的动作集,例如高踢、抱摔、上切等。把一个动作转变为对应的按钮组合。这里为了节省训练时间,心法将动作空间简化为一个方向键+一个出招键的组合,例如“上+A”。

这样就把动作空间简化到35种可能性。当然,如果时间允许,我们也 可以尝试更复杂的组合方式。

奖励

一旦采取了行动,就得让AI得到奖励/惩罚。

在《街霸2》种,出招合理与否有个简单的衡量方式:血量。AI要做的就是,却把血量的最大化。如果脚踢对手,能造成10个点的伤害,那么系统就奖励AI同样的得分。

如果下次观察后,AI没有行动,只要能保持血量的差距,仍然会获得10分奖励。当然,如果表现不好,也会被扣分。

这是街霸中Dhalsim(印度)训练中的奖励情况

AI训练AI

在训练AI这件事上,Gyroscope有一套算法,可以自动搞定哪个问题用什么算法最好。在《街霸2》这件事上,简化使用了这个方法,并且选择了DQN作为强化学习的方法,当然也做了一些调整。

DQN使用模型来预测哪些动作是最优选择。至于具体的做法,这里卖个关子,稍后会在另一篇心法中详述。

模拟器

想要训练AI,得把它带到《街霸2》的世界里。问题是,手头上没有超任的SDK。幸运的是,还是找到了解决的办法。

BizHawk,支持多种模拟器内核,包括超任。BizHawk提供了一系列关键工具:

  • 一个Lua语言脚本界面,可以逐帧控制游戏
  • 一套主机内存监视工具,用以检查内存中的地址
  • 没有速度和显示限制,可以最大化游戏帧率

BizHawk源代码在此:

https://github.com/TASVideos/BizHawk

有了Lua界面,就可以在《街霸2》中控制按钮、读取内存位置以及控制模拟器内核。内存探测器让AI可以直接读取对手的血量、动作等数据。

注意,这里只让AI读取了玩家能看到的信息,没有读取额外内容。

侵入内存

我们需要从内存中读取一些关键数据,来构成观察空间。在开头我们也提到过,比方角色的位置、血量、行动、时间等。这些都放在内存中的某个地方。

到底在哪呢?这时就可以用BizHawk的工具,来监测内存数值的变化,进而发现内存中被改变的地方。Gyroscope花了几个小时,最终确定了所有数据在内存中的位置,建立了从内存到观察空间的映射。

举个栗子,比方像下面这样:

public int get_p1_health()

{

    return _currentDomain.PeekByte(0x000530);

}

public int get_p2_health()

{

    return _currentDomain.PeekByte(0x000730);

}

搞定代码

BizHawk内嵌了Lua脚本引擎,所以Gyroscope初步尝试在Lua里写SDK。那是一个Lua库,用于访问所有的内存位置。

不过问题在于,Lua接口不支持任何网络I/O。由于服务在云端运行,所以这是一个大问题。可以借助Python从中转送,但会带来同步和速度等方面的问题。

解决的办法是放弃Lua,直接使用原生BizHawk工具,这些工具是用C#编写的。之前写的Python代码仍然保留,当做一个简单的接口,给它起了个名字叫EmulatorController。

最后的结果是,对于游戏中的每一帧画面,获得一个观察结果,然后发送给EmulatorController,这个控制器再去询问AI,得到行动指令后,返回下一帧予以执行。

这个方法的速度够快,是时候开始正式训练了~

训练AI

随着一切准备就绪,针对AI的训练立即开始。每个角色训练了8个小时,大概3000场比赛。

在训练过程中,Gyroscope尝试了观察空间、动作空间、奖励函数、DQN参数的各种不同组合,直到找到一个胜率较高的AI配置。

除了标准的调优技术和良好的习惯(一次只改变一个参数),训练AI中最关键的发现是按方向键和按出招键的不均衡权重。

对于每一帧,方向键造成的影响很小,而出招键会引发一系列重大变化。例如,出拳需要很多帧才能完成。也就是说,一帧中的动作会在后续很多帧中继续产生影响。所以,AI被训练为在下一步行动前,会在20帧内持续按下出招键。

换句话说,AI不是逐帧采取行动,而是每⅓秒观察和行动一次。

很多人会问,为什么没把最终赢得胜利作为奖励?简单地说,那样的话会让训练更加困难和冗长。

训练之初,AI对三星级(街霸的星级系统)对手的胜率是20%,训练到最后,胜率已经达到90%。如果训练的时间再长,应该可以获得更好的成绩。

街霸2争霸大赛

这个《街霸2》AI第一次亮相,是在刚刚结束的三星开发者大赛上。

Gyroscope搞了一个《街霸2》AI争霸大赛!

一共四位AI选手出战,每个AI控制两个角色。对战表如下图所示。

最终的决赛,在M.Bison和Dhalsim之间展开。好吧,M.Bison简直是个bug级的存在,他获得了最后的胜利。

然后换了一组角色,再次展开捉对厮杀。

决赛中,Sagat击败本田,赢得冠军。

快取走这套心法

好吧,讲到这里,再指一条明路。Gyroscope把修改的模拟器放在GitHub上了,地址在此:

https://github.com/GyroscopeHQ/BizHawk

好吧,这套心法讲完了。今天就到这里,休息休息一下。

本文分享自微信公众号 - 量子位(QbitAI),作者:专注报道AI

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • AI加剧贫富分化不可避免,我们的职业会发生哪些变化?

    安妮 编译自 VentureBeat 量子位 出品 | 公众号 QbitAI 白领蓝领失业,走投无路的你发现转行到程序员都有很大可能被取代,政府的政策导向决定着...

    量子位
  • AI科学家们,有驯兽师要向你们传授两点必看的人生经验

    李林 编译整理 量子位 出品 | 公众号 QbitAI 训练人工智能系统,和驯兽很像。 用动物做类比能帮普通人理解人工智能中很多复杂的方面,也能帮我们思考怎样让...

    量子位
  • 普华永道最新报告带你看人机共存的未来,我们总结了六大要点

    安妮 编译整理自 普华永道 量子位 出品 | 公众号 QbitAI 人类现在对AI的态度是怎样的?我们对于人机共存的未来,有着怎样的期待?普华永道在今天最新发布...

    量子位
  • AI抢程序员工作:2040年AI可能代替程序员

    新智元
  • 继AutoML后,第四范式发布软硬一体化AI集成系统SageOne

    6 月 20 日,AI产品和服务提供商第四范式宣布发布最新 AI 系列产品SageOne Appliance软硬一体化AI集成系统,性能较市面开源工具或GPU解...

    AI科技大本营
  • [AI新知] FaceBook开源体现AI平台AI Habitat

    有别于传统的AI可思考、推理或解决抽象的问题,许多研究人员开始推测,体现AI将成为未来AI技术主流,例如请机器人帮你拿放在楼上书桌上的手机,或者借由一个配戴装置...

    阿泽
  • AI人才报告 | AI稳超互联网平均薪资,哪些细分领域最受追捧?

    【AI 科技大本营导读】人工智能在经历了 2017 年的迅速发展之后,逐步迎来了落地应用。AI 领域的人才需求也发生调整。近日,猎聘联合 GMIC 发布了《 2...

    小莹莹
  • 年薪30万起,工资原地踏步的你或许该转型AI工程师了

    用户1737318
  • MIT生命未来研究所联合创始人Max Tegmark携新书谈AI的未来

    Max Tegmark是麻省理工学院的教授,基础问题研究所的科学主任,以及生命未来研究所(FLI)的联合创始人。

    AiTechYun
  • 腾讯赖智明:实践“AI+金融”,推进人工智能赋能传统金融行业

    12月8日,腾讯集团副总裁、支付基础平台与金融应用线负责人赖智明应邀出席2017(第八届)中国企业组织管理高峰论坛,并发表《AI助力金融科技产业的新发展》主题演...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券