深度Q网络用语视觉格斗类游戏

最近,基于视觉深度Q的学习在雅达利和视觉Doom AI平台被证明成功的结果。与以前的研究不同,格斗游戏假设两个玩家有相当多的动作,在这项研究中,采用深度Q网络(DQN)用于视觉格斗游戏AI的比赛。动作次数减少到11,并利用视觉格斗平台测试了几个控制参数的灵敏度。实验结果表明,对于双人实时格斗游戏的DQN方法有着很大的潜力!

格斗游戏是一种国际人工智能竞赛平台,具有两个代理之间的匹配。在比赛中,蒙特卡洛树搜索(MCTS)技术是排名在前面的几种方法。近年来,基于视觉的实时游戏AI的数量有所增加,有可能采用基于视觉的方法在格斗游戏的竞争领域击败MCTS方法的情况。

特别是,采用深度Q学习网络(DQN)成功地展示了在雅达利游戏和视觉Doom AI的比赛。

在格斗游戏平台,为每一个角色一共定义了41个动作,为不同的状态定义了几种操作(比如在地上,空中,蹲着等),由于训练的动作数量相对较多,这很有挑战性,最后建议只考虑11个动作。

网络架构:

输入为4通道,分别为连续视频帧,两个卷积层和两个全连接层。

参数设置:

输入为960*640像素的,然后重新变换到96*64大小尺寸;

一个动作用4帧去产生,采用跳帧技术,加快动作额学习

动作有上、下、右、用拳猛击、踢和六个组合键:

- ‘Down’ + ‘Down & Right’ + ‘Right & Punch’

- ‘Down’ + ‘Down & Right’ + ‘Right & Kick’

- ‘Right’ + Down’ + ‘Right & Down & Punch’

- ‘Right’ + ‘Down’ + ‘Right & Down & Kick’

- ‘Down’ + ‘Left & Down’ + ‘Left & Punch’

- ‘Down’ + ‘Left & Down’ + ‘Left & Kick’

minibatch设置为32,replay memory设置为50000,学习率为10e-6。

学习过程:

其他设置:

输入数据尺寸

跳帧技术

行为数量

实验结果:

从上图可以看出,高分辨率的输入效果比低分辨了的好;

在跳帧技术,用较大的跳帧参数值可以增加性能;

小尺寸的行为可以额很好的提高性能。

最后给大家展示一些效果:

  • 发表于:
  • 原文链接:http://kuaibao.qq.com/s/20171209G08KI100?refer=cp_1026

相关快讯

扫码关注云+社区