【游戏】国外大神建立了一个深度神经网络来玩足球游戏FIFA 18

游戏中的人工智能机器人通常是通过手动编码来构建一系列游戏智能的规则。在很大程度上,这种方法在使机器人模仿人类行为方面做得更好。然而,对于大多数游戏来说,究竟是机器人打游戏还是真正的人在打游戏还是很容易区分的。如果我们想让这些机器人表现得更像人类,是否可以不再手动编码来构建游戏规则?如果我们只是让机器人通过观察人类打游戏的方式,让它了解游戏,那会怎么样呢?

我们需要通过一个游戏探索这一点,在这个游戏可以收集记录人类玩游戏的数据。FIFA就是这样一个游戏:能够玩游戏并记录我在游戏中的动作和决定,让我可以训练一个端到端的深度学习机器人,而不用硬编码一个游戏规则。

  • 这个项目的代码以及经过训练的模型: https://github.com/ChintanTrivedi/DeepGamingAI_FIFA.git

游戏机制

构建这种机器人的关键性机制是:工作时不需要访问任何游戏的内部代码。游戏窗口的一个简单的屏幕截图就是输入机器人游戏引擎的全部的东西。它处理视觉信息,并输出它想要的动作,通过一个按键模拟来传达给游戏。并不断地重复上述步骤。

现在我们已经有了一个框架来给机器人提供输入,并利用它的输出控制游戏,我们来到了有趣的部分:学习游戏智能。分两个步骤来完成:(1)通过使用卷积神经网络来理解屏幕截图图像,(2)使用长短期记忆网络根据对图像的理解来决定适当的动作。

步骤1:训练卷积神经网络(CNN)

CNN以其高精确度的图像检测能力而闻名。再加上快速的GPU和智能网络架构,我们有一个可以实时运行的CNN模型。

为了让机器人理解输入图像,我使用了一个非常小的轻载和名为MobileNet的快速CNN。从这个网络中提取的特征图谱代表了对图像的高层次理解,就像玩家和其他对象位于屏幕上一样。然后使用该特征图谱与单发多功能盒一起检测球场上的球员以及球和球门。

步骤2:训练长期短期记忆网络(LSTM)

既然我们已经了解了图像,我们就可以决定我们想要做什么。然而,我们不能只根据一个框架就采取行动,而是更希望根据这些图像的短序列来采取行动。这就是LSTM的由来,它们以能够在数据中建模时间序列而闻名。在我们的序列中使用连续帧作为时间步骤,并使用CNN模型提取每个帧的特征图谱。然后,它们同时被送入两个LSTM网络。

第一个LSTM执行任务,学习玩家需要做什么动作。因此,它是一个多类分类模型。第二个LSTM得到相同的输入,并决定使用横穿、通过、传递和射门中的某一动作:另一个多类分类模型。然后将这两个分类问题的输出转换为按键,以控制游戏中的动作。

这些网络已经通过人工操作的数据进行训练,并记录输入图像和目标按键。

评价机器人的性能

我不知道用什么准确的方法来判断机器人的性能,除了让它参与到游戏中。在仅仅400分钟的训练之后,机器人已经学会了向对手的球奔跑,在发现目标的时候向前传球和投篮。在第FIFA 18的初级阶段,它已经在6场比赛中踢进4个球,比保罗·博格巴在17/18赛季的进球还要多。

机器人与内置机器人对抗的视频片段:

http://imgcdn.atyun.com/2018/01/videoplayback-4.mp4?_=1

结论

我对这种构建游戏机器人的最初印象是积极的。在训练有限的情况下,机器人已经掌握了游戏的基本规则:向球门移动,把球射向球门。在有更多的训练数据的情况下,我相信它很快就可以接近人类水平,这对于游戏开发者来说是很容易的。此外,将模型训练扩展到从真实的比赛场景中学习,将使机器人的行为更加自然和真实。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-01-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【重磅】DeepMind发布最佳语音神经网络生成模型,与人类差距缩减50%以上

【新智元导读】本文介绍的是WaveNet——一个原始音频波形深度模型。我们展示了,Wavenet能够生成模仿人类的语音,听起来要比现有最好的文本到语音转化系统更...

3095
来自专栏新智元

【重磅】微软AI首席科学家邓力:深度学习技术及趋势报告(75页PPT下载)

【新智元导读】微软人工智能首席科学家邓力博士在上海IEEE-ICASSP2016大会上的演讲报告。本报告分为深度学习的机器感知、机器认知和未来挑战三大部分,着重...

4038
来自专栏CreateAMind

用DNN构建推荐系统-Deep Neural Networks for YouTube Recommendations论文精读

虽然国内必须翻墙才能登录YouTube,但想必大家都知道这个网站。基本上算是世界范围内视频领域的最大的网站了,坐拥10亿量级的用户,网站内的视频推荐自然是一个非...

2133
来自专栏机器之心

GMIS 2017 | 第四范式首席研究科学家陈雨强:机器学习模型,宽与深的大战

机器之心原创 机器之心编辑部 5 月 27 日,机器之心主办的为期两天的全球机器智能峰会(GMIS 2017)在北京 898 创新空间顺利开幕。中国科学院自动化...

3156
来自专栏新智元

【自监督学习机器人】谷歌大脑首次实现机器人端到端模仿人类动作 | 视频

【新智元导读】 机器人仅需观察人类行为就能模仿出一模一样的动作,这一机器人领域发展的长期目标最近被谷歌大脑“解锁”。在新发布的一项研究中,谷歌大脑团队介绍了他们...

3785
来自专栏量子位

DeepMind新论文:用认知心理学方法打开深度学习的黑箱

唐旭 李林 编译整理 量子位 出品 | 公众号 QbitAI 最近,DeepMind在Arxiv上发布了Interpreting Deep Neural Net...

30012
来自专栏新智元

Google | 机器学习小白教程

对机器如何自学感到很困惑?这里提供对机器学习的综述以供参考。 最近谷歌的深度学习第二代引擎“TensorFlow”引来众人的关注,但也引来了关于人工智能领域的...

3717
来自专栏机器之心

学界 | 谷歌大脑实现更宽广的智能体视野,在Atari2600上可持续超越人类玩家!

近年来,深度强化学习(RL)领域取得了重大进展,催生了能够在各种各样的任务中达到与人类控制能力水平相当的人工智能体,这些任务其中就包括雅达利(Atari)260...

772
来自专栏量子位

第四范式陈雨强:万字深析工业界机器学习最新黑科技

转载自 第四范式公众号 近日,全球最顶级大数据会议Strata Data Conference在京召开。Strata大会被《福布斯》杂志誉为“大数据运动的里程碑...

3569
来自专栏新智元

DeepMind最新ICML论文:价值分布方法超越所有传统强化学习

【新智元导读】DeepMind 在他们的 ICML 2017 论文 A Distributional Perspective on Reinforcement ...

3889

扫码关注云+社区