游戏与人工智能

在人工智能的发展上的道路上，游戏到底扮演着一个怎样的角色？也许接下来五分钟的阅读（多图预警），会让你得到一个较为清晰的答案。

前言

自人工智能诞生以来，游戏便作为测试的载体，一直肩负着验证算法效果的重任，在推动人工智能发展上起到了十分重要的作用。本文不讨论人工智能对于游戏产生何等助力，而是思考游戏对于人工智能的推动作用。

1 游戏与人工智能

人工智能正在改变着游戏，无论是智能NPC、内容自动生成还是分析玩家行为等，人工智能正在为游戏赋予着更鲜活的生命力，让游戏变得更加有趣[1]。同样的，游戏，也在推动着人工智能的发展，为人工智能的灵魂赋予了活生生的肉体。

1.1 让大众认识人工智能

你是从什么时候开始发现大众都在讨论人工智能的呢？2016年的围棋大战，阿法狗战胜李世石，必将载入史册。正是这一役，民间便掀起了一股讨论人工智能的浪潮。即便是对围棋一无所知，对人工智能更是一头雾水的人，也都加入到了学习的浪潮，通过阅读新闻和一些入门简介了解人工智能，于在各种相关话题中也能讨论一二。

图1-1 李世石对战阿法狗

一时间，人工智能光芒四射，家喻户晓。而这，得益于一个叫围棋的游戏。

早在此前，无论是IBM的深蓝在97年象棋比赛上击败世界冠军卡斯巴罗夫，还是11年沃森在电视问答游戏中战胜人类选手，都引起了全球的关注。只不过围棋的这一役，算法屌了点，算力牛了点，舞台大了点，媒体吹了点，大众便高潮了。

依托于游戏万众瞩目的擂台，人工智能向世人展现了它如今的实力与潜力，让世人争相朝拜。游戏在推动人工智能宣传工作上，起到了十分关键的作用。

1.2 人工智能理想的测试载体

人工智能寄希望于将智能赋予到机器身上，如何测试这种智能呢？游戏，从出生的那一刻起，便拥有着挑战人类智商的能力。（下好围棋所需要的能力已经接近人类智力的极限：要有大局观、要懂得取舍、还要会精打细算）因为游戏的规则比较简单，而游戏的状态空间和可选策略却是十分巨大的，导致游戏变得十分复杂而有趣。正是如此，游戏成为了检验人工智能的理想选择。玩游戏的强弱，已经成为了人工智能算法的一个基准。比如围棋，谁家的人工智能围棋选手得胜，似乎便是谁家的算法更优。所以说，游戏是人工智能理想的测试载体。通过在游戏上的表现的比拼，人工智能算法得以不断地改进和优化。

从早期规则简单的棋牌游戏，到如今越来越复杂的视频游戏，人工智能一直都死磕到底，其算法也不断地得到改进。从基于Q-learning算法的强化学习，到后来的基于神经网络的端到端的深度强化学习DQN，人工智能变得越来越会玩游戏，泛化能力越来越强。(注：本文图片均取材于网上及以下参考文献中)

图1-2 基于Q-learning的强化学习玩flappy bird. 上图开始时不断扑街，下图多次迭代后已经可以玩得很溜

图1-3 marI/0学习玩超级玛丽

这里当然少不了最喜欢玩Atari（还记得头号玩家里面的最后一关致敬的游戏吗）的DeepMind，也许是它这么喜欢玩，才弄出来了阿法狗吧。

图1-4 DeepMind的机器人在玩Artari的乒乓

注：以上所说的强化学习是机器学习中的一个重要分支。传统的机器学习分为无监督学习、监督学习和强化学习。有别于前两者，强化学习是一个不断在环境中做出选择并通过环境的反馈来更新自己的经验的一个过程。就如小孩在学自行车时，在车上不断地调整动作，若接下来还是扑街，再重新来过，不断地从过去尝试中吸取经验，直到顺溜地骑行。所以个人感觉强化学习更加接近于人类的学习方式，更能产生一种泛化的人工智能。

图1-5 强化学习是在环境中不断试错的学习过程

2 游戏、仿真环境与人工智能

以上提到了游戏对人工智能的直接推动作用，接下来将探索游戏对人工智能发展的间接推动作用。

关于游戏，不得不提到游戏引擎。而谈到人工智能，特别是机器人，不得不提到仿真环境。

图2-1 机器人在仿真环境中与物体的交互[3]

所谓仿真环境，便是要尽可能真实的还原现实世界。基于机器学习的自主系统需要大量的训练数据，而这些数据是十分昂贵并且耗时的。在收集这些数据的时候，还需要考虑到安全问题（参考自动驾驶）。通过使用仿真环境，能够更加高效地训练模型，仿真环境越逼真，在仿真环境中训练到的模型越容易适用到真实世界的机器人身上。

图2-2 机器人在仿真环境中移动寻物[3]

而近年来，由于游戏的蓬勃发展，游戏引擎的高保真做得越来越好，出现了不少使用游戏引擎制作仿真环境的研究。

在2017年的Computex大会上，Nvidia推出了“Isaac Initiative”（艾萨克计划），该计划旨在为机器人提供高保真、高精度及高性能的模拟环境。

Nvidia选择了虚幻4引擎和PhysX物理引擎的增强版本。选择它们是因为它们能保障模拟环境的真实性和高性能。机器人模拟对环境的要求很高，在Nvidia创建的机器人打曲棍球的环境中，球棍与球、球与球门之间的碰撞精度远超游戏。

图2-3 Nvidia创建的机器人打曲棍球的模拟环境[5]

微软研究团队2017年2月在Github网站上发布了一款基于虚幻引擎的无人机仿真器（AirSim），通过一套名为AirLib的模块集提供传感器、环境、四旋翼机架等一系列数学模型，以及虚幻引擎所提供的动力学模型和图像信息，能够以较小的代价获得大量用于深度学习和人工智能研究的数据。

图2-4 微软开放的基于虚幻4引擎的无人机仿真器[2]

微软和NV两大巨头似乎都很中意用虚幻4去构建仿真环境，可见虚幻4的强大。虚幻四的开发商Epic Games，与鹅厂有着XXX的关系。这里不得不佩服鹅厂的眼光。

我觉得这只是一个开端，一个开启人工智能大训练场的良好开端。而这一切的助力者，是游戏，它从测试人工智能的载体，转变成训练人工智能场所的提供者。在人工智能的发展道路上，游戏似乎一直都在扮演着一个十分重要的角色。

3 最后的遐想

基于云计算能力的虚拟开放世界，似乎能有很多想象空间。谁能掌握着最优质的仿真世界，谁便能吸引更多的研究机构入场。

在虚拟世界里，无人驾驶、机器人和仿生物在满大街跑着。

在虚拟世界里，我们一起跳机场，今晚吃鸡大吉大利。

在虚拟世界里，我们在各个世界名胜中流连忘返（最喜欢在吃鸡里面跳伞看风景）。

在虚拟世界里……

要构建这般逼真的虚拟开放世界，似乎还有很长一段路要走，但是光想想就觉得颇为激动。

4 总结

无论是作为测试人工智能算法载体，亦或是作为普及大众的载体，更或是为人工智能提供无限可能的训练场，游戏对人工智能的推动作用是无可置疑的。游戏与人工智能，两者息息相关。未来必然是人工智能附能的未来，也将是游戏深耕附能的未来。而在游戏布局已久的鹅厂似乎早已经拿到了这张通向未来的入场券，让人对鹅厂的未来充满了想象。这也许能解释为什么我会在475的时候毅然决然地入场吧。

注：本文图片均取材于网上及以下参考文献中

参考文献

【1】Yannakakis G N, Togelius J. Artificial Intelligence and Games[M]. Springer, 2017.

【2】Shah S, Dey D, Lovett C, et al. Aerial informatics and robotics platform[R]. Technical Report MSR-TR-2017-9, Microsoft Research, 2017.

【3】Zhu Y, Mottaghi R, Kolve E, et al. Target-driven visual navigation in indoor scenes using deep reinforcement learning[C]//Robotics and Automation (ICRA), 2017 IEEE International Conference on. IEEE, 2017: 3357-3364.

【4】Mnih V, Kavukcuoglu K, Silver D, et al. Playing atari with deep reinforcement learning[J]. arXiv preprint arXiv:1312.5602, 2013.

【5】William Wong. Nvidia打造机器人仿真系统，基于虚幻4. https://www.jqr.com/news/003925

【6】Sarvagya Vaish. Flappy Bird hack using Reinforcement Learning

. http://sarvagyavaish.github.io/FlappyBirdRL/