英伟达首次利用 AI 自动生成电子游戏视频画面

扫描上图二维码购票，参与全球新兴科技峰会

如果只是作为驾驶模拟器，可能很平庸，但对电子游戏画面来说，这可能是一场伟大的革命。

图|真实视频（左）和 AI 生成的渲染视频（右）之间的对比。（图源：英伟达）

最近人工智能的繁荣给图像和视频生成领域带来了一系列令人印象深刻的成果。最新成果来自芯片制造商英伟达，该公司12月3日发布了一份研究报告，展示了 AI 生成的画面如何与传统的视频游戏引擎相结合。这种混合图形系统有望应用到视频游戏，电影和虚拟现实等方面。

“这是使用深度学习渲染视频内容的一种新方式，” 英伟达应用深度学习副总裁 Bryan Catanzaro 表示。“显然，英伟达非常关心图形生成，并且我们正在思考如何利用人工智能彻底改变这一领域。”

英伟达的生成的图片并没有达到真实照片级的画面，他们展示了在 AI 生成的图像中发现的一些水印状的模糊。并且这一工作也不是完全创新的。在一篇研究论文中，该公司的工程师解释了他们如何基于一些现有方法，包括一个有影响力的开源系统 pix2pix。此外英伟达的工作中还应用到了生成对抗网络（GAN）。这些方法已经广泛用于 AI 图像生成。

但是英伟达还是在新产品中引入很多创新，这是世界上首个利用 AI 生成图形画面的视频游戏演示。这个产品是一个简单的驾驶模拟器，玩家可以在 AI 生成的几个城市街区中穿行，但不能离开他们的汽车，也不能以其他方式与世界互动。并且这一演示仅使用一个 GPU 即可实现，对于这样的前沿工作来说，这是一个显著的成就。

英伟达的系统利用如下几个步骤生成图形画面：首先，研究人员必须收集训练数据，一般这些数据来自于自动驾驶研究的开源数据集。然后将这些视频数据中的每一个镜头做分割，即每一帧画面被分成不同类别的区域：如天空，汽车，树木，道路，建筑物等。然后，用这些分割的数据训练生成对抗网络，用来生成这些对象的新画面。

接下来，工程师们使用传统的游戏引擎创建了虚拟环境的基本拓扑结构。在该游戏演示中，使用的系统是虚幻引擎 4，这是一种流行的引擎，被用于诸如堡垒之夜，绝地求生，战争机器 4 等多种游戏中。工程师们使用此引擎作为框架，然后利用深度学习算法实时生成每个类别的图形画面，并将它们显示到游戏引擎的模型上。

“被创造的世界的结构还是用传统方法制作的，”Catanzaro 解释说，“人工智能产生的唯一东西就是图形画面。”他补充说，演示本身很基础，主要由一名工程师负责完成。“这主要是用来做概念验证游戏，而不是开发了一个真正的游戏。”

图|不同 AI 模型生成的画面对比。左上是经语义分割的图像；右上是 pix2pixHD 生成的画面；左下是 COVST 生成的画面；右下是本文英伟达的系统生成的画面。（图源：英伟达）

为了创建这个系统，英伟达的工程师克服了许多挑战，其中最大的挑战是对象持久性（object permanence）。也就是说，如果深度学习算法以每秒 25 帧的速率为这一虚拟世界生成图形，它们如何保持每一区域的对象看起来大致相同？Catanzaro 这个问题曾导致这个系统的初始结果“看起来很痛苦”，因为图形的颜色和纹理“每帧都会改变”。

而解决的方案就是给系统一个短期记忆，让系统生成的每个新帧的时候与之前的帧进行比较。试图去预测这些图像之间运动的东西，并产生与屏幕上的内容一致的新帧。但是这些计算都很昂贵，因此游戏只能以每秒 25 帧的速度运行。

Catanzaro 强调，这项技术还处于早期阶段，想要让人工智能生成的画面出现在消费者游戏中可能还需要几十年的时间。他将这种情况与光线追踪的发展进行了比较，光线跟踪是当前图形渲染中的热门技术，它可以实时生成单独的光线，在虚拟环境中创建逼真的反射，阴影和不透明度。Catanzaro 表示：“第一次交互式光线追踪演示已经是很久很久以前的事了，但直到几周前我们还没有在游戏中成功应用光线跟踪技术”。

不过，人工智能生成的画面工作确实在机器人和自动驾驶汽车等研究领域有潜在的应用前景，可以用来生成虚拟训练环境。例如，在大部分游戏中，结构仍使用传统方法渲染，而 AI 用于创建其中的人或物体。消费者可以使用智能手机自己捕捉素材，然后将这些数据上传到云端，算法将通过学习将其插入到各种游戏中。比如说，将其用来创建更像真人玩家的头像。

然而，这种技术带来了一些明显的问题。近年来，专家越来越担心有些人会使用 AI 生成的足以乱真的假情报进行虚假宣传。研究人员展示，现在很容易制作一些虚假的政治家和名人的镜头，利用这些视频散播一些的虚假消息，这将会是不法之徒一个很强大的武器。如果推进这项技术的发展并将这一研究成果发布，英伟达在一定程度上可以说是这一潜在负面问题的推动者。

不过，英伟达表示，这并不是一个新问题。“这一技术可以用于制作具有误导性的内容吗？是。但是任何渲染技术都可以用来做到这一点，”Catanzaro 表示，英伟达正在与合作伙伴一起研究检测 AI 赝品的方法，这种所谓的虚假信息的问题本质上是一个“信任问题”。就像之前许多的“信任问题”一样，它必须通过一系列方法来解决，而不仅仅是通过技术。

Catanzaro 反问道：“电力公司创造的电力可以为制作假视频的电脑供电，你觉得他们需不需要负责？”。

不过归根结底，对于英伟达来说，推动人工智能生成的图形有一个明显的好处：它将有助于英伟达销售更多的硬件。自从深度学习热潮在 2010 年初兴起以来，英伟达的股价飙升，很明显英伟达的计算机芯片非常适合机器学习研究和开发。

对于计算机图形学的人工智能革命是否会有利于英伟达公司的收入，Catanzaro 笑着说，至少不会带来伤害。“任何能够提高生成更逼真和更具吸引力的图形的能力，都会对英伟达有利。”

-End-

编辑：李根 责编：李禹蒙

参考：

https://www.theverge.com/2018/12/3/18121198/ai-generated-video-game-graphics-nvidia-driving-demo-neurips

2019 年 1 月 19 日至 21 日，EmTech China全球新兴科技峰会即将再度在京城启幕。本次会议无论从嘉宾阵容、会议规模、会议持续时间、内容设计上都将大幅提升！我们的目标很简单：将 EmTech China 打造成中国最顶级的科技盛事！

全球从畜力、蒸汽动力再到电力，每次技术的进步都会带来产业结构的变革。而人工智能可以说是继电气化之后又一波为产业带来深远影响的新动能。虽然目前对于 AI 是否与制造业、医疗、材料、能源等行业一样是一个独立产业还存在争议，但由于 AI 赋能的特性，其所辐射及影响的产业层面将极为深远。在可预见的未来，所有产业都逃离不了 AI 化的趋势。

Anand Sanwal

→ CB Insights 联合创始人兼 CEO，一手打造硅谷 VC 决策背后的最强智库

Colin Parris

→ 通用电气全球副总裁，“百年老店”转型的 AI 领军人物

Dan Roth

→ 宾夕法尼亚大学教授，自然语言处理全球顶级专家

Kimberly Powell

→ 英伟达副总裁，医疗业务掌门人

Chris Urmson

→ 谷歌自动驾驶前负责人，Aurora Innovation 联合创始人兼 CEO，他是有着世界上最有价值工作经验的人