48小时封镜！这是一部完全由AI制作的科幻电影

新智元编译

来源：arstechnica

编译：肖琴

【新智元导读】在伦敦科幻电影节的“48小时电影挑战”，导演Oscar Sharp和AI研究员Ross Goodwin带来一部全部制作过程由AI导演的实验性影片《Zone Out》。影片采用“换脸”技术，使用神经网络生成的对话和配音等，整个制作过程都由被称为Benjamin的AI进行处理。而作为一部科幻片，其结果相当不错。

两年前，一部名为Sunspring（中译《阳春》）的奇怪短片举行了在线首映式，这个短片最引人注目的地方在于，它的整个剧本都是由AI写的。在以特别严肃的方式表演完结局之前，电影的真人演员们嘲笑了奇怪的计算机生成的对话和舞台指导。

那部电影的制作二人组合，导演Oscar Sharp和AI研究员Ross Goodwin回来了，带来另一个由人工智能导演的实验性影片。表面上看，这部影片显然更烂。新电影名为 Zone Out，影片中充满了模糊的面孔，电脑生成的对话和尴尬的场景变化。这部电影参与了伦敦科幻电影节的“48小时电影挑战”（Sci-Fi-London 48-Hour Challenge），也就是说，像上次一样，影片必须在48小时内制作完成，并且需要遵循特定的提示。

“48小时”这个限制条件值得一提，因为Sharp和Goodwin这次更加放手：他们让AI系统（他们称之为Benjamin）来处理电影的整个制作过程。

不死之本杰明

在48小时倒计时开始时， Sci-Fi-London的制片人对“Zone Out”作出提示

像2016年时一样，他们的短片也有一系列的要求。(上图是2018年电影的要求。)这一次，他们想让Benjamin用这些数据来运行。

Sharp在接受采访时表示，为了在48小时内让Benjamin完成对这部短片的“创作、导演、表演和配乐”，他们在没有任何人为干预的情况下，开始了电影节的前期策划工作。这意味着要给Benjamin增加额外的任务。他们计划让Benjamin做以下事情：将公共领域的电影片段拼接起来，把两人的真人演员数据库替换到那些片段中，插入语音来朗读Benjamin的剧本，然后给电影配乐。

这一切都是在写剧本的过程中完成的，这个过程自Benjamin在2016年的实验后一直在改进。AI写剧本仍依赖于LSTM（长短期记忆）神经网络。

Zone out的工作人员承认，各种神经网络解决方案在48小时的期限内只能很好地完成面部渲染工作。

为了训练Benjamin，Goodwin给这个AI输入了几十部他在网上找到的科幻电影剧本——大部分是上世纪八九十年代的电影。Benjamin将它们分解到字母级，学习预测哪些字母倾向于连在一起，哪些单词和短语倾向于一起出现。与马尔可夫链相比，LSTM算法的优势在于它可以对长得多的字母串进行采样，因此它更擅长预测整个段落，而不仅仅是预测几个单词。LSTM还擅长生成原始的句子，而不是从语料库中剪切和粘贴句子。随着时间的推移，Benjamin学会了模仿剧本的结构，创作舞台指导和生成格式良好的台词。

《Zone Out》的剧本，就像《阳春》一样，在空洞的废话和有感情的台词之间摇摆不定——老实说，它并不逊于一部科幻佳作。（取自影片中对话的一个例子，听起来像是Benjamin对他的主人的批评：“你为什么不告诉我……你说的是真的吗，人类将能够对人类施与更强烈的破坏吗？”这一次，剧本中奇怪的、不像人类会说的对话被AI自动化的许多其他电影制作任务放大了。

在制作过程中，Sharp和Goodwin努力寻找公共领域的电影片段，这个过程有一些障碍。不仅仅是版权问题；他们想要的电影片段必须包含大量的镜头，而且演员必须面对镜头，以便Benjamin可以更容易地剪切和插入任何内容。Sharp和Goodwin在深入研究公共领域的电影数据库并咨询律师后，选定了两部电影:《地球上最后一个人》（The Last Man on Earth）和《不死之脑》（The Brain That Wouldn't Die）。

换脸技术

这部电影最引人注目的地方是它对换脸技术的依赖，从而将现有的电影改编得符合Benjamin的意愿。在流行文化中，换脸已经成为一个非常热门的话题，尤其是奥巴马被换脸的视频在网络上疯传之后。尽管如此，这项技术的局限性还是很明显的，特别是有时间限制因素影响的时候。Zone Out的制作团队在分析演员托马斯·米德迪奇(Thomas Middleditch)、伊丽莎白·格雷(Elisabeth Gray)和汉弗莱·克(Humphrey Ker)的预录视频时也遇到了计算时间太长的问题。

在定格形式下，换脸的效果看起来相当不错

也可能像这样

头被安在盘子上

时间紧迫的影响在最终的产品中很明显。Sharp 也承认计算能力的限制阻碍了团队对产品美观的设想。两人最初想用Tacotron的一个开源版本来使用自己的录音对话和样本合成语音；人类演员念了大量的对话，Benjamin会在适当的时候自动插入这些对话。但事实证明，这在计算上成本太大，超出了时间限制，于是两人仍然使用合成语音。

当镜头只有一张侧向的脸时，换脸效果很糟糕

图中，Thomas Middleditch的脸被贴在一名没有对话的演员身上

同样的问题也出现在换脸和面部操控系统上。 Sharp说：“我们最终不得不承认，这部电影的配音很糟糕。”因为生成对抗网络和开源版本的face2face这些工具只能在规定的时间内获得“初稿”一样的面部渲染结果。

这三位演员是换脸内容的来源

值得称赞的是，两人的一个最初计划进行得相当顺利：利用基于Jukedeck平台的完全由机器人编曲的配乐。“系统分析了剧本的情感内容，”Sharp说。其结果是一段钢琴音乐，有助于分散人们对Zone Out奇怪的声音合成的注意力。

下一个目标

自动化过程中最大的失败来自于试图使用一个不同的AI系统，一个卷积神经网络，用于自动选择公共领域电影片段的过程。“剧本中没有足够的对象描述符，也没有足够数量的唯一对象，”Sharp说，这意味着自动编辑系统缺乏足够的数据。在这一点上， Sharp和Goodwin很谨慎地遵守AI作为“导演”的决定，选择电影场景、拍摄长度和演员安排。

“编辑Jono Chanin和我的工作假定这就是Benjamin试图讲述和编辑的故事，同时也严格遵守 Benjamin的剧本，”Sharp说，“所以在这里，出现了一些人类的解释，尽管我希望把它们彻底清除。这仍然是我们的下一个目标。”

的确，尽管这部电影的结局（以及影片中糟糕的声音合成）很奇怪，但它也包含了相当多有感情的镜头，尤其是当Benjamin的剧本与公共电影片段中一对夫妇痛苦地决斗的镜头一致时。更高的计算效率和更精确的数据分析工具可能能够使这种48小时的电影制作在未来成为现实。

Sharp显然也没有放弃尝试。他说：“在这个实验之后， Ross已经发现了一些他认为可以帮助我们进行完全自动化编辑的新技术，非常令人兴奋。”