48小时封镜!这是一部完全由AI制作的科幻电影


新智元编译

来源:arstechnica

编译:肖琴

【新智元导读】在伦敦科幻电影节的“48小时电影挑战”,导演Oscar Sharp和AI研究员Ross Goodwin带来一部全部制作过程由AI导演的实验性影片《Zone Out》。影片采用“换脸”技术,使用神经网络生成的对话和配音等,整个制作过程都由被称为Benjamin的AI进行处理。而作为一部科幻片,其结果相当不错。

两年前,一部名为Sunspring(中译《阳春》)的奇怪短片举行了在线首映式,这个短片最引人注目的地方在于,它的整个剧本都是由AI写的。在以特别严肃的方式表演完结局之前,电影的真人演员们嘲笑了奇怪的计算机生成的对话和舞台指导。

那部电影的制作二人组合,导演Oscar Sharp和AI研究员Ross Goodwin回来了,带来另一个由人工智能导演的实验性影片。表面上看,这部影片显然更烂。新电影名为 Zone Out,影片中充满了模糊的面孔,电脑生成的对话和尴尬的场景变化。这部电影参与了伦敦科幻电影节的“48小时电影挑战”(Sci-Fi-London 48-Hour Challenge),也就是说,像上次一样,影片必须在48小时内制作完成,并且需要遵循特定的提示。

视频内容

“48小时”这个限制条件值得一提,因为Sharp和Goodwin这次更加放手:他们让AI系统(他们称之为Benjamin)来处理电影的整个制作过程。

不死之本杰明

在48小时倒计时开始时, Sci-Fi-London的制片人对“Zone Out”作出提示

像2016年时一样,他们的短片也有一系列的要求。(上图是2018年电影的要求。)这一次,他们想让Benjamin用这些数据来运行。

Sharp在接受采访时表示,为了在48小时内让Benjamin完成对这部短片的“创作、导演、表演和配乐”,他们在没有任何人为干预的情况下,开始了电影节的前期策划工作。这意味着要给Benjamin增加额外的任务。他们计划让Benjamin做以下事情:将公共领域的电影片段拼接起来,把两人的真人演员数据库替换到那些片段中,插入语音来朗读Benjamin的剧本,然后给电影配乐。

这一切都是在写剧本的过程中完成的,这个过程自Benjamin在2016年的实验后一直在改进。AI写剧本仍依赖于LSTM(长短期记忆)神经网络

Zone out的工作人员承认,各种神经网络解决方案在48小时的期限内只能很好地完成面部渲染工作。

为了训练Benjamin,Goodwin给这个AI输入了几十部他在网上找到的科幻电影剧本——大部分是上世纪八九十年代的电影。Benjamin将它们分解到字母级,学习预测哪些字母倾向于连在一起,哪些单词和短语倾向于一起出现。与马尔可夫链相比,LSTM算法的优势在于它可以对长得多的字母串进行采样,因此它更擅长预测整个段落,而不仅仅是预测几个单词。LSTM还擅长生成原始的句子,而不是从语料库中剪切和粘贴句子。随着时间的推移,Benjamin学会了模仿剧本的结构,创作舞台指导和生成格式良好的台词。

《Zone Out》的剧本,就像《阳春》一样,在空洞的废话和有感情的台词之间摇摆不定——老实说,它并不逊于一部科幻佳作。(取自影片中对话的一个例子,听起来像是Benjamin对他的主人的批评:“你为什么不告诉我……你说的是真的吗,人类将能够对人类施与更强烈的破坏吗?”这一次,剧本中奇怪的、不像人类会说的对话被AI自动化的许多其他电影制作任务放大了。

在制作过程中,Sharp和Goodwin努力寻找公共领域的电影片段,这个过程有一些障碍。不仅仅是版权问题;他们想要的电影片段必须包含大量的镜头,而且演员必须面对镜头,以便Benjamin可以更容易地剪切和插入任何内容。Sharp和Goodwin在深入研究公共领域的电影数据库并咨询律师后,选定了两部电影:《地球上最后一个人》(The Last Man on Earth)和《不死之脑》(The Brain That Wouldn't Die)。

换脸技术

这部电影最引人注目的地方是它对换脸技术的依赖,从而将现有的电影改编得符合Benjamin的意愿。在流行文化中,换脸已经成为一个非常热门的话题,尤其是奥巴马被换脸的视频在网络上疯传之后。尽管如此,这项技术的局限性还是很明显的,特别是有时间限制因素影响的时候。Zone Out的制作团队在分析演员托马斯·米德迪奇(Thomas Middleditch)、伊丽莎白·格雷(Elisabeth Gray)和汉弗莱·克(Humphrey Ker)的预录视频时也遇到了计算时间太长的问题。

在定格形式下,换脸的效果看起来相当不错

也可能像这样

头被安在盘子上

时间紧迫的影响在最终的产品中很明显。Sharp 也承认计算能力的限制阻碍了团队对产品美观的设想。两人最初想用Tacotron的一个开源版本来使用自己的录音对话和样本合成语音;人类演员念了大量的对话,Benjamin会在适当的时候自动插入这些对话。但事实证明,这在计算上成本太大,超出了时间限制,于是两人仍然使用合成语音。

当镜头只有一张侧向的脸时,换脸效果很糟糕

图中,Thomas Middleditch的脸被贴在一名没有对话的演员身上

同样的问题也出现在换脸和面部操控系统上。 Sharp说:“我们最终不得不承认,这部电影的配音很糟糕。”因为生成对抗网络和开源版本的face2face这些工具只能在规定的时间内获得“初稿”一样的面部渲染结果。

这三位演员是换脸内容的来源

值得称赞的是,两人的一个最初计划进行得相当顺利:利用基于Jukedeck平台的完全由机器人编曲的配乐。“系统分析了剧本的情感内容,”Sharp说。其结果是一段钢琴音乐,有助于分散人们对Zone Out奇怪的声音合成的注意力。

下一个目标

自动化过程中最大的失败来自于试图使用一个不同的AI系统,一个卷积神经网络,用于自动选择公共领域电影片段的过程。“剧本中没有足够的对象描述符,也没有足够数量的唯一对象,”Sharp说,这意味着自动编辑系统缺乏足够的数据。在这一点上, Sharp和Goodwin很谨慎地遵守AI作为“导演”的决定,选择电影场景、拍摄长度和演员安排

“编辑Jono Chanin和我的工作假定这就是Benjamin试图讲述和编辑的故事,同时也严格遵守 Benjamin的剧本,”Sharp说,“所以在这里,出现了一些人类的解释,尽管我希望把它们彻底清除。这仍然是我们的下一个目标。”

的确,尽管这部电影的结局(以及影片中糟糕的声音合成)很奇怪,但它也包含了相当多有感情的镜头,尤其是当Benjamin的剧本与公共电影片段中一对夫妇痛苦地决斗的镜头一致时。更高的计算效率和更精确的数据分析工具可能能够使这种48小时的电影制作在未来成为现实。

Sharp显然也没有放弃尝试。他说:“在这个实验之后, Ross已经发现了一些他认为可以帮助我们进行完全自动化编辑的新技术,非常令人兴奋。”


原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-06-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CreateAMind

人工智能任务的分类 (智力发展简单梳理)

为了实现AI-Complete(AI-Hard,AI完全)问题,我们需要一些测量方法,最著名的测量方法当属图灵测试。一个可以解决AI完全问题的机器应该在必要辅助...

1584
来自专栏CreateAMind

博士这五年 (非常值得学习!)

王威廉:根据我的观察,CMU优秀博士生的一个共同特点就是自己主导研究,推着(push)导师走,而不是被导师催着干活。不论是早期的李开复,后来的沈向洋,还是现在年...

1502
来自专栏AI科技大本营的专栏

论机器翻译之浅薄

翻译 | shawn 编辑 | 波波、费棋 【AI科技大本营导读】尽管机器翻译明显玩不转备受期待的长篇内容,但我们得承认,在快速获知单词含义层面,它确实为人们...

2766
来自专栏AI研习社

谷歌大脑是如何炼成的:万字无删减版全解密(下)

唯物按:如果说到在机器学习领域领先的公司,一定不能忽略谷歌。从谷歌翻译到从机器视觉,谷歌一直努力将机器学习应用于可能想象的任何地方。文章从技术、制度、思想演变三...

3154
来自专栏量子位

还没通关“猜画小歌”?击败谷歌AI的秘籍在此

不是因为这家公司要被欧盟罚款50亿美元,而是因为Google首款微信小程序“猜画小歌”:跟AI玩我画你猜的小游戏。

952
来自专栏大数据文摘

10个巨大的科学难题需要大数据解决方案

1324
来自专栏AI科技评论

干货 | 十条学术写作生产力法则

科学研究需要向不同的受众传达新的、令人激动的新发现。而书面交流对于一个想要取得成功的科研人员来说是至关重要的,毕竟,我们都必须写出高水平的文章来获得学位的毕业资...

482
来自专栏华章科技

10大科学难题,唯大数据能提供解决方案

在劳伦斯伯克利国家实验室的超级计算中心,我领导国家能源研究科学计算中心NERSC的数据和分析小组。在这个角色上,我追踪需要大数据分析来解决的前沿科学问题。超过6...

863
来自专栏大数据文摘

北大物理学院欧阳颀院士:成为科学家的五大要素

18510
来自专栏九彩拼盘的叨叨叨

《程序员健康指南》读书笔记

对于一个程序员,往往长期面对电脑,久坐不动,缺少运动,不合理的饮食习惯,熬夜等等。这些不良的生活习惯,往往导致程序员健康出现一些问题,如颈椎病,背部疼痛,腕管综...

632

扫码关注云+社区