48小时封镜!这是一部完全由AI制作的科幻电影


新智元编译

来源:arstechnica

编译:肖琴

【新智元导读】在伦敦科幻电影节的“48小时电影挑战”,导演Oscar Sharp和AI研究员Ross Goodwin带来一部全部制作过程由AI导演的实验性影片《Zone Out》。影片采用“换脸”技术,使用神经网络生成的对话和配音等,整个制作过程都由被称为Benjamin的AI进行处理。而作为一部科幻片,其结果相当不错。

两年前,一部名为Sunspring(中译《阳春》)的奇怪短片举行了在线首映式,这个短片最引人注目的地方在于,它的整个剧本都是由AI写的。在以特别严肃的方式表演完结局之前,电影的真人演员们嘲笑了奇怪的计算机生成的对话和舞台指导。

那部电影的制作二人组合,导演Oscar Sharp和AI研究员Ross Goodwin回来了,带来另一个由人工智能导演的实验性影片。表面上看,这部影片显然更烂。新电影名为 Zone Out,影片中充满了模糊的面孔,电脑生成的对话和尴尬的场景变化。这部电影参与了伦敦科幻电影节的“48小时电影挑战”(Sci-Fi-London 48-Hour Challenge),也就是说,像上次一样,影片必须在48小时内制作完成,并且需要遵循特定的提示。

视频内容

“48小时”这个限制条件值得一提,因为Sharp和Goodwin这次更加放手:他们让AI系统(他们称之为Benjamin)来处理电影的整个制作过程。

不死之本杰明

在48小时倒计时开始时, Sci-Fi-London的制片人对“Zone Out”作出提示

像2016年时一样,他们的短片也有一系列的要求。(上图是2018年电影的要求。)这一次,他们想让Benjamin用这些数据来运行。

Sharp在接受采访时表示,为了在48小时内让Benjamin完成对这部短片的“创作、导演、表演和配乐”,他们在没有任何人为干预的情况下,开始了电影节的前期策划工作。这意味着要给Benjamin增加额外的任务。他们计划让Benjamin做以下事情:将公共领域的电影片段拼接起来,把两人的真人演员数据库替换到那些片段中,插入语音来朗读Benjamin的剧本,然后给电影配乐。

这一切都是在写剧本的过程中完成的,这个过程自Benjamin在2016年的实验后一直在改进。AI写剧本仍依赖于LSTM(长短期记忆)神经网络

Zone out的工作人员承认,各种神经网络解决方案在48小时的期限内只能很好地完成面部渲染工作。

为了训练Benjamin,Goodwin给这个AI输入了几十部他在网上找到的科幻电影剧本——大部分是上世纪八九十年代的电影。Benjamin将它们分解到字母级,学习预测哪些字母倾向于连在一起,哪些单词和短语倾向于一起出现。与马尔可夫链相比,LSTM算法的优势在于它可以对长得多的字母串进行采样,因此它更擅长预测整个段落,而不仅仅是预测几个单词。LSTM还擅长生成原始的句子,而不是从语料库中剪切和粘贴句子。随着时间的推移,Benjamin学会了模仿剧本的结构,创作舞台指导和生成格式良好的台词。

《Zone Out》的剧本,就像《阳春》一样,在空洞的废话和有感情的台词之间摇摆不定——老实说,它并不逊于一部科幻佳作。(取自影片中对话的一个例子,听起来像是Benjamin对他的主人的批评:“你为什么不告诉我……你说的是真的吗,人类将能够对人类施与更强烈的破坏吗?”这一次,剧本中奇怪的、不像人类会说的对话被AI自动化的许多其他电影制作任务放大了。

在制作过程中,Sharp和Goodwin努力寻找公共领域的电影片段,这个过程有一些障碍。不仅仅是版权问题;他们想要的电影片段必须包含大量的镜头,而且演员必须面对镜头,以便Benjamin可以更容易地剪切和插入任何内容。Sharp和Goodwin在深入研究公共领域的电影数据库并咨询律师后,选定了两部电影:《地球上最后一个人》(The Last Man on Earth)和《不死之脑》(The Brain That Wouldn't Die)。

换脸技术

这部电影最引人注目的地方是它对换脸技术的依赖,从而将现有的电影改编得符合Benjamin的意愿。在流行文化中,换脸已经成为一个非常热门的话题,尤其是奥巴马被换脸的视频在网络上疯传之后。尽管如此,这项技术的局限性还是很明显的,特别是有时间限制因素影响的时候。Zone Out的制作团队在分析演员托马斯·米德迪奇(Thomas Middleditch)、伊丽莎白·格雷(Elisabeth Gray)和汉弗莱·克(Humphrey Ker)的预录视频时也遇到了计算时间太长的问题。

在定格形式下,换脸的效果看起来相当不错

也可能像这样

头被安在盘子上

时间紧迫的影响在最终的产品中很明显。Sharp 也承认计算能力的限制阻碍了团队对产品美观的设想。两人最初想用Tacotron的一个开源版本来使用自己的录音对话和样本合成语音;人类演员念了大量的对话,Benjamin会在适当的时候自动插入这些对话。但事实证明,这在计算上成本太大,超出了时间限制,于是两人仍然使用合成语音。

当镜头只有一张侧向的脸时,换脸效果很糟糕

图中,Thomas Middleditch的脸被贴在一名没有对话的演员身上

同样的问题也出现在换脸和面部操控系统上。 Sharp说:“我们最终不得不承认,这部电影的配音很糟糕。”因为生成对抗网络和开源版本的face2face这些工具只能在规定的时间内获得“初稿”一样的面部渲染结果。

这三位演员是换脸内容的来源

值得称赞的是,两人的一个最初计划进行得相当顺利:利用基于Jukedeck平台的完全由机器人编曲的配乐。“系统分析了剧本的情感内容,”Sharp说。其结果是一段钢琴音乐,有助于分散人们对Zone Out奇怪的声音合成的注意力。

下一个目标

自动化过程中最大的失败来自于试图使用一个不同的AI系统,一个卷积神经网络,用于自动选择公共领域电影片段的过程。“剧本中没有足够的对象描述符,也没有足够数量的唯一对象,”Sharp说,这意味着自动编辑系统缺乏足够的数据。在这一点上, Sharp和Goodwin很谨慎地遵守AI作为“导演”的决定,选择电影场景、拍摄长度和演员安排

“编辑Jono Chanin和我的工作假定这就是Benjamin试图讲述和编辑的故事,同时也严格遵守 Benjamin的剧本,”Sharp说,“所以在这里,出现了一些人类的解释,尽管我希望把它们彻底清除。这仍然是我们的下一个目标。”

的确,尽管这部电影的结局(以及影片中糟糕的声音合成)很奇怪,但它也包含了相当多有感情的镜头,尤其是当Benjamin的剧本与公共电影片段中一对夫妇痛苦地决斗的镜头一致时。更高的计算效率和更精确的数据分析工具可能能够使这种48小时的电影制作在未来成为现实。

Sharp显然也没有放弃尝试。他说:“在这个实验之后, Ross已经发现了一些他认为可以帮助我们进行完全自动化编辑的新技术,非常令人兴奋。”


原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-06-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

总理自掏腰包购买,会33国语言小翻译机成国礼

【新智元导读】当地时间7月7日上午,第七次“16+1”领导人会晤在保加利亚举行,李克强总理应邀到访。在人工智能产品区域的科大讯飞展台,两位总理用翻译机进行了有趣...

530
来自专栏大数据文摘

大数据小说 | 如何用一小时看透一个初识的姑娘

1223
来自专栏吉浦迅科技

肠子里的两万个同盟军:GPU 如何协助诊断消化道异常情况

在1966年经典科幻片《神奇旅程》(Fantastic Voyage)里,一队医生和一艘太空时代的潜水艇缩小了尺寸,注射进一名受伤的科学家体内,企图清除脑部血块...

2576
来自专栏机器人网

看懂了这些机械动图,再复杂的机构原理也难不倒你了

1、涡轮增压 Turbo Charger ? 大家可能会觉得涡轮增压装置非常复杂,其实并不复杂,涡轮增压装置主要是由涡轮室和增压器组成。首先是涡轮室的进气口与发...

2705
来自专栏大数据文摘

格灵深瞳出手,灵异视频告破

3169
来自专栏LET

学生初体验

来荷兰已经将近一个月,整体上还算比较适应,学习和生活都在慢慢规律起来,今天就简单介绍一下学习方面的内容。

2623
来自专栏AI科技大本营的专栏

全网首发|如何不费吹灰之力就搞懂大脑的运行原理?这是有史以来最深入浅出的一篇科普文章了(《Neuralink》编译系列二)

昨天,我们全网首发了Tim Urban所撰写的,关于马斯克新公司Neuralink的科普文章的第一部分。 不过,那仅仅是个开胃汤,真正的热菜还没端上桌。 今...

36712
来自专栏mathor

仰望星空与物理学之三

当你仰望星空时,你可能回想到这些科学知识:“我们现在看到的星光也许是几十万年前发出来的,只是现在才传过来而已。”“月亮不会发光,它反射了太阳的光。”可是光是什么...

642
来自专栏ATYUN订阅号

【深度学习】遗憾算法系列2:囚徒困境与纳什均衡

本系列的第二个博客是介绍纳什均衡(Nash Equilibrium)和遗憾匹配(Regret Matching)如何走向平衡。这是为本系列的最后一篇文章作准备,...

3425
来自专栏架构师小秘圈

为什么说英语是一个码农成熟的标志?

作为在中国工作的程序员,不懂得英语似乎也不妨碍找到好工作,升职加薪。但程序员这个工种则稍有不同,因为程序,尤其是高级语言,基本上都是由英语 和数字表达式构成的。...

40411

扫码关注云+社区