【揭秘】复联中的灭霸原来是这么设计出来的!

票房屡创新高,观众好评如潮,《复联3》可谓是当下最热门的电影。作为漫威系列电影第一段的终结,迪士尼和漫威公司在这部电影上豪赌一把,76个漫威角色齐聚一堂。然而汇集了各宇宙超级英雄的情况下,灭霸却成了当仁不让的主角,稳稳不动地占据了各个版本海报的C位。

作为复联中最最强大的反派,灭霸在这部剧中拥有毁天灭地的战斗力,把各路超级英雄摁在地上摩擦,一个响指就能让宇宙中一半的生命消失。除了惊人的超能力,灭霸更是凭借饱满的人设以及演员赋予角色的丰富色彩征服了无数观众。

然而,如此精彩的人物如果没有特效团队的黑科技作为支撑,就只能沦为五毛特效的街头霸王。外行看热闹,内行看门道,你知道特效场景是如何渲染的?演员动作是如何同步的?丰富的面部表情如何捕捉的吗?接下来就将为大家揭秘灭霸的实现过程。

在电影中灭霸的角色主要是由Digital Domain完成,总计涉及400多个镜头。他们与Weta一起处理了泰坦之战。像灭霸和奇异博士,蜘蛛侠,Mantus以及钢铁侠等等的打斗。

视效总监和Digital Domain团队为这部电影开发了一套新的面部管线流程。在电影中我们可以发现灭霸在屏幕上出现的时间有40分钟,如果灭霸的角色处理不好,将严重影像整部作品的视觉感和叙事。所以,漫威在拍摄前的三四个月的时候就找到了Digital Domain(DD)做了大量的测试和开发工作。

开始制作前的测试

测试阶段是导演与灭霸原型扮演者乔什·布洛林一起进行讨论如何制作,其中涉及3-4个镜头。然后DD把这些拍摄的非电影故事脚本素材和灭霸放到Throne室内设置中,以完全渲染和最终质量镜头序列。

测试序列是在Principle Photography(为预制作和后期制作而拍摄的一些原理性的阶段)第一天由DD准备完成。测试展示了可通过管线进行低级别关键表演。从测试中可以清楚的看出,从灭霸的数字面部上仍然会读取一些细小和更多获知的选择。因为灭霸这个CG角色在电影中很大,所以对于乔什·布洛林来说非常适合。测试解决了是否能用布洛林微妙的面部表演作用在比他还要大的角色上的问题。

在测试后的18个月后,制作团队通过不断的迭代和在制作过程中掌握的技巧,进一步改进了这个过程。

On Set

尽管有后期动画,但仍然有90%的动作捕捉是通过拍摄完成的,其中把运动捕捉相机和传感器嵌入到精心设计的设置中。所有演员穿着身体动捕服装都将被数字化替换。需要额外的元素让全身捕捉相关联的地方,团队会在之后的动画制作中匹配他的身体表演。

对于面部,演员们戴着头盔相机装置(HMC)以48FPS的高清分辨率进行立体拍摄。包括布洛林在内的每一位演员都会在脸上做追踪标记点,然后以数字方式重建。

灭霸表演原型演员乔什·布洛林

一旦剪辑建立起来,团队就得到了动作捕捉、面部捕捉和胶片拍摄的时间码。然后开始追踪面部。直到该管线与许多制作中建立的最相似级面部管线匹配上。这个过程中DD对于如何处理素材和输入数据进行了创新。如何创新的呢?这里我们详细说说。

Digital Domain这个使用了两个全新的系统,即Masquerade和Direct Drive两种软件工具处理面部动画。 这两种工具协同工作根据演员的现场表演创建了灭霸高质量的面部动画构建。

立体头部相机提供了布洛林面部的低面数网格重建。DD要解决的是尝试用这些低分辨率网格解决一组FACS AUs(面部肌肉运动单元的编码),同时要将管线低分辨率网格插入到高分辨率网格上。这过程使用了一款新的软件叫Masquerade。Masquerade是一款用于面部捕捉智能转换的专有应用程序,它使用机器学习算法,可以将低分辨网格转换成高分辨率网格,与使用高质量高分辨率采集设备所捕捉的保真度是一样的。

说到底其实DD从头盔相机系统中获取到帧,然后通过人工智能输出高分辨率数字版本的演员面部,非常的精准。Masquerade使用机器学习依据之前在Medusa扫描收集的高分辨率追踪数据,将HMC动捕阶段采集的150个面部数据点转换为大约40000点的高分辨率3D演员面部运动数据。

也就是说Masquerade之前用高分辨率扫描收集的数据进行过训练。然后通过机器自己学习到的内容,将实践中动捕采集的低分辨率网格会自动的转变为高分辨率网格。当然完事没有完美的,它也会出错。不过,出现错误了,制作团队就会进行修正,然后将其反馈到机器学习算法中。这也是“机器学习的过程”,所以修正反馈的数据越多,Masquerade在解决下一个案例时精度会越高。

尽管如此智能,但从完全技术角度讲,Masquerade还不是完全意义上的一个神经网络或者平时常见的那种AI电脑视觉方式,它只是一个局部空间的基础功能。是查找空间缺失进行插补。比如获取的低分辨率网格经常缺失的皱纹或者眼角的鱼尾纹,然后他会在这些地方进行添补。

在上面的测试中,可以看到女演员脸部上的图像标记(点)产生相当平滑或低频率的网格,然后利用包括皱纹在内的更多细节来增强该网格,以产生高分辨率的最终输出

这种方式在这次的《复联3》中得到广泛应用,并证实其误差率非常低,计算量也很少,占用内存也少。

这种整体方法解决了FACS方法的一个基本问题,即组合AUs(运动单元)的非线性组合效应。 通过这种方法,Digital Domain拥有了真实的数据,可以从美国亚特兰大培训数据Medusa对象中的表情之间移动到他们为复联建造的Medusa平台。一旦团队有一个高分辨率的运动匹配演员布洛林,就可以重新将布洛林定位到3D 灭霸。

DD管线中第二个新的流程是Direct Drive。Direct Drive从Masquerade中获取数据并将其转移到目标生物体上。通过创建演员和生物体之间的映射,将布洛林变为灭霸。DD曾经在《美女与野兽》中用过,并因此获得成功。

这个映射包括定义参与者与角色之间的对应关系,包括每个独特解剖结构的不同元素如何对齐。 Direct Drive然后找出将布洛林的独特脸部表演转移给灭霸独特脸部的最佳方式。

Direct Drive与直接重定向有什么不同呢? 它不依赖于脸型设计来创造角色的最后动作,不是选择布洛林的脸部,依据基于FACS的绑定进行解决最终的表演。他们将布洛林网格的帧与数字灭霸网格之间的对应关系映射到一起,然后将这个解决方案解算回动画绑定,以便动画设计师可以对其进行修改和调整。这与正常过程相反。

这也是DD添加一定级别动画输入的关键阶段,以确保表演尽可能准确地刻画角色,以符合导演要求。这个过程的主要目的是为了动画输入。虽然也是表演的直接转移,但灭霸面部不同的头骨和形状意味着动画团队提供布洛林最初在onset阶段表演精髓至关重要。

灯光和着色

因为电影中有很多特写灭霸的面部镜头。所以灭霸的模型细节必须达到毛孔级别的细节。制作团队用在摄影测量扫描的布洛林面部细节,用ZBrush对灭霸模型进行更加细致的雕刻。

Emmm,DD的渲染都使用了V-Ray。这里主要面临的挑战是要保证每个镜头保持皮肤颜色都要正确。看过电影的小伙伴知道,灭霸的皮肤颜色是那种类似淡紫色的。如果太过紫色,那就像卡通了。所以控制好力度很重要。

为了更加真实。制作团队还考虑了灭霸脸部的胡茬,以及血液流动的问题。胡茬是模仿了人类的发茬和绒毛感。至于血液流动,因为考虑到着色问题,所以在这一期的版本中没有更多使用。

对于眼球制作团队开发了一个超精细的模型。DD之前对眼睛有过很久的研究,模拟了眼睑周围大量数据,眼部组织以及皮肤在这个区域起皱的数百种形状,模拟眼睛的湿度,结膜以及眼睛的薄层组织等等。

Weta部分

Weta和DD一起为灭霸开展的Look-Development工作。但从绑定到渲染的解决方案两个公司都不同,Weta的管线是建立在标准的FACS上,最后的灭霸是在Weta的Manuka渲染器渲染的。最后Weta一共完成了200多灭霸镜头,以及其他250多正常特效镜头。

Weta对布洛林进行了扫描,从这些扫描中他们建立了一个FAC绑定,模拟了脸部的肌肉并达到导演想要的微妙水平。他们的方法专注于使肌肉系统高度准确,以便它能够匹配脸部的微小运动,从而准确地提供详细的表演。

Weta团队建立了自己独特的FACS模型。然后将数字布洛林的肌肉与他们制作的数字灭霸相匹配。然后给布洛林傀儡做动画。当动画达到与真人演员表演一致的时候,再把它转移到灭霸的脸上调整一些细微的小东西。在转移动画过程中,还叠加了一些其动画和表情。

因为演员与灭霸脸部形状的不同,如果直接映射的话,有些表情达不到想要的细节。此外Weta没有用任何肌肉模拟工作,我们看到的都是关键帧动画。因为肌肉模拟的话,灭霸的脸部有点像果冻。

对于灭霸的下巴处理,DD和Weta双方进行了详细的处理意见交换。详细的观察了演员布洛林嘴部动作,如何让嘴唇正确读取面部嘴唇的漏斗形状和起皱形状。

除了灭霸之外,Weta团队还必须为其他角色制作人物动画,这些动画还包括大量的破坏模拟,烟雾,火焰和爆炸。

好了,灭霸的制作知识点就这么多,小伙伴们都看懂了吗?期待未来中国也能拥有这么强大的特效技术,制作出更多优秀的电影。

原文发布于微信公众号 - 钱塘大数据(qtbigdata)

原文发表时间:2018-05-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏DT数据侠

爬取了252家酒店的数据后,我发现了热门旅游城市酒店的秘密

外出旅游,酒店一定会占据一大部分开销。哪些酒店的价格是合理的?这个价格配得上它的地理位置么?这个价格和它对应的服务匹配么?数据侠 Johnnie 以纽约的酒店为...

1522
来自专栏镁客网

逼近临界点?“史上最大屏手机”小米Max下周揭晓

1954
来自专栏玉树芝兰

文科生如何高效学数据科学?

看似无边无际、高深难懂而又时刻更新的数据科学知识,该怎样学才更高效呢?希望读过本文后,你能获得一些帮助。

1601
来自专栏我是攻城师

Google 自然语言处理更进一步,可直接回答复杂问题

2916
来自专栏机器之心

美国参众两院议员中有28名罪犯?亚马逊AI人脸识别系统遭质疑

今年 5 月,亚马逊因为将 Rekognition AI 服务出售给美国地方警察而引起了争议,美国公民自由联盟(ACLU)一直要求该公司停止授权政府部门使用这项...

861
来自专栏大数据文摘

制作信息图的“核心信条”

1927
来自专栏玉树芝兰

白话开题报告写作

我让自己的研究生看了许多关于研究方法的书籍,并且要求写读后感。他们写读后感的时候一个个都很明白,真正到做开题报告就又糊涂了。

984
来自专栏大数据文摘

视频详解Google和MIT新算法:滤掉遮挡物

25010
来自专栏新智元

12年来最大飞跃!黄仁勋发布史上最强GPU,世界首个实时光线追踪新一代图灵架构

【新智元导读】刚刚,英伟达CEO黄仁勋在SIGGRAPH 2018上大秀肌肉,推出世界首个实时光线追踪GPU,基于图灵架构,这是自2006年以来GPU实现的最最...

742
来自专栏量子位

全程中文!谷歌发布机器学习速成课,完全免费(附视听评测)

全球AI第一大厂Google推了新课程! ? Google今天上线了一个“机器学习速成课程”,英文简称MLCC。用他们自己的话来形容,这个课程节奏紧凑、内容实用...

3725

扫码关注云+社区

领取腾讯云代金券