首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Coldplay×BTS:《My Universe》AR全息投影舞台的虚实解构!

大热节目《美国之声》(The Voice)季终集的一大亮点是,BTS防弹少年团通过全息投影的方式,跨越太平洋与Coldplay“合体”表演热单《My Universe》。

合体舞台的策划早在节目数月前就已展开,由Coldplay Creative、Dimension Studio和虚拟制作机构All Of It Now (AOIN)共同完成。其中Dimension Studio拍摄了BTS乐队成员的原始镜头,AOIN团队则负责让想象成真。

可视化预览

舞台上的Coldplay成员和The Voice现场观众都看不到BTS防弹少年团,只有通过屏幕观看节目才能看到。为此,AOIN通过与(LD)Sooner Routhier合作,在舞台上使用特定的落地灯来帮助Coldplay主唱Chris Martin确定BTS出现在舞台上的时间和位置。

“我们大量使用可视化预览(previsualization),让Coldplay了解每一时刻背后的创意顺序,并向The Voice导演展示哪些类型的镜头效果良好,以及应该规避哪些镜头。”AOIN团队介绍。

AOIN团队收到来自The Voice团队的3D舞台配置,能够将表演者置于The Voice舞台的3D成像中。这一过程启用了关键的可视化预览,Coldplay Creative团队甚至可以在进入工作室之前测试AR表演者的配置、跟踪区域、过渡时间和摄像机遮挡。

AOIN能够将3D舞台和摄像机动线提取到虚拟引擎Unreal 中,用7台AR摄像机创造真实世界比例的精确图像,以便Coldplay可以预先知道每个时刻中哪些BTS成员是可视的,哪些摄像机可以精准捕捉这些时刻。因此可视化预览成为将这些时刻传达给所有相关人员的最佳方法。这种可视化预览对于充分利用有限的现场时间至关重要,还有助于将所有技术和创造性工作变得可以共同理解并且可以共享。

技术挑战

Dimension Studio提供了可全息处理的BTS原始捕捉视频,有两种格式,一种是Alembic序列,另一种是使用Microsoft针对Unreal Engine4.27.1的SVF插件的特殊mp4导出。由于同时播放7个Alembic序列的数据速率很高,因此选择mp4方法作为首选方法,AOIN和Dimension团队都在创意效果和序列方面取得了进展。

使用mp4方法需要克服一些技术挑战。UE4的当前SVF插件无法将mp4录音正确地跟踪为时间码。这需要AOIN和Microsoft合作重写SVF插件代码的元素,以便BTS表演者与舞台上的Coldplay保持同步。

体三维捕捉(volumetric capture)的原始录制视频在使用时的另一个挑战是BTS表演以24 FPS录制以匹配音乐视频帧速率,但 The Voice 是以 29.97 FPS 的速率制作和播放。将 24 FPS混合到29.97输出中会造成一些口型同步上的问题,不过AOIN能够在后期制作中解决这些问题。

现场部署

除了制作这场表演外,The Voice团队还在积极制作该赛季的剩余节目。这意味需要围绕 The Voice的现有演出和制作时间表安排和协调现场的各个方面,制作周期非常紧凑。该AR系统的安装依赖于几个不同的安装阶段:在演播室中为摄像机跟踪系统安装跟踪贴纸、绘制跟踪区域、为AR应用校准7个摄像机镜头、与The Voice团队一起排练和摄像机遮挡表演,然后最后在舞台上与Coldplay一起排练AR表演,这一切都要在7天内完成。在快节奏的电视制作计划中部署和校准7个AR摄像头并非易事,但在The Voice制作团队的帮助和支持下,AOIN团队能够顺利完成校准和安装。

“EIC Jerry Kaman在整个过程中的支持和监督对于这个项目的成功至关重要”,AOIN首席执行官Danny Firpo说, “这个安装过程通常是大多数项目出错的地方,但Jerry对The Voice制作计划的了解和经验、以及引入额外摄像机的建议,是这个过程如此成功的原因。”

AOIN与Stype及其Red Spy Fiber摄像机跟踪系统合作,并增强了2台已用于制作的Jib摄像机,然后用5台专用AR摄像机进行补充,即使在The Voice拍摄时也可以校准跟踪摄像机的另一个片段。

能否在巡演“复制”这一现场?

如果Coldplay想在即将到来的巡演中重现这一“合体”现场,技术难度有多大?

“体三维捕捉视频的好处在于它确实使这些内容在更多节目中更‘便携’,而且我们之前有过在巡演中使用AR技术的经验。我们是首批为BTS ‘2019 Love Yourself, Speak Yourself ’巡演提供AR制作的公司之一。”AOIN介绍,“最困难的部分是AR相机校准过程,这可能很耗时,没有一颗强心脏不建议浅尝。但如果有适当的计划部署,完全可以做到。”

但在目前的技术手段,巡演现场的观众并不能看到全息投影的内容。“这就是我们为什么说IMAG屏幕在体育场级节目中扮演非常重要的角色,观众可以在IMAG屏幕上观看表演内容。同样地,为了增加The Voice现场观众的体验,我们与制作部门合作‘指导观众’以响应关键的AR时刻,就好像BTS真的在舞台上一样。”

标准IMAG和AR feed之间的延迟通常为5-7帧。这种延迟在体育场表演中通常是可以接受的,因为PA到体育场后方的延迟通常可以匹配此AR工作流程产生的额外延迟。“对于The Voice节目,在播出时,我们能够延迟标准摄像机输入以匹配AR输入的延迟,这使得导播更容易在AR和非AR摄像机之间进行切换。也就是说,这是我们在流程早期与创意和技术方进行对话,以确保我们与预期保持一致,并制定策略来解决这种增加的延迟。”AOIN总结道。

AOIN团队部分成员

科幻电影与现实的距离,是每一个幕后人向前奔跑的目标。

制作团队

Coldplay Creative 团队

Coldplay Creative总监:Phil Harvey

制作设计师兼联合创意总监 :Misty Buckley

视觉内容主管:Sam Seager

灯光设计师:Sooner Routhier

项目创意经理:Grant Draper

屏幕导演:Joshua Koffman

视频设计师:Leo Flint

屏幕内容创建:NorthHouse Creative

AOIN现场团队

执行制片人:Danny Firpo

制作经理:Nicole Plaza

技术总监:Berto Mora

高级UE4技术美术:Jeffrey Hepburn

高级AR工程师:Neil Carman

AR工程师:Preston Altree

体三维捕捉工作室:Dimension, London

执行制片人/联合导演:Simon Windsor

销售/客户总监:Yush Kalia

制作主管:Adam Smith

制片人/技术总监:Sarah Pearn

高级首席三维技术美术:Adrianna Polcyn

动画师:Ben Crowe

CG灯光美术:Marcella Holmes

Jump Studio(SK电讯),首尔

副总裁,元界公司负责人:Jinsoo Jeon

副总裁,元界开发负责人:khwan Cho

执行制片人:Sung Yoon Baek

业务发展:Taekeun Yoon

制作人:Minhyuk Che

舞台监督:Gukchan Lim

The Voice 团队

执行制片人:Amanda Zucker

EIC - Jerry Kaman 导演:Alan Carter

监督编辑:Robert M. Malachowski, Jr.,

ACE后期制作主管、副总监:Jim Sterling

助理编辑:Joe Kaczorowski

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20220411A0815B00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券