Arcturus on Volumetric Videos

来源：80lv 主讲人：Piotr Uzarowicz 内容整理：王秋文 在这篇采访中，主讲人主要介绍了 Arcturus 公司所开发的集成平台 HoloSuite。该工具可以对捕获后的三维模型进行缩放、编辑和处理以满足实际的艺术或生产需求。此外，主讲人还表达了自己对体积视频未来发展的看法。

目录

• HoloSuite 简介
• 体积视频介绍
• HoloSuite 功能及特点
• 落地场景
• 未来媒体发展

HoloSuite 简介

Arcturus 所创建的 HoloSuite 平台是世界上第一个对体积视频进行编辑和分发的后处理平台。这项工作目前正处于沉浸式媒体下一阶段变革的前沿。该平台综合了体积视频的编辑和像用户传输流两项主要功能。Arcturus 不仅因这项工作而受益，而且也推动着体积视频能够落地于实际生产中。

体积视频介绍

体积视频使用三维信息来记录视频，合成出的是真实场景的照片，也就是说视频中的人并不是 CG 模型，而是由一组相机环绕真实人体拍摄得到的三维图像。这项技术可以适应于 VR/AR 等空间体验中，也可能在未来可以直接集成到实时的场景捕获和虚拟制作中。体积视频可以作为 VFX 处理的基础之一，并可以提供用户在后处理中调整模型的物理表现。

与传统的二维媒体相比，体积视频向观众提供了从三维观察世界的方法。主讲人认为体积视频这种三维的表现形式对于人们来说更自然，可能会在很多年后替代传统媒体，而目前则作为传统二维媒体的补充，在如游戏、电影、销售等行业给予更加沉浸的新颖体验，掀起新的浪潮。

HoloSuite 功能及特点

HoloSuite 平台内主要包含两个产品：HoloEdit 和 HoloStream，除此外 Arcturus 也在继续开发完善越来越多的其他工具。

HoloEdit用于体积视频的最终剪辑和后期处理。体积视频是三维的，因此熟悉三维动画工具的人可以更快速的掌握全息工具的使用。HoloEdit是一个非线性编辑器。在编辑工程中可以对需要编辑的对象进行三维旋转，并从任意的视角进行观察，也因此在计算时相应地增加了复杂度。此外，三维数据的文件大小很大，处理过程也很复杂，因此开发团队尽可能简化了使用工具进行处理的流程，将部分元素设为自动化取值，以减少重复性工作，例如：在应用某项处理时，可以在整个数据集上全局应用，而不要逐帧修改；可以将不同的视频序列混合成一个更长的序列，对不同的镜头进行混合和配准。同时，HoloSuite 具有修复伪影、几何重排等独特的功能。在三维模型的来源方面，HoloEdit没有进行限制，几乎可以引入世界上所有捕捉系统的文件。HoloEdit 主要面向对基于网格的模型，而对于以点云形式捕捉的系统，点云文件可以转换为网格后再进行处理。

HoloStream 是一个专门对处理好的文件进行压缩和分发的传输工具，这也是目前市面上的唯一一个自适应流解决方案，依据使用者的网络和设备状况。HoloSuite 中一个引人注目的功能就是可以在后期制作中操控模型的物理表现，将用户所需要的物理动作在三维模型上表现出来。这一功能的重要意义在于可以直接在处理中更改模型的动作等物理特征并合成视频，而不需要重新录制。一个更重要的功能就是可以使用 HoloEdit 使体积视频中的人与观众进行互动，这一功能在其他平台中还没有出现，并可以提高观众在媒体中的主动性。与其他的如 maya、unity 等三维处理及渲染平台相比，HoloSuite 最大的特点就是它专门针对体积视频而开发，包含很多提升体积视频处理简便性的插件，可以极大提高用户的体验。

图1 操纵模型物理性质示意图

落地场景

这项技术目前引起了人们广泛的关注和兴趣。目前在许多体育直播中已经使用了类似的技术，人们也可以在电子购物时三维查看他们的商品，并进行交互。在近几年许多公司不能进行产品的当面宣传的情况下，三星等公司开始使用体积视频。Arcturus 与三星进行了合作，对韩国男团 BTS 成员创造了三维模型，并通过体积视频向他们的粉丝提供线上的见面体验。

Arcturus 的产品会受到一定的商业驱动，而目前很多的合作方向是在娱乐产业方面，例如多年前其与 BillBoard合作为麦当娜制作了全息模型。在目前的基础上，在未来可以创立一个全息的线上音乐会，其中表演者是一个在观众客厅中的全息图，他可以与观众进行交流，并由观众选择所希望表演的曲目。

图2 线上全息音乐会制作示意图

Balancigia在秋季发布了一个游戏版本的T台秀，而这样的展示将比举办一个真实的T台秀节约更少的经费。这个例子也说明很多公司正在使用三维模型在他们的店铺、广告等地方。

未来媒体发展

主讲人认为在未来几年中会出现 VR/AR 与体积视频相融合的娱乐项目。而在 AR 领域最重要的需求则是对可穿戴设备进行简化，这也是目前所有该领域科技公司正在关注的事情之一。当 VR/AR 设备简化到方便每个人都能进行体验时，媒体行业会爆发新的变革浪潮。

最后附上演讲视频：

http://mpvideo.qpic.cn/0bc3hyaakaaaoiaasucm7zrfapwdau7aabia.f10002.mp4?dis_k=127db572c5bb6121e1b7fcebd277bac8&dis_t=1649676865&vid=wxv_2341407828399456256&format_id=10002&support_redirect=0&mmversion=false