什么是体积视频？

来源：YouTube 主讲：Kooboto - Creative VTuber Researcher 内容整理：周凯 本文介绍了体积视频（Volumetric Video）的解释，创建体积视频所需的设备，并给出了具体的用例。

目录

• 体积视频释义
• 用例
  • Unity Metacast
  • Chelmico Easy Breezy
  • Filmmaking / Demonic
  • Google Immersive Light Field Video
• 总结

体积视频释义

体积视频在三维空间中捕捉实时画面，并且将其转换为 3D 模型，该模型可以放置在任何 3D 环境中，如虚拟现实环境，元宇宙或者增强现实等。在消费级别，捕获体积视频可以只包括一个深度相机，在生产级别，这可能包括大量的相机，几十台或上百台相机指向目标场景，并且有相同数量的深度相机用于捕捉深度信息，进一步生成点云。将所有的数据进行融合，从而可以得到体积视频。

深度传感器类似激光雷达，通过测量红外激光反射回来所需要的时间，计算点在 3D 空间中的位置，从而生成点云，这在一些设备上是非常容易的。例如某些 iPhone 型号上的前置摄像头就配备了红外深度相机，它使用与激光雷达不同的网格方法构建 3D 模型，一些 vtuber 使用苹果 AR 套件可实现更准确的面部跟踪。雷达已经出现了接近 50 年，并应用于科学和政府方面，但随着时间的推移，深度传感技术已经成为了创新媒体体验的工具。2008 年，radiohead 发布了仅使用点云可视化的纸牌屋音乐视频，自 2010 年以来，开源社区黑客和开发人员帮助开放了微软的硬件设备驱动，使得微软的设备可以用于各种实验，以创建自己的体积内容。

用例

体积视频仍然处于起步阶段，用例围绕特定需求展开。一个例子是营销和广告，当涉及到复杂的摄像机移动时，这些项目通常需要专门的设备，精心策划的镜头和重新拍摄的空间。体积视频的另一种用途可能是用于培训和教育，例如医疗保健，它可以为医生与患者远程互动开辟新途径。在医疗领域，体积视频和表演短片也已经显示出其增长和潜力。

Unity Metacast

2021 年 10 月，Unity 推出了一个 3D 引擎 metacast，用于提供实时体育内容。观众，教练员或裁判员可以选择从任何角度甚至从运动员自己的角度观察整个赛事。然而，体积视频的优势不仅仅在于 3D 捕捉，它还引入了操纵最终模型的能力，一旦将所有数据拼接在一起，就可以添加骨架，调整网格，重新定位四肢，头部，面部等，并对用户的交互做出反应。

Chelmico Easy Breezy

Chelmico 的音乐视频演示了体积视频如何将现场人类舞蹈编排与风格化的 3D 编辑巧妙地混合在一起，并且可以不受限制地重新调整单个表演的用途。虽然音乐视频的体积捕捉是由 4D views 和 crescents 4D 工作室完成的，但他们的现场直播表演是在佳能的川崎体积视频工作室捕捉的，而且世界各地都有体积捕捉工作室，这可以带来一些有趣的创意合作。

Filmmaking / Demonic

体积视频也可以成为电影制作整个场景的有力工具，可以用于拍摄，然后在后期制作中决定取景相机的运动和光照条件。在 Neil blumkamp 的 2021 年电影恶魔中，他使用了体积视频作为一种直观的表示来模拟世界，使用了超过 300 台 4K 相机，纯粹依靠视频进行体积捕捉，推断 3D 信息的过程仅来自视觉数据，这带来了挑战。目前，体积捕捉的质量与电影或高清视频的质量不能相提并论。只要技术不断进步和发展，人类总会找到新的和创造性的方式将现实世界带入数字世界。最终，虚拟将变得与现实无法区分。

Google Immersive Light Field Video

Google 的沉浸式光场视频技术引入了一种交互方式，可以自由查看超过 180 度的体积视频。它还可以让你改变视角，看到物体背后的峰顶，或在反射中看到不同的角度。这种沉浸式为视频内容增加了一个新的深度和视差水平。

总结

在一个充满 3D 引擎虚拟制作的世界中，体积视频真正意味着什么？它的真正含义是保持真实感。想象一下能够以全 3D 的形式记录您所爱之人的确切举止和微妙的面部表情；想象在虚拟现实中探索童年的家，看着回忆在面前上演；想象体验一场真正的音乐会，从任何角度来看舞台；想象下一代实时流媒体，其中聊天可以选择任何角度观看。虽然体积视频只是冰山一角，但看到这种思维方式将如何影响未来的视频内容以及随之而来的内容，将是令人兴奋的创造精神。

最后附上演讲视频：

http://mpvideo.qpic.cn/0b2e64aaeaaazianoscgefrfb56dal3qaaqa.f10002.mp4?dis_k=d641874f19f94b0aa3fc20390d9141cd&dis_t=1649676561&vid=wxv_2335673789227040769&format_id=10002&support_redirect=0&mmversion=false