今年春晚不一样，XR技术如何打造移步换景

一、概述

不知道大家发现没有，相比前几届春晚，《2021年春节联欢晚会》的视觉效果可谓焕然一新，很多节目都可以看到新科技的东西，比如AR、XR、电影特效技术等将现实舞台上无法完成的效果精彩呈现，融通虚拟空间与现实世界。

相对于一般的AR场景，今年春晚作品在AR创作上更为复杂、精细。而XR技术打造了多场景及空间转场变化，让观众有移步换景、身临其境的沉浸式体验。加之电影特效技术的运用，为电视机及电脑、手机前的观众带来一场突破感官体验的惊喜之旅。

很多人已经听过AR技术，它是一种现实增强技术。不过相比于AR技术，很多人或许还没有听说过XR技术。

简单来说，XR是“扩展范围（extended-range）”的缩写。未来，人类的交互方式将由2D交互向更具效率的3D交互转变。3D视觉交互系统则取决于虚拟现实（VR）、增强现实（AR）和混合现实（MR）的发展，这些技术统称为“扩展现实”（XR）。

虚拟现实技术利用头戴设备模拟真实世界的3D互动环境；增强现实则是通过电子设备（如手机、平板、眼镜等）将各种信息和影像叠加到现实世界中；混合现实介于VR和AR之间，在虚拟世界、现实世界和用户之间，利用数字技术实现实时交互的复杂环境。

二、 VR\AR\XR简介

VR

虚拟现实技术（irtual Reality的英文翻译），其最终目标是试图通过虚拟（欺骗）人类所有感官的方式，将人沉浸的带入另一个世界。试图在虚拟世界中重塑物理定律，生化特性，充分发挥人的想象力，是创造一个新世界般世界的伟大工程。其未来发展可以用在塑造全新物理空间和互联网世界，扩展人对世界的别样体验。

虚拟现实技术有以下几个特点：

注重沉浸性

沉浸性说的就是用户在使用VR交互设备时，虚拟世界的代入感和设备的体验感能否让人感受到身临其境的感觉。我们已经在无数的影视文学作品和动漫中幻想过类似的场景，如《黑客帝国》《刀剑神域》《头号玩家》中一样，与真实世界难以分清的世界，才是一个合格的虚拟现实世界。但是受限于目前基础科学的技术水平，还做不到完全意义上的沉浸世界。

实现自然的人机交互

肉体感知能力的狭隘和虚拟世界的自由浩瀚是VR技术当前的发展主要矛盾之一。现在人们在探索通过外界机械设备来模拟在虚拟世界的交互反馈来试图解决这个问题，但虚拟世界中的物体感知很难做到与真实世界相同，凡是涉及力学反馈的（如重力影响的模拟和摩擦力反馈）几乎都无法实现，基本的抓取与触摸动作都无法实现真正的模拟。个人认为脑机接口才是未来的终极形态。因为人类只有抛弃繁重无用的肉体，才能拥抱完全意义的虚拟世界。

无限可能

虚拟的世界拥有着无限的可能，所以每个虚拟世界应该有自己独特的物理规律和世界观，这和我们生活的物理世界是不一样的。在真实世界中，发现与利用科学规律是人类生存和发展的根基，而虚拟世界中，想象力才是世界的根基，想象力到哪里，虚拟世界的未来边界就在哪里。在虚拟空间中每塑造一个新世界，就完成了一次上帝创世的过程。就像《刀剑神域》中的seed一样，虽然拥有着相同的开源代码，但不同的人，不同的公司，可以将它转变为属于自己的不同世界，正如一千个人眼中有一千个《哈姆雷特》一样，一千个人眼里就有一千种虚拟世界。

AR

增强现实技术（Argument Reality的英文翻译），是通过在现实世界中实时显示附加信息的方式，来增强人们对于真实世界的信息获取，其本质是人们对于实时信息获取的一种渴求。随着AR技术的发展，人们发现冰冷的附加信息不如将虚拟的信息和真实世界融合在一起，所以当AR技术发展遇到瓶颈之后，MR/XR技术应运而生。

AR技术的主要特点：

实时连接

AR技术也是伴随着3G 4G等通信技术的兴起而逐渐发展而来的互联网终端技术，所以其基本要求是实时联网，实时连接，能够为使用者提供快捷的信息服务。

信息桥梁

AR扮演的是真实世界和互联网世界的信息桥梁这一个角色，这主要通过附加信息的方式来实现。主要目标是为人类在生产生活中随时获取到增强信息，为人类提供更加快捷便利的信息获取方式。

遵循物理规则

AR仅仅是为互联网世界提供了一个输入输出接口，人在获取其增强信息的时候需要同时保证其自身安全，所以设计的时候需要考虑安全问题。

XR

混合现实技术（Mixed Reality的英文翻译）源自AR技术的延伸和发展，人们发现AR技术提供的冰冷的附加信息十分突兀且功能有限，一群天才科学家和极客们开始畅想将虚拟世界与真实世界整合到一起，MR技术随之而生。

较早实现MR商业化的企业是微软，于2015年1月22日发布了旗下第一代MR头盔HoloLens。通过复杂的光导系统将显示信息附加于真实世界的之上，通过TOF技术获取周围空间的三维数据并构件空间模型，在空间模型的基础上附加显示。（微软在XBOX的Kinect套件上获得了重要的技术积累）微软首先集成并实现了对真实世界的建模及信息附加的功能。

现在，我们可以看到苹果，谷歌，微软，华为等大型科技企业都在争夺这个全新的互联网入口。分别进行了大量的技术布局和探索。苹果建立了数千人的AR研发团队并开发了ARKit ；谷歌为安卓平台开发了ARCore，方便于安卓开发者 对其进行调用与开发；华为利用麒麟芯片内集成的强大的AI芯片开发了HUAWEI AR Engine系统，实现了运动跟踪、平面检测、光照估计、命中检测、手势识别、手部骨骼跟踪、人体姿态识别、人体骨骼跟踪等重要的AR基础功能。并且在2019年8月11日华为开发者大会上推出了Cyberverse（河图）虚实融合技术，为其MR技术的进一步发展打下了根基。

XR技术的遵循以下特点：

部分遵循物理规则

MR的最终目标是将虚拟世界和真实世界融为一体，而非是VR那样子的假冒世界，所以需要遵循真实世界的部分物理规则，使得人的感知器官能够很好的捕获附加的光学信息。

光的魔法

MR的核心技术在于如何将虚拟世界的物体，与真实世界的视觉相结合，而MR眼镜就是就是其中的桥梁，MR眼镜的光学组件将虚拟的信息叠加于真实的光照信息之上并共同输入人的眼睛中，让人类视网膜获取到的光子中既包含真实世界的光子，也包含虚拟世界的光子，二者相叠加，构成了全新的视觉世界。

让世界充满更多可能

不仅仅是遵循真实世界的轨迹，更可以脱离物理，来塑造一个全新的， 真实与虚幻相结合的世界。我们不仅仅可以通过MR技术随时获取到更多的信息，并且能够与虚拟世界中的元素进行实时交互，并且能够让虚拟元素融入我们的日常生活。

XR技术剖析

其实，XR技术也不是什么新名词，很多现实场景都可以看到它的影子。如地图的AR步行导航，SteamVR追踪器。众所周知，XR技术是一种融合AR、VR、MR技术的扩展显示技术，那XR技术是如何融合，又是如何在屏幕面前实现炫酷画面的呢？

XR场景技术框架包括由LED显示屏组成的拍摄场地、摄像机、物体位置追踪与定位技术、实时图形渲染引擎（AR技术）、高速低延迟的网络等几大元素组成，最后将加大元素组合的内容传输显示屏幕前，就成为炫酷的逼真的XR场景。其整体技术框架如下图所示。

XR场景的实现，首先将虚拟环境传输至现场的LED显示屏，采用物体位置追踪与定位技术对物体进行跟踪拍摄，并将素材传回至实时图形渲染引擎。与此同时，视频服务器则用本地化运行逻辑运算进行人物手势分析及图形渲染，输出立体的逼真的AR内容与拍摄素材交互呈现，而在屏幕前呈现的内容就是XR场景。值得注意的是，在现场还需要强大的网络支持，为实现XR低时延交互、全景视频等内容大带宽下发等提供强有力的支持。

可以发现，XR场景就是基于现实场景，与后台炫酷的AR内容进行结合交互而来的，所以XR技术被誉为AR、VR、MR技术的融合。

案例

案例1

上面是《只为梦中与你相遇》的一段场景，首次采用虚拟拍摄方式，把 XR工作流程与影视行业的工作流程相结合并实行最终内容的输出。短片现场无实景、无绿幕，实时渲染场景，而演员在LED屏幕所构建的空间中进行表演。在场景渲染上，XR扩展现实使用实时渲染引擎搭建拍摄场景，通过媒体服务器输出合成，运用摄像机追踪系统定位空间位置信息，实时映射人物与场景的空间关系，实时渲染技术将照片级别的动态数字场景，在LED屏幕上还原，并实时呈现并输出一个无死角的虚拟场景，最终形成具有XR场景的短片。

案例2

2020年1月10号，我国"奋斗者"号载人潜水器成功坐底马里亚纳海沟的重要时刻，中央广播电视总台央视新闻频道、央视新闻新媒体通过xR虚拟演播进行了同步科普讲解。用虚拟环境将 LED 屏幕之外的现实环境实时覆盖，并完成虚拟环境拓展的处理。详细地说就是，摄影机追踪系统 Mosys 的运用使得直播中的现场摄像机与虚拟摄像机始终保持一致与同步，并在 XR 虚拟演播室现场使用了1台 disguise vx4 媒体服务器，作为虚拟渲染引擎增强渲染和控制，而工作流程将 AR 技术带入环境之中，通过使用 Black Trax 动态追踪系统实时了解参演者和虚拟影像的位置，从而与 CG 内容更好的互动融合，给观众一种身临其境的体验，将视觉效果的传递提升到一个新的维度，与全国观众全景体验大洋10909米处的至深之蓝。

虽然XR技术才刚刚兴起，但目前应用范围已经逐渐被拓宽，技术也愈加成熟。随着小间距显示技术的进一步成熟，以及点间距的进一步下探，高清细腻且可以实现裸眼3D显示，并且随着5G网络的进一步落地，XR技术知名度的持续提升，以及相关人员技术培训体系的完善等，都将推动XR技术开始走向成熟。