虚拟歌手亮相央视元宵晚会，揭秘背后的科技力量

hello，大家好，我是张张，「架构精进之路」公号作者。

2022 虎年央视元宵晚会的舞台效果太美了，在视觉表现、科技创新上做了诸多尝试，科技与传统文化相得益彰，高科技让传统年味更浓。

《Time to shine》节目中，在舞台上虚拟歌手洛天依与摩登兄弟刘宇宁，合唱了由洛天依原唱的冬奥优秀音乐作品，冰晶闪耀的梦幻舞台上，显得梦幻，而且充满活力。

提到洛天依可能大部分人都不太熟悉，其实大有来头的~

洛天依（Vsinger虚拟歌手），女，7月12日出生，是以雅马哈公司的VOCALOID3语音合成引擎为基础制作的虚拟形象，中国内地女虚拟歌手，上海禾念信息科技有限公司旗下虚拟艺人。

其实这不是央视元宵晚会黑科技应用的首创了，早在去年央视春晚时候在《牛起来》、《莫吉托》等节目中，以及今年的冬奥会开幕式表演中，也采用了大量虚实结合的黑科技来演绎实现科技感十足的舞台。

《牛起来》在舞台上与王一博、关晓彤默契互动的刘德华 其实并不在现场，而是通过“云录制”而出现在舞台上。三人一同上演，时空穿插起来毫无违和，同时伴随灵活的机器牛写“福”字、跳踢踏舞，科技感十足。

周杰伦一曲《莫吉托》，把舞台“搬”到海滨城市，使人物、道具跟虚拟场景互动和结合，让我们看到周杰伦带着乐队，开着粉色飞车与观众共享夏日风情。

一系列美轮美奂的舞台互动效果，不禁让人惊叹：这究竟是什么“黑科技”，效果太真实了吧!

这其实是来自未来的黑科技：XR 技术。

一、XR 技术是什么？

XR 延展实境（Extended Reality）不仅覆盖了完全现实和完全虚幻之间的光谱，更能让这些技术统称为一个内容范围。

也有人根据扩展现实（XR）是“由计算机图形和可穿戴设备生成的所有真实和虚拟环境”的定义，简单来说，扩展现实（XR）就是 VR/AR/MR 三者的交集。

XR=VR/AR/MR

VR（虚拟实境）

模拟现实强调营造虚拟世界，让用户与真实世界隔绝。

VR 虚拟现实（Virtual Reality），具体指的是利用电脑模拟三维空间，通过感官模拟一种沉浸感和临场感，就像把人带到一个虚拟的仿真世界。

不过，要是单纯的影像内容，就和看普通 3D 电影没什么差别；所以虚拟现实 VR 内容和传统 3D 影像的区别在于人与影像内容的互动感。

AR（扩增实境）

增强现实强调在真实世界中叠加信息。

AR 增强现实（Augmented Reality），说简单点，就是在真实空间里植入虚假内容，把虚拟信息（物体、图片、视频、声音等）映射在现实环境中。

VR 是带你精神穿越，AR 则是高楼林立的现实中，再现海市蜃楼。

MR：混合实境

合并现实和模拟世界，产生新的可视化沉浸式交互环境。

MR 混合现实（MediatedReality），倒可以直接看作是 VR/AR 结合体，因为它指的是合并现实和虚拟世界后产生的新可视化环境。举个简单的例子，下班回家的你，戴上 MR 设备看暴力美剧，施瓦辛格会跳出传统屏幕，在你眼前吹胡子瞪眼，甭管你移动到哪，他都只对着你演。

二、实现原理

在《牛起来》演出过程中，刘德华演唱场景采用了 XR 技术，其作用是制造极强的空间感。为了配合 XR 技术，一共营造了四个虚拟建模场景，刘德华在榫卯结构的传统建筑上放歌，在礼盒搭建的魔幻空间里劲舞，在年年有“鱼”的陪伴下遨游，最后和现场演员同台互动。

其实现的原理大概是这样的：

1）以 3D 拍摄技术，用三块 LED 屏，构建一个三维的虚拟空间，大概这个样子：

2）现场通过摄影机跟踪系统，实时提取演员的位置数据，放在三维空间里，再通过 VR 渲染，就呈现出动态虚拟的 3D 画面了；

3）那王一博、关晓彤通过看到屏幕的画面，就可以沉浸式和华仔进行互动。

那观众看到的就是现实+虚拟结合在一起的一台节目了。

XR 技术原理部分参考：hecoos 虚拟制作系统(https://www.bilibili.com/video/av373696347)

三、未来设想

目前这个阶段，仅仅实现了用户视觉的感官体验，其实 XR 还要实现听觉、触觉、嗅觉、味觉的 3D 体验，终极目标就是仿制完全以假乱真的虚拟场景。

一旦 XR 推广普及开来，很多行业都会得到颠覆式的改变：如 XR+，XR+教育、XR+游戏、XR+工业制造业、XR+医疗等等。

虽然我们对这个风口的到来充满期待，目前应用范围已经逐渐被拓宽，技术也愈加成熟。但是它还不会那么快地到来，主要原因在于：

1）技术上：目前芯片的算力还跟不上；

2）网络上：5G 可能还达不到网络信号传输的要求；

3）培训体系：相关人员技术培训体系有待完善等。

以上几项都将推动XR技术逐步走向成熟，你是否期待 XR 技术时代的到来呢？