扒一扒9.3阅兵直播如何采用虚拟现实技术

虚拟现实技术是一门新兴技术，应用十分广泛。在去年的世界杯和今年的春晚的直播节目，我们都可以发现虚拟演播室的镜头。阅兵结束了，大家是否发现北京电视台也采用了虚拟演播室技术？

在阅兵直播中，主持人一边解说，虚拟的武器装备就会在他身边出现，生动形象的向观众展示了我军装备的威武雄壮，这可比干巴巴的文字或者图片描述有趣多了。

什么是虚拟演播室技术？它可以说就是增强现实技术的一个子集。它同样涉及到增强现实中如何将虚拟的元素和真实的场景叠加在一起的问题。细微的差别在于，虚拟演播室是将画面呈现在电视的屏幕上，增强现实则是让最后的画面呈现在用户的眼睛里。

因此，它的技术重点与增强现实大同小异：

第一是如何能够精确地定位真实的场景； 第二是如何能够渲染出虚拟的元素； 第三是如何实时地将虚拟的元素叠加在真实的场景上，然后返回到视频流中。

在这里，最难的是如何将虚拟元素和真实的元素进行叠加。

摄像机一旦运动，真实的场景和虚拟的元素都必须同步配合这个运动。电视摄像的帧率是50FPS，也就是说，引擎需要每20ms就渲染出一帧，这是一个相当高的要求。所以，系统内就应该要包括摄像头的工作状态，包括位置和视角等等，虚拟引擎才能够渲染出相对应的画面。

相应的可以推出虚拟演播室的系统流程：

第一步的工作是采集摄像机的工作状态信息，最重要的是摄像机的位置和它与真实场景的相对关系；然后将这些信息传送给图形工作站。 第二步则是依此得到前景物体与摄像机之间的距离和相对位置，从而计算出虚拟元素的大小、位置，并渲染生成虚拟元素。如果虚拟元素涉及到虚拟人物（比如世界杯节目里的虚拟球员，或者春晚上的阳阳），则往往还要涉及到动作捕捉系统：用真人的动作实时的驱动虚拟角色的动作，然后呈现出来。 第三步，虚拟演播室系统会将主持人的实时画面地与计算机产生的虚拟元素集成在一起，构成一个现实中不存在的场景，并且实时向观众进行广播。

一般而言，这里会采用我们在电影花絮中常见的绿幕来遮盖一切我们不想让它出现在最后画面中的场景元素，在专业中，这叫做“色键”。然后计算机会将相应的颜色全部抠掉，将虚拟场景集合上去，最后就呈现出我们这次会在阅兵直播中看到的，威武雄壮的导弹发射车出现在主持人的旁边。

随着增强现实技术日臻成熟，虚拟演播室正在逐渐成为一种主流的演播室节目制作手段，而且已经能够成熟地运用在商业直播中。

不过增强现实本身，还有很长一段路要走——因为消费者意义上的增强现实眼镜要解决三个很多虚拟演播室所没有的困难。

首先，虚拟演播室是在一个有控制的场景中应用。有专门的设备采集摄像机的位置和场景本身的位置，而增强现实眼镜则需要在大范围内应用，这就需要时下计算机视觉中非常火热的技术领域SLAM（实时场景测量与建模）来帮助增强现实眼镜“看到”并且“理解”周围的环境。为了解决这个问题，Google开发了Project Tango项目。

其次，移动的VR眼镜所可能具备的计算能力要远远小于虚拟演播室技术中的商业级别工作站。所以其在高帧率下渲染虚拟元素的能力必然远远不如虚拟演播室，增强现实眼镜的虚拟画面必然不会像虚拟演播室那样丰富和逼真。

最后，增强现实眼镜的画面最终是要投射到用户的视网膜中。所以想要符合人体的视觉系统特质，显示装置要具备的能力会大大不同于普通的屏幕：让人感觉到虚拟与现实的融合，显示屏需要与人眼球的焦点匹配显示虚拟元素的能力，目前只有微软的HoloLens让人信服地展示了这一种能力，而他们使用的是全息显示屏。

不得不提，在今年E3微软的发布会上，微软使用了虚拟演播室的技术展示了HoloLens最终可以达到的效果——这个发布会上的可能是目前虚拟演播室能达到的最好效果。微软同样使用了复杂的摄像机追踪技术，展示了HoloLens的增强现实，征服在场的观众。

在视频网站等新型视听媒体的冲击下，国内外的传统电视媒体压力骤升。为守住电视媒体的固有优势，不仅在节目形式上不断地推陈出新，而且在制作的技术手段上也不断尝鲜。也许在电视台的推动下，虚拟演播室的技术将高速发展。所以，2019年举办的大阅兵融入增强现实会是怎样的，观众可以使用虚拟现实的方式身临其境吗？让我们拭目以待吧！