从自嗨式的独舞到群体式的狂欢，你需要的只是一部低成本MR视频
从自嗨式的独舞到群体式的狂欢，你需要的只是一部低成本MR视频
VR元年的十月，VR大小事不断。在十月初的OculusConnect 3，我们不无“意外”的看到了Facebook CEO马克·扎克伯格的身影。这个于2014年斥20亿美元的巨资收购Oculus VR的人不仅亮相OC3大会，还公开谈论了其对VR的当前未来的理解和看法。随后的13日，索尼PS VR终于开发销售，销量好到日本的小伙伴连跑十几家店都被告知“sold out”。
随着Oculus、HTC和索尼三大厂的VR硬件相继出货，VR似乎正不断的从小众极客圈扩展到普通游戏圈。虽然官方售价仅为2999人民币的PS VR在一定程度上降低了人们使用和体验VR的门槛，但VR仍然停留在使用者单独的独舞和自嗨上，以旁观者的视角来看不外乎两个字：智障。例如↓
玩着高大上的VR黑科技，却被人以为是智商，这就有点尴尬了。如此降低用户体验的事，VR硬件厂商自然深受重视，比如HTC在其官方宣传片中就已不动神色的解决了这个问题。（欲知答案，请戳视频）
好吧答案揭晓，HTC给出的解决方案其实就是MR（Mixed Reality）视频。
VRPinea科普课堂之MR（MixedReality）视频
MR（Mixed Reality）视频是指VR影像+人的影像合成的视频，从技术层面来说就是将绿幕抠像技术与虚拟现实内容制作相结合，实现VR内容与体验真人的视频混合输出。简单来说（敲黑板！），就是可以直接看到真人在虚拟空间中体验的场景。
以HTC Vive官方宣传片为例，视频主要画面为官方赠送的《The Lab》系列中的射箭游戏，而游戏者的画面则是由由一台摄像机配合第三只实体Vive手柄实时捕捉的。
HTCVive宣传片截图
因为人像摆放的位置、透视关系、玩家在虚拟场景中的位置以及映射坐标都一样，所以不难看出摄像机拍摄画面中的第三只手柄的位置，和游戏画面中虚拟手柄的位置是完全一样的，看起来就像体验者身临其境走进了一个虚拟世界，并用双手借助实体手柄直接和游戏虚拟环境互动。
相比屏幕画面和体验者实拍分屏显示的视频，MR视频更直观，更适合用来制作VR应用的宣传视频、产品评测等。而对于线下体验店和展会来说，MR视频也是个不错的引流方式。
指挥家VR的Build-in MR Live-内置混合现实直播
除了HTC的官方宣传视频，小编发现指挥家VR也于近日发布了一段MR看房视频，他们将这个新功能称为Build-in MR Live-内置混合现实直播。
值得注意的是，指挥家VR还实现了抠像人物在虚拟空间中的景深效果。具备景深的MR视频让体验者无论是从哪个角度看，都像是真正置身于虚拟三维空间之中，避免了“纸片人”的尴尬。
关于MR视频，其实并没有你以为的那么复杂
科普至此，相信大家对逼格满满的MR视频有了一定的概念和了解，那么MR视频究竟是如何制作的呢？其实并没有我们想象中的那么复杂。
相比普通录制，MR视频需要购买第三只Vive控制器，也就是切换成第三人称视角。通过连接usb延长线再配合游戏目录下特殊设定的配置文件，使得某些基于Unity引擎开发的虚拟现实应用自动开启混合现实拍摄模式（四分屏画面）。
而第三只Vive控制器和游戏里的虚拟摄像机映射后，就可以定位摄影机的位置，产生虚拟空间的画面。
拍摄体验者的游戏画面，再利用现实中摄影机拍摄游玩的画面抠像后，在开源的直播软件 OBS(Open Broadcaster Software) 下进行即时合成（将游戏画面和摄像机影像合成），得到的就是MR视频了。
需要注意的是，指挥家VR的Build-in MR Live的制作原理和上述几近一致，但其是针对虚幻引擎进行了专门的二次开发，将绿幕技术内置入UE4中。对此，VRPinea就指挥家VR在制作Build-in MR Live中的一些细节问题，采访了其CEO曾子辕。采访实录如下，悉数放出，以飨读者。
Q:我们发现Build-in MR Live是针对UE4而非U3D的一个MR直播，这个具体是怎么实现的呢？
A:UE4里思路一样的，但U3D需要分图层输出，然后用外部软件做叠加合成。我们内建的意思就是在UE4中直接合成，包含正确的前中后景。
Q:那你们是如何解决移动过程中打光和光源跟随等问题？
A:打光和移动光源还是大问题，我们是靠顶光来压阴影，然后把输出图像的亮度均匀化处理，输出的图层在UE中也能接受虚拟的光源信息。这样处理能够稍微好一点点，但效果也没办法做到影视级别的光源跟随。
但好处是都是用民用设备，而且不需要任何外部软件或者操作，直接就能看到MR效果，而且前中后景是正确的
Q:你们用几台相机或者摄像头来完成这个MR直播的制作？
A:一台啊，也可以多台。绑定手柄的，可以移动，但固定机位效果最好。
Q:在大空间的情况下，也能实现这个MR直播吗？
A:当然可以啦。拍摄的人跟着跑就行，就是对环境要求更高了，得绿幕加顶光。
跟随拍摄，多个机位也行的。
写到最后小编发现，MR视频（直播）是解决VR从“一人独”享到“多人分享”最行之有效的办法。而且其制作成本不高，用曾子辕的话说就是：“不需要任何外部软件或者操作，民用设备完全可以做到”,但还是需要相关专业技术的加持才能完成。从“智障”到科技大片的主角，从自嗨式的独舞到群体式的狂欢，all you need只是一部MR视频。
