未来交互，各种R你了解多少？VR/AR/MR/XR/CR

未来交互离我们还远吗？还是在等待一个时机，我觉得未来可以用“涌现”这个词。先说下 ”涌现“这个词，特别有意思。

在寒武纪声明大爆发的前十亿年，是无聊的十亿年，生物只有简单的应激反应。然而，临近寒武纪，出现了专门用于信息交流的神经细胞和弥散的神经网络。然后在很短的时间内，出现了寒武纪时期的动物大爆发。各种各样复杂的生命体开始涌现出来。

当4G流量变得便宜，中老年人机向智能机升级换代，催生出抖音、快手等。等5G流量变得更便宜，显卡大幅升级换代，会催生什么？本文为大家科普各种R是如何助力未来交互的，文章分为4部分：VR的发展、VR/AR原理机制、应用场景、交互的未来形式和瓶颈。

2016年——VR元年

VR开始进入大众视野，是在2016年。2016年春节回来之后，VR是井喷式增长的，跟别的风口不太一样，放佛一夜之间，全世界都在谈论VR。而且都是VR的会议、论坛、新品发布会、实体体验，其热度比起往年任何一个风口和行业都要多。

互联网巨头和硬件厂商的纷纷入局，各行各业开始接受VR来做体验方面的尝试，每家做互联网产品的公司，几乎都宣布跟VR产生关系，阿里推出了BUY+活动，腾讯上线了开放平台。爱奇艺、优酷和搜狐等等，开通了专门的VR频道。这真不是几家创业公司在小打小闹，而是整个行业在大闹一番，并推出了产品。

2016年 VR 行业十大重要事件

未来HTC、Oculus、Sony 三大头显相继发货 Google 推出 Daydream

微软 Windows10 支持 VR

深圳 Cardboard 眼镜出货疯狂

一体机总体销量惨淡

HTC Vive 开源定位技术

高端显卡市场的崛起

上半年资本泡沫，下半年资本寒冬

英特尔发布 Project Alloy

HTC 推出无限头显

各种机构争相推出VR研究

阿里巴巴成立 VR 实验室 Gnome Magic Lab，将发挥平台优势，同步推动 VR 内容培育和硬件孵化。

京东 VR/AR 实验室将结合虚拟试衣技术，做成与淘宝 buy+相似的 VR 试衣。

华为麦克斯·别雷克创新实验室将在新光学系统、计算成像、虚拟现实（VR）和增强现实（AR）领域开展联合研发。

中国科学院计算技术研究所虚拟现实技术实验室重点研究“虚拟人合成”和“虚拟环境交互”。

谷歌 VR 探索实验室 Daydream Labs 专注于 VR 体验的提升，覆盖硬件和应用领域，从易用性的角度探索虚拟现实的一切。

通用电气 VR 实验室借助虚拟现实技术，让团队直接从应用中预览开发中的产品，展示 3D 数据组或者 3D 虚拟原型。

三星 Creative Lab(C-Lab) 创意实验室研究包括从智能头盔到 Tamagotchi 等硬件和软件产品。

编程

美国军方应用

信息辅助、游戏应用

VR、AR到底在研究什么？

点击放大看看有没有你熟悉的产品和技术～

这一部分将涉及到很多VR、AR的原理及机制，香喷喷，慢慢啃。学习能力不强的崽这一块可以迅速划过（狗头）。

VR/AR概念

虚拟现实（英语：virtual reality，缩写VR），简称虚拟技术，也称虚拟环境，是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以即时、没有限制地观察三维空间内的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精确的三维世界视频传回产生临场感。该技术集成了电脑图形、电脑仿真、人工智能、感应、显示及网络并行处理等技术的最新发展成果，是一种由电脑技术辅助生成的高技术模拟系统。

增强现实（AR）是物理现实世界环境的直接或间接实时视图，其元素通过计算机生成的感知信息“增强”，理想地跨越多种感官形式，包括视觉，听觉，触觉，体感和嗅觉。叠加的感官信息可以是建设性的（即对自然环境是可加性的）或破坏性的（即掩盖自然环境），并且在空间上与物理世界相关联，使其被视为真实环境的身临其境的一面。

虚拟空间定位

1）虚拟/增强现实坐标系

2）空间锚点（spatial anchor）

3）虚拟空间定位

• HTC Vive: Light House

由两个基站构成，每个基站有一个LED阵列和两个互相垂直的激光发射器：

基站的工作状态是这样的：20ms为一个循环，在循环开始的时候红外LED闪光，10ms内X轴的旋转激光扫过整个空间，Y轴不发光；下10ms内Y轴的旋转激光扫过整个空间，X轴不发光。

扫描的FOV为120°，60Hz扫描频率。优势在于：需要的计算能力非常小。Lighthouse使用的仅仅是时间参数，那么它就不涉及到图像处理，对于位置的计算在设备本地就可以完成。其延迟也很小，定位精准。

4）其他定位技术

• 主动式光学定位（Oculus Rift）
• 被动式红外光学定位技术（OptiTrack）
• 体感摄像头（头戴Gear VR）
• 激光雷达
• RTKGPS（实时差分GPS技术）
• UWB（超宽带定位）
• SLAM（Simultaneous Localization and Mapping，即时定位与地图构建）
• 机器人在完全未知的环境中从一个未知位置开始移动，然后在移动过程中根据位置估算和自身传感器的数据进行不断的定位和修正，同时建造增量式的地图
• 全向跑步机

VR、AR视觉机制

1）视觉通路

一切从光开始，人眼可见波长为380-740纳米区间。

2）辐辏Vergence

获取深度信息，近视野D, 远视野B两眼移动至目标的方向叫Vergence。

3）调节Accommodation

为了看清目标，需要眼球调节至正确的焦距。

4）辐辏冲突（Vergence-accommodation conflict）

几百万年，辐辏和调节神同步，然而，HMD头戴显示器模拟的3d图像，会让双眼不停的做聚焦和辐辏运动，造成眼部肌肉疲劳。

5）立体视觉

两只眼睛看到的不同场景根据视网膜影像的不同进行补偿，构建的深度感觉。

上图是双眼视界horopter某特定固定物体上的点在响应的视网膜结构上所形成的轨迹。通过物体画一条线，这条线上所有的点在两个视网膜上都有相同的点。这样我们看到的物体就是一个单一的点。双眼视界是分别经过两只眼睛的转动中心和注视点的圆。

6）运动差异

近处的东西比远处的移动更快（应用：三维场景中的航行）。

7）隐藏和显示

在移动中，远处物体的删除和增强的速度会更快。

8）线性透视

平行线条间的距离越来越小。

9）立体透视

远处物体或场景与观察者之间的空气中有颗粒而发生的散射现象距离越远，则物体或者场景与其背景之间的对比度越小，并逐渐过渡到背景颜色， 被达芬奇称为“消失之透视”。

10）纹理渐变

远处物体从粗大变得细小和模糊。

头戴设备

一个典型的VR眼镜功能模拟，主要包括三部分：人眼、凸透镜、OLED成像屏幕。要做好完全符合人体结构，或者说尽量的去符合人体结构，至少有以下因素需要考虑：

• 人眼观察角度（也可以叫视场角，简称FOV，Field of View）
• 人双眼之间的距离（俗称瞳距，简称IPD，Interpupillary distance）
• 人眼到镜片的距离
• 镜片到屏幕的距离
• 屏幕成像的大小计算
• 屏幕成像的反畸变
• 屏幕成像的渲染帧率
• 屏幕的刷新延迟

除了这8点，还有其他更复杂的东西，例如自动对焦，运动模糊等。

VR的沉浸感从何而来？

1）视网膜成像原理

2）VR如何欺骗了眼睛呢？

答案是：凸透镜

通过该图，很容易得出一些结论：

• HMD不能漏光。一旦漏光，谈不上什么沉浸感了。
• 人眼到镜片最合适的距离，就是镜片的焦距稍稍往前。由此我们可以知道，镜片尽量设计到焦距够小（便于镜片覆盖眼睛）。
• 屏幕到透镜的距离，跟镜片的散射角度有关（参考一下蓝线倾斜即可）。
• 最理想的状态是，人眼观察角度与红线部分重合（基本上不可能达到理想状态，因为HMD是固定的，而人与人眼睛是不同的）。
• 对于一款HMD而言，合适的镜片至关重要，直接决定了HMD的最终质量。

3）一款足够牛逼的镜片需要重点关注哪些参数？

视场角（FOV）、符合人眼构造的成像系统、清晰度

人的水平双眼覆盖视角114度， 最大视野角200度， 垂直视野角度130度。

4）视场角（FOV）多少合适？

合理范围内，视场角越大越好。可以理解为：

• 没有导致明显的透视变形之前
• 尽量达到人眼最大视场角

当分辨率不足够的时候，FOV越大，会导致纱窗效果越明显。在目前大部分设备上，视场角并没有越大越好，普遍在90-100之间，最高的貌似也就105左右。

符合人眼的成像系统：

3d中，透视投影变换主要是三个矩阵：world、view、projection

5）VR成像跟普通的3d游戏成像有什么不同？

• Projection Matrix不同：由于双目视野范围不对称，Projection的计算不能采用传统的正矩阵计算。
• View Matrix不同：考虑到IPD（瞳距），View Matrix的计算应该分左右眼，position的计算应该是：LeftPosition = position + rotation * (-IPD / 2); RightPosition = position + rotation * (IPD / 2)；其实就是左右眼分别沿x轴的正负方向偏移IPD的一半。
• 渲染方式不同：正常的3d渲染是单屏，而VR是需要先渲染两只眼睛，得到render texture，然后再把左右眼贴图渲染一遍到屏幕。

6）vr成像反畸变

解决办法：对VR成像反畸变

7）菲涅尔透镜

传统的镜头畸变需要变形和插入每帧图像的像素，这样会大幅增加每帧图像的处理时间和手机的处理负担。这样也会降低图像的有效分辨率，因为图像的中央区域需要往外拉伸， 从而造成大量像素的损失。

Vertex Displacement 先通过扭曲游戏中的多边形来模拟镜头逆畸变的效果，然后再渲染游戏场景。

两款大热VR设备产品的特性和规格

分辨率和延迟

要达到“视网膜”效果，人眼在12英寸的距离上的分辨率可以超过900ppi。ppd（每度像素数）高度 d 为眼睛与屏幕的距离，r 即为其底边覆盖的像素数量。对于主流VR头显如HTC Vive来说，其单眼横向FOV为110°，纵向约120°。据此计算，它需要：

所以达到视网膜水平，需要一块至少 12540*6840像素屏。

1）延迟：最多20ms且越低越好

用户视角改变->传感器采集数据->将数据输入主机处理->程序根据输入更新逻辑->提交数据并发送到显卡渲染图像->完成的图形结果传送到屏幕->屏幕像素进行颜色切换->用户看到画面变化。而这一大串的基本步骤都必须在20ms之内完成。

为了省出足够的时间给其他步骤执行，刷新率对于延迟问题至关重要。

2）刷新率：90Hz为及格线

24 fps已经能提供连续的画面、60 fps的游戏对于绝大多数人来说已经足够流畅；对于VR来说，150-240 fps的画面已经显得足够真实。

VR交互方式

1）手柄：

2）VR交互之眼球追踪：

眼部追踪可以成为VR / AR头盔的标准外设。大多数眼部追踪系统使用红外（IR）光照相机。IR照亮眼睛，还有对IR分析反射敏感的相机。光的波长通常为850纳米，在390到700纳米的可见光谱之外。眼睛不能检测到照明，但相机可以。当视网膜检测到通过从瞳孔进入的光时，我们就看到了世界。红外光也通过这个瞳孔进入眼睛。在瞳孔区域外，光线不会进入眼睛。相反，它反射回相机。因此，相机将瞳孔视为黑暗区域 - 无反射 - 而眼睛的其余部分更亮。这是“暗瞳眼部追踪”。

3）其他交互方式：

• Nibiru 4轴飞行模拟空战座椅
• Birdly VR飞行器
• Virtuix Omni 虚拟现实跑步机
• Soulfeeling 幻速赛车模拟器
• FeelReal 气味模拟功能头盔：

这款产品由一家名为Feelreal的创业公司打造，其能增加VR体验中的第四维度感官-嗅觉和触觉，因为FeelReal头盔的内部装有7个可移动、名为“嗅觉暗盒”的气味产生器，能蒸发出香料混合剂。

能产生的气味包括有热带雨林、花、海洋、燃烧的橡胶味、火药等等的味道，另外Feelreal还提供预订其他一些气味的服务，甚至能定制气味等，通过更换不同的气味发生器墨盒，即能使用户在不同的虚拟现实体验环境中产生对应的气味，进一步提升临场感，比如当你在一片花海中，那么就能闻到一片花香的味道。

• Tesla Suit 体感衣服，让你“全身心”沉浸在虚拟现实的世界：

Tesla Suit主要由一种特殊的智能织物+外部感应环组成，这是一套紧身衣服，总控制中心是一条叫做T-Belt的腰带，另外还包括：手套、背心、裤子等，穿在身上还有点蜘蛛侠的感觉，不过，这套衣服上有非常多的小节点，这些小节点能够产生脉冲电流从而让皮肤产生相应的触觉，此外，这套衣服还有温度发生器等部件。

这款背心内置非常多的物理装置，其通过一系列特殊的算法来处理和转化游戏、电影、音乐中的音频输出，然后在背心的相应位置模拟出相关的冲击力，比如你的后肩中枪，对应位置就会产生冲击力（当然力度会比真实中枪小很多）。

• KOR-FX 触感背心 - 体验“中枪”的快感：

AR：信息叠加、空间定位、实时交互

1）头戴式AR显示技术的需求

镜片需要同时实现反射和穿透。在镜片上显示区域的每一个点，同时有内部的叠加信息的光线和外部的现实世界的光线经过它，内部叠加的信息在这个点上是被反射进入人眼的，而外部现实世界的光线是经过穿透进入人眼的。

2）选择性过滤

有的光线需要反射回去，有的光线需要透射过去。

3）光的偏振属性

光可以被认为是特殊频率段的一种电磁波，太阳光，是所有方向的振动分布均匀的一种光，我们把它叫做自然光。

• PBS偏振分光器 polarized beam splitter：

微显示器投影的信息通过偏振分光膜反射到人眼中，同时外界光线的一半 (分光棱镜通常会把自然光对半分开，一半反射、一半透射）。

• 波导：

• 极化波导：

• 衍射波导Diffraction waveguide：

那真是太多了。游戏娱乐、建筑施工、科学工程、健康医疗、航空航天、教育、信息控制与大数据可视化、遥控机器人与远程临场技术... 大家日常生活中最熟悉的应该是字节跳动、快手等在这方面的实践：

AR空间交互能力

实时交互特效 Physical World Traching-Realtime Interaction Effects

SLAM/VIO

理解物理空间，并进行相机空间信息的实时分析，使用户可以在物理世界叠加虚拟道具如AR恐龙、AR画笔、任意门等。

部分应用汇总

• 传统锚点类AR, 对真实物理对象建模，在交互阶段放置道具进行体验
• ImageAR 平面图像放置道具
• ProductAR 物体对象
• LandmarkAR 地标建筑
• ShapeAR 形状放置道具
• CategoryAR 特定商品
• CounterAR特定轮廓放置
• GroundAR ，SkyAR， BuildingAR
• 大型锚点
• 三维扫描重建
• 光场渲染和视角合成
• 房地产内容数字化-VR看房
• 真实感三维感知
• 光照估计-对人脸或者场景进行光照估计，3D内容渲染时提升效果
• 法向估计
• 视频3D道具植入，基于离线视频的空间解析能力，包括几何结构，语义信息等
• 地址位置MapAR、PoiAR

技术培育当然非常重要，但是好的创意、关注用户洞察和行业趋势，同样必不可少，好的创意+技术能力可能才是最稀缺的。

头号玩家场景离我们不远。

笔者认为实现这一场景的技术要求或瓶颈有：分辨率需要 12540*6840、刷新率120fps以上、网络带宽 100M/s、延迟10ms、屏幕响应延迟、全景视频采集/拼接/压缩延迟传输、渲染、视场角（Fov, Field of View）等。当这些技术实现都达到理想指标，绿洲虚拟世界或许就在眼前...

*本文图片均来源于网络