虚拟现实技术及其广泛应用

近日，上海交通大学电子系图像所宋利教授及其研究生罗莹在《科学》杂志2018年1月刊上发表了一篇名为《虚拟现实技术及其广泛应用》的综述性科普文章，清晰扼要地为大众介绍了虚拟现实技术的前世今生以及不可小觑的应用魅力，以下是综述全文。

近年来，作为热门话题的虚拟现实，正在逐步改变人们传统的生活方式，已成为各大世界级科技巨头竞相争抢的新宠产业，备受资本市场的追捧。从1930年代概念萌芽伊始，经历了半个多世纪的起起落落，它在互联网时代到底会带来一场科技革命，还是昙花一现，让我们拭目以待。

虚拟现实（virtual reality，VR）是利用计算机模拟产生一个立体空间的虚拟世界，同时提供一种多元信息融合的交互式三维动态场景并模拟出实体行为的仿真系统。VR可以重现包括视觉、嗅觉、听觉和触感等多种感官在内的全方位感知，并利用全景媒体的效果为观看者营造出沉浸式的“亲身体验”和“现实生活”。头戴式显示设备（head mount display，HMD）等技术的飞速发展，已为VR的实现打下了坚实基础。

VR的发展史

2014年，Facebook豪掷20亿美元收购Oculus，引爆了VR领域的科技热潮，其实这并不是VR首次进入大众视野。早在1935年，一个名叫温鲍姆（S. G. Weinbaum）的小说家就在他的一部作品中描绘出一副具有视觉、嗅觉、触觉等多感官沉浸式体验的眼镜，这被普遍认为是VR概念的首次提出。在超过半个世纪的历程中，VR是如何在历史的浪潮中跌宕起伏，而又在近几年逐步变为热门话题的？

图一 半个多世纪以来，VR技术的发展轨迹

到目前为止，VR经历了四个历史阶段[1]。

第一阶段（1935—1961年）即为VR的概念萌芽期。

第二阶段（1962—1993年）是VR的研究与市场试水阶段。1962年，电影摄影师海利希（M. Heilig）发明了一款仿真模拟器Sensorama，并为这项技术申请了专利。Sensorama是一款简单的立体空间显示设备，通过三面显示屏实现了空间立体感的效果。它是VR技术的原型机，但具有显而易见的缺点：体积太过庞大，用户体验时需要坐在椅子上将头探进设备内部，体验舒适度欠佳。1968年，计算机图形学之父、计算机科学家萨瑟兰（I. Sutherland）设计了第一款头戴式显示设备Sutherland。但由于技术限制，这款头戴式设备非常笨重，还因独特的造型被戏称为悬在头顶的“达摩克利斯之剑”（The Sword of Damocles）。1987年，计算机科学家拉尼尔（J. Lanier）拼装出一款价值10万美元的VR头盔，它是第一款真正投放市场的VR商业产品，但由于价格昂贵，功能单一，几乎无人问津。1991年出现的“Virtuality 1000CS”头戴式设备也和先前产品一样在消费市场中低迷。可以看出，此阶段的VR技术仍是一个概念性的存在，并没有大量投入市场的用户产品出现。

第三阶段（1994—2015年）是VR的产品迭代初期。从1994开始，VR在游戏产业异军突起，日本世嘉（SEGA）公司的“SegaVR-1”和任天堂（Nintendo）公司的“Virtual Boy”在业内都引起了不小的轰动。但由于游戏设备价格高昂加之游戏应用体验一般，VR超前的技术思维未被市场广泛接纳，这些VR游戏产品的普及率并不高。2012年，Oculus Rift项目通过国外知名众筹网站募资到160万美元，推出了价格低廉且具有广角和低延迟等沉浸体验的VR设备，迎合了市场需求，一下子拉近设备和用户之间的距离。2014年，谷歌（Google）公司发布了一款VR眼镜Google CardBoard，令手机摇身一变为“VR查看器”，用户可以以非常低廉的成本即通过手机来体验VR世界。谷歌的这一举措随即引发了“移动 VR”的爆发。

随着Oculus、HTC、索尼等公司相继推出一系列VR产品和设备，VR在2016年进入了第四阶段——产品成型爆发期。在这一阶段，VR技术的研发有了雄厚的资本支持和大力的市场推广，VR产品拥有更符合用户心理预期的价位，更强大的媒体内容和多维度的交互体验。

“3I+”基本特征

VR技术以计算机技术为核心，结合其他相关学科，旨在生成与真实环境高度近似的数字化仿真环境。用户在此虚拟环境中，借助必要的硬件外围设备与数字化环境中的对象进行交互反馈，这样的沉浸式交互带给用户身临其境的体验。

图二 VR的“3I”特征

美国科学家布尔代亚（G. Burdea）和夸费（P. Coiffet）在1993年世界电子年会上发表的Virtual Reality Systems and Applications一文中提出“VR技术的三角形”，简明表示了VR技术最为突出的“3I”特征[1]：交互性（interaction）、沉浸性（immersion）和想象性（imagination）。

交互性

传统的人机交互是指，人通过键盘、鼠标和显示器等与计算机进行交互并获得计算机的反馈。而VR技术的交互指的是，参与者借助专用的三维交互设备与虚拟环境之间以自然的方式进行交互，这样的交互比平面图形交互拥有更加丰富的形式。

数据手套的“手势跟踪”可实现交互，设备上集成了振动、按钮、触摸等反馈机制。数据手套的优势在于没有视场限制；缺陷则是使用门槛较高，用户需要穿脱设备，使用场景仍有局限。

用户也可以通过手柄等设备的“触觉反馈”实现交互，此类高度简化的交互设备显然可以在交互性较强的游戏等应用中使用。目前，三大VR头戴式显示设备厂商Oculus、索尼、HTC Valve都一致采用了虚拟现实手柄作为标准的交互模式，虚拟现实手柄拥有六个自由度的空间跟踪功能，并且带有按钮和振动反馈。

图三 三维交互设备一览

此外，还可以通过“眼球追踪”实现交互。头戴式显示设备的眩晕感是一直被诟病的缺陷，通过优化“眼球追踪”技术，进而可实现低延时、提高视频稳像及当前视角的清晰度等效果，大大提升用户的体验感。眼球追踪技术是VR设备能够真正投入市场的关键技术之一，Oculus创始人勒基（P. F. Luckey）也称该技术为“VR的心脏”，其重要性可见一斑。日前，苹果公司收购了德国专门从事眼球追踪技术和设备开发的计算机视觉公司（SensoMotoric Instruments，SMI）。可以推测，苹果公司下一步很有可能会在VR的“眼神交流”方面大显身手。

沉浸性

沉浸性又称临场感，指的是虚拟环境给参与者带来的身临其境的体验，它被认为是表征虚拟现实环境性能的重要指标。基于人类的视觉、听觉等感官和心理特点，由计算机产生逼真三维立体图像，参与者通过戴上头盔显示器、数据手套等交互设备，仿佛置身于真实的客观世界中。一般来说，多感知性(multi-sensory)和自主性(autonomy)是决定沉浸性良好程度的最重要因素，多感知性是指理想的虚拟现实环境应该具有的多种人体感知功能；自主性是指虚拟环境中物体依据物理定律做动作的程度。

此外，还有很多评判沉浸性良好程度的标准，主要有如下几个方面[1]：图像的深度信息分辨是否与人们的经验一致；全景画面的视野是否足够大，能够让人们拥有360°全景视角的视觉感受；视觉跟踪的时间或设备的空间响应是否实时，是否存在滞后或不准确甚至晕眩等现象；交互设备的约束程度能否为用户所适应等。

想象性

想象性是指在虚拟环境中，用户根据所获取的多种信息和自身在系统中的行为，通过联想、推理和逻辑判断等，基于系统的运行状态变化对系统运动的未来进展进行想象，以获取更多的知识，进一步认识复杂系统深层次的运动机理和规律性[1]。

VR技术出现以前，人们只能从定量计算的结果中得到启发，从而加深对事物的认识。不同于传统的感知认识，VR技术使得人从被动转为主动接受事物，人们从定性和定量两者集成的环境中，通过感性认识和理性认识主动探寻信息，深化概念并进而产生认知上的新意和构想。

“3I”+智能性

交互性和沉浸性是VR技术与其他相关技术的本质区别。传统的观看内容主要以二维视频或图像为主，虚拟现实则提供了沉浸式的全景多媒体，观看内容变成360°的全方位视频，而且参与者感受到的声音具有空间化的三维立体音频效果。沉浸性令观看视野突破了以往的平面显示，再也不受限于显示屏的物理尺寸。交互性则使得传统的“导演”视角转变为参与者可自主挑选的视角，操作键盘鼠标的传统人机交互已进化到手眼协调的自然人机交互。

随着计算机技术的快速发展，VR技术的“3I”特征正迈向“3I+”，即“3I”+智能性（intelligence），参与者已能在虚拟环境中充分体验到沉浸感并与其中的对象自由交互。“3I+”特征强调了人在虚拟现实系统中的主角地位，即在整个系统中人的感受是最重要的。

VR关键技术概览

一个VR系统的搭建，会涉及硬件方面的平台装置、工具器械等，同时也需要软件方面的标准和规范。VR系统大体上由数据获取、内容分发、终端呈现，以及传感与交互[2] 等多个环节构成。

2017年6月，赵沁平院士根据近年来VR技术的发展趋势与VR应用，提出10个新的VR关键技术问题[3]，包括VR头戴显示的输入与交互、头戴式显示的空间计算与AR虚实融合及其室外化、VR视频的采集和制作与交互式播放、基于移动终端和互联网的VR、物理特征的更多表现与新型物理模型、进化演化模型与虚拟孪生、智能行为模型、力交互的柔韧感与新型自然交互、VR内容的智能化生产技术与通用软件开发工具、VR的逼真性度量与VR心理学和VR社会学等。这些技术的突破会推动VR应用和VR产业发生巨大的创新。在这10项关键技术中，有3项与VR交互技术相关，分别是VR头戴显示的输入与交互、VR视频的采集和制作与交互式播放，以及力交互的柔韧感与新型自然交互，这说明交互技术已受到重点关注。赵院士提议，在VR头戴设备中可以加入“VR鼠标”等便捷的VR输入方式进行实时交互；同时在VR视频中引入新的交互类型，可提高交互性；还可以在VR感官领域增加新的感知通道，比如力/触觉逼真感知、温湿感等。

赵院士还提及VR在3I向4I发展的过程中，人工智能的重要作用。引入了人工智能的VR，比如虚拟的人操纵实体，如飞机、车辆等，将是VR未来发展的趋势之一。此外，应提高VR内容的智能化生产和VR平台的智能化程度。

增强现实（augmented reality，AR）与VR的融合技术称为“混合现实”（mix reality，MR），它也是VR领域的重点研究内容。在VR应用中，用户进入一个他认为是“真实”的虚拟世界中，而这个虚拟世界与现实完全隔离；在AR应用中，用户能够看到虚拟信息叠加在现实世界中，这些虚拟信息是对现实的一种补充或增强。如果将二者融合，VR的虚拟景象就与AR提供的真实场景结合起来成为用户所看到的MR应用场景。最典型的MR应用场景，就是微软在HoloLens发布会上展示的一个典型场景，参与者可以在自家的客厅里大战入侵的“外星生物”。

图四 微软HoloLens混合现实的典型场景

目前，虚拟现实研究的关键技术主要有：动作捕捉、动作识别与图像匹配、虚拟现实内容呈现以及虚拟现实的传输技术[4]。

实现沉浸感的第一步是捕捉人的动作，针对丰富的动作，动作捕捉能力越强，沉浸感就越强。众所周知，物体在三维空间具有六个自由度，即沿x、y、z三个直角坐标轴方向的移动自由度和围绕这三个坐标轴的转动自由度。要完全确定物体的位置，就必须掌握这六个自由度的信息。随着动作捕捉技术的发展与操控自由度的技术飞速提升，未来任何技艺的学习都可以在虚拟环境中手把手进行教学。

动作识别与图像匹配技术可识别由传感器搜集到的人的动作，并对其进行解析，实时计算出匹配的视角画面。目前，主要的虚拟现实内容表现形式是全景多媒体，包括视频与音频两部分，其中全景视频是靠全景相机组拍摄获取并拼接而成的，可通过流媒体点播观看全景视频。关于虚拟现实的传输方案，目前的主流思路是基于tile的传输方案，即根据用户的观看视角以及网络状况来选择合适的全景视频块和适宜的分辨率[5]。

VR自2016年热潮爆发以来发展迅猛，极有可能出现颠覆性技术。但其技术发展与产品市场尚处于起步阶段，还存在许多亟待解决的问题。VR技术在应用中会与多个学科深度融合，交叉领域的研究也是值得关注的热门方向。

“VR+”应用

2016年被刻上“VR产业元年”的烙印，并不是空穴来风。关于VR的会议、论坛、发布会络绎不绝，VR技术被推到世界科技的风口浪尖。各大科技公司纷纷聚焦虚拟现实，阿里推出 “BUY+”活动，百度推出“VR浏览器”，腾讯上线开放平台，爱奇艺、优酷和搜狐等开通专门的VR视频频道。这是互联网行业内已发生的巨大变化，那么在不久的将来，VR到底会令多少行业产生颠覆性变化呢？

图五 “VR+”的诸多应用

如今，几乎所有的行业都想跟VR扯上关系，蹭一分热度。百家争鸣的“VR+”应用大体可分为四类：VR娱乐场景、VR消费体验、VR社交生活和VR军用科技。在这四部分里，分别举了两三个例子来展现VR技术是如何一点一滴改变了人们的生活方式和消费理念的。

目前，VR娱乐场景被认为是最有“钱途”的应用，尤其是VR游戏。中国《2016年虚拟现实产业发展白皮书》[1]分析，23.8%的VR重度用户偏好的VR内容是VR游戏，他们喜欢强交互性、画面感清晰、具有深度的VR游戏内容。预计未来几年内，VR游戏的市场份额将占据整个VR市场的一大部分。

2015年美国总统大选的电视辩论首次采用VR直播的方式，让所有选民都从一个新的视角“亲眼目睹”了候选人的表现。在此次直播中，人们很愿意为高质量画质的VR体验买单。王菲的演唱会以远低于现场门票的30元价格进行了VR直播门票销售，取得了十万以上的销售数量。这些VR直播实现了人们“亲临现场”的愿望，迎合了众人的需求。

在VR消费体验方面，最为突出的应用是VR购物、VR房产和VR医疗。阿里的“BUY+”计划，开创了一个全新的购物方式。“BUY+”融合VR技术，利用计算机的图形系统和一些辅助传感器，生成可交互的三维购物场景，让用户们在虚拟空间里自由购物。VR房产是指购房者可以足不出户，利用虚拟现实样房系统，通过VR头盔或VR眼镜即可参观房屋的内部结构、外围环境等。此外，还能依据购房者的要求进行屋内移动，极大提高了买房看房的效率，给购房者带来显而易见的便利。医学领域也对VR技术有着巨大的应用需求，VR将会在虚拟人体、虚拟外科手术模拟、远程医疗、虚拟医院和高等医学教育等方面大显身手。统计显示，到2020年，AR/VR医疗健康市场的产值将达25.4亿美元，具有巨大的市场潜力。

VR社交是人们最期待的VR应用之一。斥巨资买下Oculus的Facebook，基于前者强大的用户群正大力发展VR社交产业。现阶段的VR社交应用已经完成了针对社交对象的位置、方向、基本姿态、头部位置等的跟踪。但这还远远不够，真正沉浸式的VR社交体验应该是，在虚拟的环境中，除了能与对方在不同场景中交流外，同时还可以观察到对方的表情和注意力，最大程度地模拟真实场景[1]。在日常生活中，VR教育和VR旅游的应用也日趋活跃。高盛曾做出预测，到2025年，VR教育产值有望达到7亿美元，并将覆盖K12（美国基础教育）以及教学软件领域，VR和教育的结合被认为在未来有着巨大的市场[1]。VR旅游则是一种借助VR头戴式显示器，将景色以360°全景视角、三维交互视频的形式呈现在用户眼前的全新旅游方式。VR旅游者可以借助虚拟现实来实现预览、规划、演示旅游地的目的，并轻松制订计划和行程，同时还可以过一把探索那些无法企及地点的瘾。

事实上，VR技术最早应用在军事上。VR原型机Sensorama后来被用于模拟飞行训练，世界第一个头盔显示器Sutherland后也用作军用头盔显示器。目前，VR在军事和航天领域的应用呈现迅速发展的态势。VR技术在军事上有着独特的优势，首先训练成本比传统训练大幅降低；其次，VR技术让战争的形式更具有科技感。从实用角度来看，军事领域可能才是VR技术最大的需求者。VR技术针对航天仿真技术的特点，可建立虚拟世界来真实地模拟空间效应，进而作为航天训练器。VR技术与航天航空领域的结合可将各类风险降至最低，其设备相对简单，从而使得投资效率最大化，这将是今后研究中值得推广和应用的方向[6]。

未来，VR行业会更加注重内容的开发。除现有应用最广的游戏、视频外，VR将与医疗、教育、旅游、社交等行业形成新的紧密联动，VR内容也将进一步得到扩展。

挑战与展望

自VR技术在2016年大热后，市场上推出的VR眼镜、头盔等产品参差不齐，由于没有一个行业标准，导致整个VR行业较为混乱。许多组织和企业都在积极制定通用的VR技术国际标准，令VR行业能以更加规范的产业姿态继续前进，并推动交叉行业蓬勃有序地发展。

VR市场已欣欣向荣，预测在十年内，VR很可能孕育出一个万亿级别的新市场。但需清晰地认识到，VR产业化进程仍处在萌芽阶段，存在很多的技术瓶颈，比如VR内容短缺，设备成本昂贵，长时间佩戴头戴式设备易造成“晕动症”等。现有VR的想象性与期许的体验性能依旧差距不小，需要在VR的内容制作和外围设备上狠下功夫。在交互性和沉浸性方面，现有的VR技术已打破人类原有对视觉和触觉的认知，有关人机交互的技术是关键研究点，各种沉浸式硬件设备的开发应着重关注参与者的舒适度和融入度。

图六 VR的未来方向

未来，VR是科学技术和艺术想象双驱动的产业，它搭建了一座连接虚拟与现实的大桥，人们可以以更自然方式与虚拟世界互动，感知探索未知的世界。

参考文献：

[1] 中国电子技术标准化研究院.2016年虚拟现实产业发展白皮书. 2016.

[2] Fautier, T. "VR video ecosystem for live distribution." (2016): 28-13.

[3] 赵沁平. 虚拟现实的10个科学技术问题. 中国科学：信息科学，2017，47：800-803.

[4] 中国信息通信研究院, 华为技术有限公司. 虚拟（增强）现实白皮书. 2017,9.

[5] Gaddam V R, Riegler M, Eg R, et al. Tiling in Interactive Panoramic Video: Approaches and Evaluation[J]. IEEE Transactions on Multimedia, 2016, 18(9):1819-1831.

[6] 崔善君，谈敦铭，赵罡. 虚拟现实航天仿真技术研究. 图学学报，2012，33(1)：80-86.