哥大教授Steven：从界面到沉浸，未来我们与眼前世界如何交互

大数据文摘出品

作者：牛婉杨

12月3日下午，2019腾讯ConTech技术大会在北京举行。国内外顶尖人工智能学者、5G专家、风险投资人等业内大咖，与现场近1500位业界人士，共同探讨5G、人工智能时代下好内容与新技术的融合之道。

在面向未来AR/VR用户界面的协作内容上，实景现实之父、哥伦比亚大学计算机图形和用户界面实验室主任Steven K. Feiner展示了远程任务辅助、城市可视化成像和协作式运动康复，如何通过用户界面帮助人们更有效地、单独地以及共同地完成协作内容。

大会上，Steven K. Feiner作为受邀嘉宾，发表了主题为《从界面到沉浸：未来我们与眼前世界如何交互》的演讲。

从界面到沉浸：未来我们与眼前世界如何交互

首先，Steven介绍了相关专业术语。虚拟现实或VR，指的是计算机生成的虚拟媒体世界。它是3D交互式的，相对于用户进行跟踪。“这意味着，当我相对于某处移动时，如果某处存在虚拟内容，相对于我，该虚拟内容似乎在空间中占据了实际位置。在环境中它将保持稳定，它应该静止不动。”

在界定VR、3D和AI概念之后，Steven K.Feiner把话题引向了AI、VR帮助人们更有效建立完整的、独立的用户界面，有些可以单独使用，也可以联合使用，以及未来会在哪些领域使用。

他认为，最典型场景是远程任务，有很多远程任务需要用AI、VR来辅助完成，比如说有人在野外作业，有的人根本不在办公室，技术不够，就需要中央办公室和实验室专家来引导他们。在做一些田野测试时，需要专业人士援助，他们人可能在外地，把人送过去成本太高，通过远程方式，利用VR、AI来实现，可以实际操作。

在现场展示的一个视频中，Steven K.Feiner详细展示了通过VR远程辅助的过程。在一个场景中，当地技术员需要装齿轮，但是不懂得怎么做，Steven K.Feiner就请了一位专业的远程专家来指导他安装齿轮。学习者戴上头盔，在三维空间中找到所有实物，在AI环境中来与远程专家进行交互。

在远程专家眼中，学习者技术员手中所有的物件，都生成了虚拟代理物，可以直接用手在虚拟中触摸和指导。技术员能真正用手抓住，远程专家只能模拟。

另外，通过虚拟手段，VR还可以复刻城市模型。1964年，万国博览会制作了一个展品，它把纽约的每一栋建筑都设计到了其中，复刻了整个城市，在展览中获得了很多好评，这些成为后来的城市规划工具。现在，用虚拟的内容帮助我们制作3D复刻，可以在虚拟的世界中互动，嵌入到政府的数据文件当中。通过这样一种方式，能够直观地了解这个城市到底发生了什么事情，而且能把这些数据存储下来，更好地去建立一套机制。

有了这些，戴上VR头盔后是另外一幅景象：能了解到纽约整个城市到底有多少数据，看到的蓝色不断向上符号，就是发生其它事件的报告，可以抓取它们，打开看这条信息传递什么内容；看到有一个虚拟人像，可以跟你合作来帮助处理一些事情。这些技术非常先进，成本也没有那么高。

如果内容需要更多的交互性，怎么做？比如像体育赛事数据是非常实时的，变化非常快，如何在虚拟世界当中处理这些数据？ 如果想在实现实时快速动作的追踪，就需要有低延迟，这样才能更好的互动，与他人配合。在4G很难做到这一点，因为延迟太长了。

在总结性阶段，Steven K.Feiner说，VR、AI协作发展情况，分享的一些相关的设备，包括头盔等等，如果想要在社会上获得更多认可，就必须满足社会的需求。

先让VR体验舒适起来！

提到VR玩游戏，大部分人感受过的同学除了会被逼真的效果震撼，还会有一个非常印象深刻的体验——晕！

2016年，也被称为VR元年，许多科技公司推出了自己的VR头盔或眼镜。但是，长期佩戴VR设备会导致眩晕、眼花、恶心等晕动症症状，且不能马上恢复，这让许多消费者对VR技术心存疑虑。

哥大教授Steven和他的团队很好的解决了这个问题！

2016年，Steven教授和Ajoy Fernandes教授就这一问题进行了一项研究。他们根据VR佩戴者视觉上所感知到的运动对其视场（FOV）进行相应的动态且细微的调节，以此来减少用户的眩晕感。他们发现，VR佩戴者所看到的虚拟运动信号跟来自内耳前庭系统的物理运动信号存在冲突，因而造成了眩晕症。他们的技术正好可以解决这个问题。

以前，在这种情形下，只能通过缩小用户的视场减少眩晕感，但这样会影响VR设备的沉浸感。哥伦比亚大学的做法则更胜一筹，他们开发的系统会依据实际情况对VR佩戴者的视场进行细微调节，减少两种信号之间的冲突。如果两种信号之间的冲突非常大，系统会部分挡住两眼的视野，以限制用户的视场。

为了验证自己的理论，研究人员还找了30多名测试人员进行了数天的测试。结果显示这一系统确实能在不损害用户沉浸感的情况下大大减少晕动症的发生。

“VR技术将深刻地改变人与人、人与机器间的信息交互方式，”Steven教授说道。“不过要想达成这一目标，舒适且能引发兴趣的体验必不可少，我想我们找到了方法。”

研究团队称这套系统有着很强的兼容性，可以被应用到Oculus Rift、HTC Vive、索尼PlayStation VR和谷歌Cardboard等平台。

关于Steven K.Feiner

Steven K. Feiner博士是哥伦比亚大学计算机科学教授，负责计算机图形和用户界面实验室。他的研究兴趣包括：人机交互，增强现实（AR）和虚拟现实（VR），3D和2D用户界面，图形和多媒体的自动设计，移动和可穿戴计算，健康应用程序，计算机游戏以及信息可视化。

Steven教授是ACM和IEEE的会员，也是CHI学院的成员。他荣获ACM SIGCHI 2018终身研究奖，IEEE ISMAR 2017职业影响力奖，IEEE VGTC 2014虚拟现实职业奖和ONR年轻研究者奖。

1996年，他的实验室使用透视头戴显示器和GPS创造了首个户外移动增强现实系统，并在AR和VR的实验应用领域开创了先河，广泛应用于旅游、新闻、考古、维护、建筑和医学。

Steven教授个人网站：

http://www.cs.columbia.edu/~feiner/