混合现实中引人注目的物理互动

本文来自Fourth Workshop on Computer Vision for AR/VR的一篇演讲，演讲者是Carol O’Sullivan，来自Trinity College, Dublin, 她是计算机图形学和机器视觉方面的专家，是学校统计与计算机科学学科的带头人，她对混合现实的AR/VR研究很感兴趣。

首先，她介绍了两个基础的概念。

代理感知（The Sense of Agency）:

在人控制自己身体时得到的感觉，而且会影响外部的环境。例如：捡起一个球再扔出去。研究表明，当电脑通过中介设备在一项任务中提供过多辅助、或者甚至帮助用户完成任务时，这种代理感知会消失。这表明当人使用自己身体发起基于身体的活动时代理感知会更好。

因果关系的感知（The Perception of Causality）:

发生在当一个事件被认为是导致特定的物理反应时。例如：一个球撞击在桌子上，引起了它的反弹。这种因果关系的感知在生命早期即可建立（研究发现三个月大的婴儿就可以区分因果事件和非因果事件），但事实上由于接触的时间延迟、重叠和角度失真，这种感知很容易被打破。现在也有研究提出，因果关系的感知是一种代理感知的本质。

以上两个概念建立后，研究者们开始想要在混合现实中进行引人注目的物理交互。这样的需求需要很多的研究支持，例如需要做感知的起因（the cause of perception）、物理模拟（physics simulation）、角色动画（characters animation）、AI在交互方面的研究、手/人眼/身体动作的捕捉、触感（haptics）的研究以及混合现实方面的研究。

这里Carol介绍了自己之前的一些研究成果，主要是关于混合现实中的物理交互。她主要对碰撞检测，碰撞响应的物理模拟，以及相关的感知三个实验进行了介绍。

1、观察物理模拟中可以容忍的碰撞的失真的实验。进行碰撞检测、碰撞感知的实验往往是耗资昂贵的，这里采用了简化的策略。Carol进行了多种情形下（接触的时间延迟、重叠和角度失真）的实验来影响观众对因果关系的感知，该工作发表于SIGGRAPH2003。

2、一个捕获人扔球过程中人和球的动作的实验。Carol等人研究了轨迹的各种不同的变形（投掷距离、投掷动作的手臂角度、运动速度等），分析其中哪些观众可以接受，哪些不可以接受，获得一些阈值来进行因果关系感知的研究。

3、对人与人之间碰撞的研究，分析与观察简单对象之间的碰撞的相似之处和区别。Carol等人在动作捕获实验室中捕捉到两个互相推动的演员（A以不同的力量、角度从后方推B），这里的一系列实验失真的感知，人物角色互动感知与简单物体（球体或立方体）的交互感知其实非常类似，唯一没有发生这种情况的是：当有人非常轻地推动时。不过一旦推力变强，他们就与基于物理的对象很相似了。

最后她还讲了一些在VR中开始进行的初步工作。他们在VR中建立了一个全身运动捕获系统，也进行了配套的实时真人投掷实验，但发现学习特定任务的因果关系感知很困难。他们还进行了全身运动捕捉，供以后向较简单的跟踪器学习何种投掷响应才是所需的研究做准备，建立了投掷动作数据库，预测动作的发行点（the point of release），效果不错。值得注意的是，Carol表示实验结果显示在腕部、肘部和肩膀上的简单惯性传感器足以预测球的释放点，而正确确定发布点对研究很重要。

未来的话，他们希望在角色交互的情况下，对交互的实时预测等进行更深入的研究。