如何使虚拟现实体验更加真实？（下）
来源：IEEE VR 2022 视频链接：https://www.youtube.com/watch?v=nh2RvW6cEjU&list=PLmkIPPvcHLZgWaBGqwiAe52PLDNnMtIA5 主讲人：Christine Grenier, Alireza Bahremand, Sungchul Jung, Austin Erickson, Haley Adams 内容整理：刘希贝 本次演讲总共介绍了5篇论文，在现有技术的基础上，分别针对不同方面进行了研究和改进，以增加用户在虚拟现实中的互动、感受和认知，以使 VR 体验更加真实。
目录
- 地板振动对对称和非对称沉浸式多用户 VR 游戏体验的影响
- 引言
- 实验
- 实验结果分析
- 光影投射：AR和VR中感知地面接触的研究
- 引言
- 实验过程及结果分析
- 讨论
- 透明度对感知人性的影响：使用光学透视显示器渲染肤色的意义
- 引言
- 实验
地板振动对对称和非对称沉浸式多用户 VR 游戏体验的影响
引言
大家好，我是堪萨斯州立大学的助理教授 Sungchul Jung。我将通过游戏体验介绍我们的研究，即振动对对称和非对称沉浸式多用户的影响（All Shook Up: The Impact of Floor Vibration in Symmetric and Asymmetric Immersive Multi-user VR Gaming Experiences）。
现代VR技术使用改进的视觉和音频传感器，从而为用户提供高度身临其境的虚拟体验。基于主要的感官刺激，适当传递的触觉反馈已显示出对单人 VR 体验的显着增强。然而，目前尚不清楚来自个人VR体验的积极多感官线索是否支持多用户中的玩家在各种任务类型和系统配置下的体验。例如，个人可以有不同的系统配置，一个用户可能有触觉反馈，而另一个用户可能没有。因此，取决于任务类型和系统配置的对称性，玩家的整体体验质量可能会受到影响。为了在本研究中关注对称性，我们需要考虑用户之间的通信以及不同任务上下文(如合作、竞争或中立)的非语言互动可能产生的不可预见的影响。要解决由于个人特征而产生的不可预见的影响是很有挑战性的，基于这一想法，我们的工作主要研究计算机控制振动对VR中的成对用户之间的全身触觉刺激的影响，以便更好地理解如何构建更好的沉浸式、虚幻的和首选的VR体验。
为了解决这个研究问题，我们将问题细分为两个：
- 通过振动(有振动或无振动)传递的全身触觉反馈如何影响多用户VR体验的质量?
- 感官线索的对称性如何影响多用户VR体验的质量?
实验
为了调查我们的研究问题，我们进行了混合析因实验设计，其中有两个自变量，每个变量有两个层次（见表1）：振动（有和没有）和对称（对称和不对称）。涉及九个因变量：存在、共同存在、社会存在、合理性和体现作为幻觉因素，参与和连贯作为背景因素，游戏性能，以及系统偏好。
我们招募了 78 名参与者，组成 39 对参与了这项研究。为了产生适当的振动，我们通过放大器将声音信号发送到完整的传感器，这些传感器连接到地板下面。我们使用Unity3D软件控制实验，包括为VR耳机和地板播放空间音频，如下图所示。耳机的音响效果(“FX HMD Only“在图中)通过Unity3D中的数字高通滤波器，这样低频(例如，声音音效)就不会成为驱动地板振动的信号的一部分。这种过滤后的耳机音频信号与Unity3D场景中的所有其他全频音效结合成一个单一的声音信号源，该信号源在地板和耳机之间平均同步分配。
该游戏是一款像愤怒的小鸟一样的射击游戏，要求两名玩家使用带有控制器的虚拟曲柄来操纵水平和垂直锚点。决定好角度后，按下触发按钮就可以射击组合。当他们击中对手的大炮时，就赢得了比赛。游戏开始后，根据振动和对称条件，地板振动会(或不)分别以对称或不对称的方式提供给参与者。在对称条件下，两个参与者都感觉到振动或没有振动，在不对称条件下，只有一名参与者在游戏期间会感到振动。
实验结果分析
在这项研究中，我们发现振动对核心存在感、社会存在感、参与度和连贯性存在显著影响，对称性对合理性和连贯性方面存在显著影响。
每个参与者在研究中都经历了两种系统类型，在第二份问卷结束时，我们询问了完整的整体体验偏好。调研结果显示，大约 83% 的参与者更喜欢振动条件，大约 8 名参与者更喜欢没有振动，9% 的参与者表示没有差异。
通过参与者对振动反馈的感知反应，我们发现，振动反馈增强了他们对伴侣存在感的认同(共同存在和社交存在)，增加游戏的连贯性和粘性，大多数参与者喜欢有振动反馈，而不考虑对称性。因此我们会在设计沉浸式多用户 VR 体验时向游戏设计师和研究人员推荐流动振动反馈。我们还认为，如果游戏玩家具有上下文和适当匹配的振动，他们可能更喜欢 VR 体验并且比其他人表现更好，流动振动可以显着提高沉浸式多人游戏体验的质量。传感器对称性可能不是提高沉浸式多人游戏体验质量的重要因素，至少在比较情况下是这样。
光影投射：AR和VR中感知地面接触的研究
引言
我的名字是 Haley Adams，范德比尔特大学计算机科学专业的博士生，我要介绍的论文是 Shedding Light on Cast Shadows: An Investigation of Perceived Ground Contact in AR and VR。
增强现实技术用户经常抱怨的一点是，虚拟对象似乎漂浮在现实世界的场景中。我们可以尝试通过渲染更好的投射阴影来减轻物体这种漂浮的虚拟外观。对人类感知的研究表明，通过在物体和附近表面之间形成接触点并投射阴影为空间中物体的深度判断提供了特别强烈的线索。
然而，在增强现实中渲染阴影是一个具有挑战性的工作。例如，像 Microsoft HoloLens 这样的光学透视显示器无法渲染黑色值，因为它们依靠附加光来创建虚拟图像。鉴于不同 HMD 的独特限制和渲染方法，我们如何才能最好地在 AR 中提供表面接触信息呢？为了通过实验研究这个问题，我们评估了三种头戴式显示器的重量及阴影方式如何影响了表面接触感知。
实验过程及结果分析
实验一
我们使用 Microsoft HoloLens 1 作为光学透视显示，并使用无线 HTC Vive Pro 渲染虚拟现实场景。在第一个实验中，我们向人们展示了四种阴影着色条件。1）传统的深色阴影，2）渐变阴影，3）白色阴影，4）完全没有阴影。渐变阴影条件旨在为光学透视显示器创建逼真的阴影。这种方法通过对比来在阴影形状的外边缘附近渲染光线来创建阴影的错觉。因此，为了了解这些不同的阴影着色方法对人们的表面接触感知的影响，我们向人们展示了呈现在地面上或略高于地面的虚拟物体。然后，我们要求他们使用五点响应格式来评估他们的确定性并感知每个物体与地面的相对位置，其中1表示绝对接触，5表示绝对在地面上方。我们还提出了多个距离的目标，以更好地概括我们的结果。共有 36 人参加了我们的第一个实验。
我们第一次实验的一个奇怪发现是，阴影的存在的确会产生显著的影响，当物体位于地面上方以进行光学透视和视频透视显示时，我们认为最不真实的着色方法中的白色阴影会导致地面接触的置信度更高。这一结果特别出人意料，因为过去的研究人员认为，虚拟物体的真实阴影对于 AR 中的准确空间感知可能是必要的。因为我们第一个研究中的目标物体使用了深色木质纹理，我们怀疑白色阴影颜色与深色物体的高对比度可能让参与者更自信地写出表面接触，因此在我们的第二个实验中，我们将探索物体与其投射阴影之间颜色对比度的影响。
实验二
来自范德比尔特大学的6名20-45岁的志愿者(3M, 3F)自愿参加了第二个实验，该实验使用了心理物理学范式。心理物理学是一种定量测量对物理刺激变化的知觉反应的心理学方法。实验过程中，目标以六种不同的垂直位移显示。通过重复测量，每个参与者在三个小时内完成了 1322 次试验，总共收集了 7920 个数据点。
我们使用二项混合模型来分析我们的数据，以了解阴影条件对参与者在每次展示中的判断的影响。广义线性混合模型(GLMMs)是一种适用于重复测量设计和非正态分布结果的广义回归模型。
为简单起见，在整个结果讨论过程中，我们将使用以下首字母缩略词来指代我们的物体阴影和阴影组合:1)带黑影的暗物体(DODS)，2)带浅色阴影的暗物体(DOLS)，3)带黑影的浅色物体(LODS)和4)带浅色阴影的浅色物体(LOLS)。对于这三种设置，我们发现阴影条件的一个主要影响是，与其他阴影方法相比，使用带浅色阴影的暗物体(DOLS)条件观看黑暗物体的参与者正确判断目标地面接触的可能性更高。结果与我们第一个实验的结果相呼应，在AR中，这种阴影条件是唯一显着不同的。然而，人们对光学定子装置的判断证明对所有阴影条件都非常敏感。总体而言，我们的结果表明，当存在光影时，全息透镜中的表面接触判断更加准确，这一结果对依赖附加光进行渲染的应用程序设计产生了影响。
讨论
然而，我们目前的工作依然存在许多限制。一个明显的限制是我们对目标使用了简单的直线形状，这可能会影响实验结果的泛化性。第二个限制是，正如物体与其投射阴影之间的颜色差异会影响阴影感知一样，背景信息也会影响阴影感知，在未来的工作中考虑不同的背景非常重要。
我们的研究结果证明，无论是增强现实还是虚拟现实，逼真的阴影都不是创建表面接触的必要条件。乍一看，这似乎是一个违反直觉的发现，因为研究人员先前一致认为的深度线索信息——如投射阴影提供的深度信息——对于精确的空间感知是必不可少的。然而，在研究之外，我们可以看到这一理念已经在其他形式的媒体中得到了应用。摄影师使用彩色光和阴影来达到时尚的效果。在缺乏足够的光线和深度信息的情况下，电子游戏开发者通常依靠彩色视觉标记来指示角色或感兴趣的物品在空间中的位置。
透明度对感知人性的影响：使用光学透视显示器渲染肤色的意义
引言
感谢介绍。我的名字是 Austin Erickson，我是中央佛罗里达大学计算机科学专业的博士生，我们的工作是 Effects of Transparency on Perceived Humanness: Implications for Rendering Skin Tones Using Optical See-Through Displays。
我们对这里列出的几个光学透镜头戴式显示器（Optical See-Through Head Mounted Reality Display）都非常熟悉。现在这些显示器使用所谓的附加光模型。
然而，正如我们在之前的一些演示中看到的那样，这种附加法光模型会产生一些负面的感知效果。首先是他们无法通过在场景中添加光线来正确渲染黑色。除非处于非常黑暗的场景中，否则通常需要将光线移开才能在这些类型的显示器上显示黑色图像。第二，黑色颜色和HSL颜色空间中亮度较低的其他颜色对用户来说是透明的，或者根本显现不出来。当使用亮模式或暗模式下显示黑白用户界面时，如下图所示，可以观察到这种效果。当使用传统的亮模式用户界面(左)时，黑色的字母从背景中消失，而当使用暗模式用户界面(右)时，背景看起来完全透明。物理环境中的照明条件进一步影响了这一点，导致图像在明亮条件下(上)的对比度低于昏暗条件下(下)。图2)。虽然这对于室内或光线昏暗的环境通常不是问题，但如果用户处于一个有大量环境光的区域，如晴天的户外，那么虚拟图像可能会失去对比度，以至于可能出现被冲淡甚至完全透明。这是由于显示器只能发出有限数量的光，相比于来自物理环境的光。当来自环境的光增强时，显示器和环境之间的对比度会降低。这种对比度的降低有进一步减少显示上的可感知色彩空间的附加效果，当环境照明增强时，亮度低的颜色将逐渐从可感知色彩空间中消失。这个问题可以通过限制到达用户的环境光的强度来缓解，例如使用附加在显示器上的中性密度过滤器。相反，显示器的发光能力可以改进，使其能够发出更强的光。
同样，这种透明度和颜色混合问题也可能在虚拟人的展示上产生负面的感知效果，正如我们在下图中看到的那样，一个黑人的可视化虚拟人可能会显示为半透明，而在相同的照明条件下，一个白人的虚拟人将显示为不透明。不同肤色的虚拟人之间的不透明度差异可能会影响用户对虚拟人的感知和响应，从而为场景引入额外的无意偏差。
实验
为了测试这个想法，我们通过一个云研究平台招募了 160 名参与者。我们要求这些参与者查看屏幕右侧的这些图像，并根据几个不同的关键字和短语对这些图像中的人进行评分。在这些关键词和短语中，我们对其中六个使用主成分分析，这似乎是衡量人性的一个很好的衡量标准。图中(a)虚拟人(从上到下)白人、黑人、东亚人和僵尸，(b)人类(从上到下)白人、黑人、东亚人和僵尸。对于(a)和(b)，列表示(从左到右)35%不透明度，68%不透明度，100%不透明度，和100%不透明度的颜色校正。关于不透明度级别，我们希望能够模拟用户在使用常见的光学显示器（如 Hololens）时所看到的情况。为了做到这一点，我们执行了一个快速的感知匹配任务，我们有一个佩戴全息透镜的用户，使他在显示器上看到的虚拟人与附近平板显示器上显示的同一虚拟人进行比较，并调整平板显示器上的 Photoshop 中的参数。结果表明，至少在我们的测试环境中的特定条件下，35% 不透明度和附加层混合产生的图像在全息透镜和平板之间最匹配。
对于我们的结果，我们首先能够验证我们对感知人性的衡量。我们能够看到，与任何图像相比，僵尸图像被评为明显不那么人性化。其次，我们可以看到，与芝加哥人脸数据库中的真人图像相比，虚拟人的人性化程度要低得多。因此，这验证了我们衡量标准的正确性。
我们测试了不透明度是否会对这些图像中人们感知的人性产生影响。我们之所以选择人性作为我们的结果衡量标准，是因为现有大量文献表明人性在虚拟技术中的重要性。总的来说，我们能够看到不透明度水平确实对人们感知的人性有显着影响。当VR中的人物更不透明时，参与者会认为他们更人性化，而当他们更透明时，他们会更不人性化。虽然这似乎是一个显而易见的发现，但它具有一些非常重要的含义。所以我们看到不透明度水平与感知到的人性有关，我们知道在这些类型的显示器上，深色相比浅色看起来更透明。所以这意味着如果肤色较深的虚拟人与肤色较浅的虚拟人相比，可能会被认为不那么人性化。因此，这意味着我们可能在这些类型的显示器上呈现虚拟人时存在意想不到的种族偏见，不幸的是，显示技术目前还无法在相同的不透明度水平上显示色彩空间中的所有颜色，因此，当我们在该领域进行科学研究时要注意这种偏见，并考虑消除它的方法。
展望未来，这个领域还有很多工作要做。在我们进行的用户调研中，我们的参与者在他们自己的平板显示器上查看VR图像，而不是使用全息透镜，这会产生一定的误差。另外，目前的测试仅限于两种不同的虚拟人和两个真实图像这四种不同图像，我们还需要对更广泛的图像进行测试。我们需要探索更多变量的影响，例如动态的或特定应用程序，如视频会议应用程序等，以了解这些因素如何对用户感知产生影响。
附上演讲视频：http://mpvideo.qpic.cn/0b2eiyag6aaad4aaeccobrrvarwdn5daa3ya.f10004.mp4?