虚拟现实中的情感和触摸（下）

来源：IEEE VR 2022 主讲人：Darlene Barker 内容整理：王寒 为了使虚拟现实 (VR) 中的社交互动产生更大的影响，我们需要考虑情绪对我们的人际交流的影响以及我们如何在 VR 中表达它们。本教程将展示关于该主题的研究，我们建议使用基于声音、面部表情和触摸的情感来创造非物理人际交流所需的情感亲密和非语言亲密。虚拟和远程通信缺乏我们与面对面互动的身体接触以及增强对话所传达内容的非语言线索。触觉设备和触觉的使用有助于在各方之间传递触摸，机器学习可用于基于从其他感官设备收集的数据进行情绪识别以更好的远程通信。在当今世界，由于全球性疫情大流行以及防止其传播所需的安全措施，我们被迫与他人保持距离。因此，拥有更好的与亲人交流的方式将是无价的。在疫情大流行之外，在 VR 中体验触摸和其他感官的能力可以帮助加强远距离家庭或因工作而失散的家庭之间的沟通。同时，视力受损的人也可以从这种技术中受益。

目录

• 相关研究
• 研究意义
• 未来展望
• 结论
• Q&A

相关研究

现在我们来关注一下相关研究，相关的感情和触觉刺激在VR中的使用。首先是药物，一项在化疗期间监控患者情绪的研究，其目的是让患者在治疗期间保持一个更加放松的状态，因为接受治疗的患者在现实中正在度过一个很困难的阶段，研究希望让他们有一个愉快一点的状态，并用它来做心理干预来帮助用药，在这一过程中，他们改变环境中的图像视频和声音并发现患者的压力减小、更加平静。另一项研究是一项脑研究，涉及模拟的过山车体验，其中不断涌入让人情绪激动的图像视频和声音，他们发现相比于其他体验过山车是一种更加自然的情感体验。

另一项很酷的研究是触摸博物馆，当你看到一件很美的艺术藏品，你首先会想要触摸它，我认为在这种环境中有触摸体验不仅是一种很好的学习体验同样也是一种很好的情感体验，它应用了现实生活和虚拟道具的结合。这里还有另一项我发现的研究，假设你正在虚拟世界的室外草地上，你站在室内的类似衣柜材质的虚拟道具上，当现实生活和虚拟道具结合到一起真的很酷，这里我们发现这种结合增强了潜在的参与感和学习感。

接下来我们看运动的研究。一个VR排球游戏中，虚拟化身的面部表情会随着现实世界的情况改变，如果你看排球比赛，现实中运动员的面部表情变化会让比赛更加引人入胜，通过在化身中表现面部表情可以创造更加令人信服的游戏效果。再来看教育领域的相关研究，包括图中展示的五项，接下来将逐一介绍。

科学 大学阶段的免疫学课程，他们使用了一个类似存储器的数字讲故事的方式参与和巩固学习，通过这种方式他们发现课堂更加引人入胜了。

牙科培训 老师和学生共享触感体验，他们在现实中的力度和动作，我不确定这些动作在VR中的表现，但他们在这个培训系统中用到了力度和动作，这相比其他研究与我们现在的研究非常接近。

语言 一个用于学习日语的虚拟现实在线学习课程，尝试通过设置讲师的面部表情来改善课程效果，现在使用的是固定的面部表情，如果可以变化应该会有所不同。

社会包容 它是VR中一个可定制的工具，用于测量虚拟杂货店中神经多样性学生的社会包容性，这包括感官刺激。

护理学生的情绪 这是一个用于护理学生的VR电子游戏，来教他们情绪相关的知识。我在现实生活中制作视频游戏，我认为这非常酷，并且这个可以帮助护理生建立自己的管理和理解情绪的能力，因为他们看不到生活愉快的我们，他们通常要面对生病的人，并且需要理解人类的情绪才能为病人提供帮助。

还有零售的相关研究。每个人都喜欢买东西，网上在买工具类的商品的情况下更有用，买衣服的时候却不那么有用，因为你无法触摸到布料纤维，而在买衣服的场景下，这是非常必要的。

当然还有很多其他的例子，每一个都有些许不同但都能使参与者的参与度更高。

研究意义

这项研究始于疫情爆发之前的2019年，为什么这项研究变得更加重要了呢，在疫情流行之前，这一研究的意义在于让距离远的人能有更亲近的接触，就像是更加自由的空间移动。我有一个很大的家庭也享受跟我的孩子在一起的时光，但同时我热衷于旅行，喜欢看世界，所以对我来说，能够四处走动并保持联系非常重要。然后，疫情爆发了，我们开始保持社交距离，所以你知道我们需要在一起，但距离很远，虚拟现实中我们才能握着所爱的人的手，跳出VR的需求，我们的数据在VR之外的其他情况下也能提供帮助，例如有人在临终关怀中而家人不能前往相见，能够感觉到家人的手正握着你的手，也是一件很有意义的事情。在疫情结束之后，我仍然相信这项工作对于远距离的移动和交流能够起到积极作用，这意味着更加自由的移动，可以无视距离和远方的爱人保持更加亲密的联系。同时，对于失去感觉的病人这项工作也会有所帮助。

未来展望

未来可穿戴设备通过接触实现物体识别，这属于物理触摸的部分，这可以帮助人和无生命的物体实现物体识别，例如你在玩游戏时和化身之间的接触，不仅是用一个圆盘代替你，现在是一个有趣的简洁场景，你在玩的时候如果撞到了其他人，他倒下了你可以伸手帮助他，听上去非常异想天开。智能纺织品也是一个行之有效且易于实施的未来发展方向。

结论

情绪是一个多维结构，基于非常多的相关因素，我提到过的环境因素和你的身体状况以及很多其他事情，但是你的记忆之类的东西没有在这里发挥作用，但与之相关的东西已经非常多了。接触和触觉代表了更多的身体接触和我们在VR中能做到的更多的可能性。

Q&A

Q：我想知道如何让这些能够感知情绪的设备变得更加普遍？因为我们都知道全套数据收集设备不是每个人都会配备的，真正可以推广使用的产品不应该是笨重、难以获取且昂贵的。 A：我们在研究中接触了一种材料，它不是一种纺织品，是一种小条，你与家人交谈的时候将它在手臂上贴几条然后带一个VR头戴设备就能差不多完成，你也可以吧这个小条贴在其他物体上，当然这是我理想情况下的设想。当然有织物会更好，我们可以搞一个T恤、手套之类的然后当你使用VR时连接到一个盒子上， 这听起来很疯狂，我认为织物可能是可移动的轻量级最佳方式。 Q：我的想法是有伸缩能力的智能面料，可以模拟手臂或者类似的事物或者仅仅是触觉手套这种，这样与虚拟世界的化身交互会很有趣。 A：是的，但是我们还考虑到很多情感方面的因素，你想一下所有的数据，我曾经尝试过痛感检测，使用Muse监测脑电波，收集人们头痛、大规模偏头痛的数据，能够获得90%左右的准确率，因此我们认为脑电波还是可以做很多事情的。我们也在尝试更多更新的设备，例如有眼部追踪的设备可以帮助我们获取瞳孔信息。 Q：希望你能早日做出产品！

Q：这项研究在情感方面参考了心理学的知识，我想知道研究是否与心理学家有足够的沟通？或者说我们是否需要与心理学建立更强的联系？作为一个计算机背景的学生我想知道是否需要对这两个领域有更深入的结合。 A：当我开始这项工作的时候我正在上一门VR课程，是艺术系和计算机系合开的课程，一开始有很多计算机系的同学，最后只剩下了两个，这让我对我们正在做的事情有了更加清楚的认知，我们做的事情会受到其他人和事的影响，这些影响有时只是一些潜在因素，计算机科学可以通过数据分析出来，当然有时候我们需要寻求其他领域的帮助，例如我们想知道一个人安静状态下血压高但是看起来正常的原因，他可能在生气，我们不是心理学家但是可以分析出这些潜在情绪来让我们的系统提供更好的服务。听上去不是完全的计算机科学领域，我将其成为代理人，听上去很奇怪因为还没有想到更合适的名字。希望我解决了你的疑问。 Q：我认为你非常好的解释了很多方面的问题，这是很有价值的，比如一个人看起来一切正常但可能有很多潜在的情绪没有表现，你的工作可以让沟通更加愉快，这是很有趣的一点。

附上演讲视频：http://mpvideo.qpic.cn/0bc3ruaduaaakyalvacc5vrvbdodhkgqaoqa.f10002.mp4?