具有“同理心”的 XR
来源：IEEE VR 2022 主讲人：Denis Gracanin 内容整理：桂文煊 同理心，也称为共情，被定义为理解和分享他人感受的能力，这是有意义的社会互动的关键部分。有不同类型的同理心，例如认知，情感的同理心。关于扩展现实（XR）的主张是，它可以通过数字模拟来促进同理心并引起同理心反应。在使用 XR 时，便携式的生物传感器可测量实时生理和其他一些信号。这些测量值（例如心率，呼吸速率，面部表情，脑电图等）可以实时告知用户的认知和情感状态，并实现同理心反应和测量。这些信息既可以用来评估XR内容对用户的影响，又可以根据用户状态调整 XR 内容。本文介绍了同理心概念并且介绍了其在 XR 中的使用。
目录
- “同理心”的概念、建模以及在 XR 中的使用注意点
- 同理心的建模
- 同理心模型在 XR 中的适用性
- 具有“同理心”的 XR 的基本构成
- XR 与情景化数据
- 智能沉浸式环境
- 在 XR 中的交互
- 神经技术
- 面临的挑战及机遇
- 多用户参与的 XR
“同理心”的概念、建模以及在XR中的使用注意点
同理心被定义为理解和分享他人感受的能力，它很难通过观察直接衡量。测量取决于用户的看法和主观评估，所以对于同理心的测量需要一些自动计算办法来提供客观的评估。做到这些之前，首先需要对同理心进行模拟并且建立计算模型。
同理心的建模
目前，人类还无法对人类的神经认知系统在机器中进行重建，因此，需要一个计算模型来模仿。对于人类行为的模拟已经证实是可行且有用的，现在社会上许多常用的辅助机器人就是很好的例子。而达到模拟的关键所在就是建立一个计算模型，用于监测用户的情绪状态和环境，并用一些预定义的表达方式反应为同理心。
可以通过很多方式建立一个模仿人类行为的计算模型。比如可以通过情绪传染来做到，换而言之，通过在 XR 系统里模仿人的面部表情来达到模仿人的情感，从而达到共情的目的。再比如有些方法将情感空间建模为三个维度，pleasure、arousal 和 dominance，简称为 PAD 模型，这种方法包含三个步骤，分别为共情机制、调制以及表达。亦或者可以基于语言建立模型。
通常基于用户以及环境进行建模，即学习人们的同理心表达模式，对何时该表达什么表情进行建模。实际操作中，采集由人类以同理心方式操纵虚拟人物的行为数据，并用这些数据来训练模型。
同理心模型在XR中的适用性
同理心模型在XR中的使用应该注意以下几个点，首先要实时使用生理和心理的数据以及用户的账户信息，其次需要模型给出这些信息自适应地给出反馈以及一些虚拟元素的改变。为了能达到这些要求，需要用到机器学习以及其他一些AI技术。
具有“同理心”的XR的基本构成
XR与情景化数据
情景化数据的示意如图1所示，在现实世界中，人体所做的动作以及一些衡量人精神状态的客观数据经过传感器采集后，形成生理数据、心理数据、环境数据，三种数据合成数据流后经过模型处理给出刺激反馈给人，从而形成一个循环。这种数据就称为情景化数据。
图1 情景化数据示意图
XR使用这种情景化数据会有以下几点好处：
- 提升体验与互动的质量。
- 减少空间、功能和认知缝隙。
- 监测用户的情绪状态以及环境。
智能沉浸式环境
纯粹的沉浸式VR体验降低甚至忽略了用户与现实世界的互动，这显然对于XR想要让人感受到同理心的目的是不足够的，因而智能沉浸式环境中能对现实世界中人体的动作进行捕捉，并在应用场景中给予体现。
在XR中的交互
基于情景化数据能够和用户进行情景交互。这种交互能使产品更加地贴合用户的日常习惯与行为，用很少的交互就能管理非常复杂的情境。XR中的交互也是多模态的，比如语音、手势、面部表情和肢体语言等等，这些多模态交互可以通过一个设备将不同输入类型的接口合为一个接口。
神经技术
神经技术通过不同的空间、时间和信号分辨率为了解大脑活动提供了一个窗口。但每秒钟相关的数据采集量是庞大的，会对XR所需要的实时性造成挑战，所以我们需要探索数据融合的方式来解决这种问题。
面临的挑战及机遇
- 在XR应用中实时测量和使用来自神经活动和生理、环境的信号。
- 对于普遍的服务和基础设施采取这些信息。
- 探索发展XR在情感与认知方面的应用。
多用户参与的XR
多用户的XR体验相比于单用户来说是困难许多的。其面临的主要难题在于网络以及规模上的挑战，比如延迟、网络卡顿以及本地计算资源不足，尤其是对于参差不齐的使用设备，高至专用的头戴式设备，低至平时使用的智能手机。因而我们需要进行良好的网络建立，常用的网络工艺有建立点对点和客户端服务器。
多用户参与的XR的服务系统包括管理分享状态、交流、安全保障和用户定位等。一个例子是分享心理信号，例如心率、温度、皮肤电活性，应用可以综合各个用户的信息于具体情境中，一个用户的心理状态可能潜在地会被另一个影响（见图2）。另一个例子是捕捉各用户的视线和情绪，这种XR应用可以提供用户之间的交流功能，而且可以让用户理解其他用户感受，比如XR教室（见图3）。
图2 温度信息的共享
图3 XR教室
附上演讲视频：http://mpvideo.qpic.cn/0bc3tuaf6aaakual642irfrvbhodl6oqaxya.f10102.mp4?