三星XR专利分享用脑机接口提供完整感官反馈刺激——嗅觉、味觉和触觉等

通过脑机接口提供完整的感官反馈刺激，包括嗅觉，味觉和触觉等等

（映维网Nweon 2023年11月27日）根据早前的情报，三星已经制定了完整的元宇宙战略，并旨在构建一个以三星为中心的XR生态系统，并且正在积极招揽人才。根据专利申请，这家公司实际上已经将终极的脑机接口纳入至考虑之中。

在过去，XR+脑机研究多见于Meta，Valve和其他初创公司。当然，诸如微软等公司同样有进行过探索。现在，正积极布局XR的领域同样开始探索终极的脑机接口。在又一份名为“Information generation method and device”的相关专利申请中，三星提出将脑机接口用于XR的感官反馈刺激领域。

这家公司认为，在XR技术中，各种感官模拟主要是基于传感器实现。但每一种感官模拟都是通过一种传感器来实现，所以过程操作繁琐。另外，传感器不够全面，所以有诸多模拟无法实现。换句话说，使用相关传感器所获得的效果与真实相去甚远，用户无法获得逼真的模拟。

所以，三星提出可以利用脑机接口设备来提供逼真的感官模拟。其中，系统可以获取关于用户在虚拟环境中相对于目标对象的位置信息，然后基于所述位置信息和属性信息来确定与目标对象相对应的感官信息，最后将感测信息转换为电信号并通过脑机接口设备来刺激用户。

图2示出了相关的信息生成流程图200。根据示例实施例，所述信息生成方法可包括获取用户相对于虚拟环境中目标对象的相对位置信息的操作201。

在一个实施例实施例，可以将相互合作工作的一个或多个设备称为执行实体。执行实体可以建立空间直角坐标系，实时获取所述直角坐标系中用户的位置信息和所述虚拟环境中目标对象的位置信息，并根据所述用户的位置信息和所述目标对象的位置信息确定所述用户相对于所述目标对象的相对位置信息。

所述执行实体可周期性地获取所述用户在直角坐标系中的位置信息和所述虚拟环境中所述目标对象的位置信息。目标对象可以是虚拟环境中的任何目标对象，例如桌子、水杯、面包等。

在操作202中，基于目标对象的相对位置信息和属性信息确定与目标对象相对应的感官信息。

根据示例实施例，在获取虚拟环境中用户相对于目标对象的相对位置信息后，执行实体可根据对应表或感官信息预测模型进一步确定与目标对象对应的感官信息。例如，对应表可以存储预定的相对位置信息、目标对象的属性信息和相互关联的感官信息。感官信息预测模型可以是通过执行训练操作确定的预定感官信息预测模型。

根据示例实施例，可以根据目标对象的相对位置信息和标记有感官信息的属性信息样本对模型进行训练，从而获得预定的感官信息预测模型。

对应于目标对象的感官信息可以包括至少一种触觉、听觉、嗅觉或味觉。感官信息可以用刺激参数表示。刺激参数可以根据用户在真实环境中对目标对象实际产生的感官信息来确定。

有趣的是，三星提出相关刺激器可以是脑机初创公司Blackrock的完全可编程96通道神经刺激器CereStim。但当然，这家公司表示所述设备只是其中一种选择，发明可以采用其他模拟器。

在一个示例场景中，用户触碰30摄氏度的对象，电极活动通过使用神经端口神经信号收集器来记录。电极记录的神经活动放大，并以30 kHz的采样频率进行模拟-数字（A/D）采样，然后使用神经端口神经信号处理器NSP系统记录。然后，通过CereStim 的Matlab API编写刺激参数，并通过不同的脉冲刺激和调节电流强度再次获取电极信号。当电极信号彼此无限靠近时，它们可以触摸30摄氏度对象的刺激参数。

同样，可以得到触觉、听觉或嗅觉的任何刺激参数。

在操作203中，所述方法可包括将感官信息转换成电信号，以通过脑机接口设备刺激用户。

在确定与目标对象相对应的感官信息后，执行实体可以利用脑机接口设备将所述感官信息转换为电信号，以刺激使用者大脑皮层中的相应部位产生相应的感觉。

根据另一示例实施例，基于目标对象的相对位置信息和属性信息确定与目标对象相对应的感官信息的操作可包括，基于用户面部朝向和用户头部与目标对象之间的距离确定与目标对象相对应的嗅觉信息；并确定嗅觉信息作为与目标对象相对应的感官信息。

根据另一示例实施例，所述方法可包括确定目标对象具有气味属性，根据用户面部朝向和用户头部与目标对象之间的距离确定与目标对象相对应的嗅觉信息。响应或基于确定目标对象具有气味属性，将嗅觉信息确定为与目标对象相对应的感官信息。

气味属性可包括水果香气、花香气、食物香气等属性信息。

在一个实施例中，根据目标对象的相对位置信息和属性信息确定与目标对象相对应的感官信息，在确定目标对象具有声音属性的基础上，可包括根据用户脸部的方向和用户头部与目标对象之间的距离确定与目标对象相对应的听觉信息，然后将听觉信息确定为与目标对象相对应的感官信息。

执行实体可以利用用户头部左右两侧的可穿戴定位设备确定用户的左侧坐标和右侧坐标，进一步确定连接用户头部左侧坐标和右侧坐标的线，并根据所述线与所述目标对象的坐标所在的平面方向之间的夹角确定用户面部的朝向。

如图3所示，执行实体301可以以UWB基站为原点建立空间直角坐标系，并通过使用用户头部左侧的第一可穿戴定位设备303和用户头部右侧的第二可穿戴定位设备304获得与用户头部对应的坐标A和B。

根据示例实施例，可穿戴定位设备303和304可以是UWB芯片。UWB基站可由执行实体301实现。坐标A对应于芯片303，即用户头部左侧的坐标，坐标B对应于芯片304，即用户头部右侧的坐标。

同时，得到目标对象305的坐标M，确定直线AB与M所在平面方向夹角为用户的面向。这里，目标对象305为虚拟花朵，执行实体可以根据用户的面部朝向和用户头部与目标对象的距离，从预定对应表中确定与目标对象对应的嗅觉信息，并确定嗅觉信息为与目标对象对应的感官信息。对应表相应记录了用户的面部朝向、用户头部与目标对象的距离、以及相互关联的嗅觉信息。

在本实施例中，根据用户头部左右两侧的可穿戴定位设备确定用户头部左右两侧的坐标；根据连接用户头部左右两侧坐标的直线与目标对象坐标所在的平面方向之间的夹角来确定用户面部的方向，从而有效地提高了确定用户面部朝向的精度。

执行实体可以检测用户头部相对于目标对象的相对位置信息，并根据确定目标对象位于用户头部的预定位置以及目标对象具有可食用属性，确定与可食用属性相对应的味觉信息为与目标对象相对应的感官信息。

味道属性可以包括诸如香蕉味道、苹果味道等属性信息。

应当注意，在确定目标对象位于用户头部的预定位置之前，可能存在用户触碰目标对象的动作，或可能不存在用户在预定时间范围内触碰目标对象的动作。

在一个实施例，通过确定用户的手与目标对象之间的距离是否满足预定阈值，可以确定是否存在用户触摸虚拟对象的动作。

在本实施例中，根据确定目标对象在用户头上的预定位置，以及目标对象具有可食用属性，将可食用属性对应的味觉信息确定为目标对象对应的感官信息。然后将感官信息转化为电信号，通过脑机接口设备刺激用户，从而帮助用户在虚拟环境中体验到对象的可食用属性，并提高交互的真实性。

图4是信息生成方法的应用场景的示意图。

在图4所示的应用场景中，执行实体401可以以UWB基站为原点建立空间直角坐标系，并通过在用户402的一个或多个两个部分上使用可穿戴定位设备获取用户在空间直角坐标系中的位置信息。

例如，可穿戴定位设备可设置在用户的手上和头上。UWB基站可由执行实体401实现。根据示例实施例，所述实体可以获取目标对象403上的位置信息，例如虚拟足球，从而根据所述用户的位置信息和所述目标对象上的位置信息确定用户相对于所述目标对象的相对位置信息。

然后，根据对应表确定目标对象对应的感官信息，对应表中记录目标对象的预定相对位置信息、属性信息（如平滑度、柔软度等）以及相应的感官信息。然后，将感官信息转换为电信号，通过脑机接口设备刺激用户402。

所述信息生成方法可包括获取用户相对于虚拟环境中目标对象的相对位置信息，根据所述目标对象的相对位置信息和属性信息确定与所述目标对象相对应的感官信息，并通过脑机接口设备将所述感官信息转换为电信号以刺激用户;这有助于用户在虚拟环境中体验到对象的属性，提高交互的真实性。

图5是信息生成方法的流程图500。

在操作501中，信息生成方法可以获取用户相对于虚拟环境中目标对象的相对位置信息。

在操作502中，响应于确定用户的手与目标对象之间的距离满足预定阈值，以及目标对象具有轮廓属性，确定与目标对象的轮廓属性相对应的触觉信息作为与目标对象相对应的感官信息。

所述相对位置信息可包括用户手上相对于目标对象的相对位置信息，所述执行实体可检测用户手上与目标对象之间的距离。为响应确定用户的手与目标对象之间的距离满足预定阈值，并且目标对象具有轮廓属性，将目标对象的轮廓属性对应的触觉信息确定为目标对象对应的感官信息。

轮廓属性可以包括轮廓、材质、纹理、光滑度、温度、质量等属性信息。

其中，可根据体验、实际需求和具体应用场景设置预定阈值。例如，手指和/或手掌与目标对象之间的距离小于或等于1cm，或者手指和/或手掌与目标对象之间的距离小于或等于0.5 cm，在本公开中不受限制。

具体而言，执行实体以UWB基站为原点建立空间直角坐标系，利用用户手上佩戴的数据手套获取用户手上的位置信息，同时获取目标对象的位置信息。目标对象为水杯，预定阈值为使用者的手指和/或手掌与目标对象的距离等于或小于1cm。

针对确定使用者的手指和/或手掌与水杯之间的距离满足预定阈值，以及水杯具有轮廓属性，将水杯的轮廓属性对应的触觉信息确定为水杯对应的感官信息。

在操作503中，包括通过脑机接口设备将感官信息转换为电信号以刺激用户。

与图2示例实施例所示的方法相比，根据图5流程图500所示的方法，为了确定用户的手与目标对象之间的距离满足预定阈值，并且目标对象具有轮廓属性，将目标对象的轮廓属性对应的触觉信息确定为目标对象对应的感官信息。

接下来，通过脑机接口设备将感知信息转化为电信号刺激用户，从而帮助用户在虚拟环境中体验到对象的轮廓属性，并且提高交互的真实性。

延伸阅读：Samsung Patent | Information generation method and device

https://patent.nweon.com/31811

名为“Information generation method and device”的三星专利申请最初在2023年7月提交，并在日前由美国专利商标局公布。

一般来说，美国专利申请接收审查后，自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意，专利申请公开不代表专利获批。在专利申请后，美国专利商标局需要进行实际审查，时间可能在1年至3年不等。