Meta专利探索通过眼睛追踪数据来调整AR/VR显示亮度

查看引用/信息源请点击：映维网Nweon

根据眼动追踪数据操作头显

（映维网Nweon 2023年03月31日）眼动追踪器越发成为AR/VR头显的标配。基于眼睛数据，可以对头显设备进行各种操作。在名为“Eye data and operation of head mounted device”的专利申请中，Meta就介绍了一种根据眼眼睛数据操作头显的方法。例如，根据眼睛追踪数据来调整显示器亮度。比方说，如果显示器太亮并造成用户眼睛眯起来，系统可以相应地调暗显示器。

图1示出了近眼光学元件110A。近眼光学元件110A包括光学透明层120A、照明层130A、显示层140A和透明调制器层150A。显示层140A可以包括波导148，波导148配置为将包括在可见图像光141中的虚拟图像引导到用户眼睛。

如图1所示，照明层130A包括多个场内照明器126。每个场内照明器126可以设置在透明基板，并且可以配置为将光发射到近眼光学元件110A的眼镜侧109的视窗区域。

光学透明层120A设置在照明层130A和近眼光学元件110A的眼镜侧109之间。光学透明层120A可以接收由照明层130A发射的红外照明光，并致使红外照明光通过以照明用户的眼睛。

光学透明层120A可以对可见光透明，例如从环境接收的场景光191和/或从显示层140A接收的图像光141。在一个示例中，光学透明层120A具有用于将光聚焦到用户眼睛的曲率。

图2A和2B示出了位于视窗区域201中的眼睛203。图2A示出了睁开的眼睛203，而图2B示出了闭合的眼睛203。眼睛203的眼睛数据可以包括眼睛203的位置、眼睛203的测量值（例如瞳孔大小）和/或眼睛随时间的测量值。

在图2A中，虹膜205的大部分和巩膜207的大部分可见。当眼睛203斜视时，虹膜205和巩膜207中的较少部分可见。在图2B中，虹膜205和巩膜207都不可见。在图2A中，眉毛262为拱形。在图2B中，眉毛262展平并且比图2A中更靠近眼睛203。类似地，与图2A中的弓形微笑线264相比，微笑线264在图2B中变平。

检测视窗区域201中各种眼睛特征的大小、形状或数量提供了可以指示用户对特定环境情景的反应或适应的眼睛数据。

图2C示出了具有瞳孔266的眼睛203，瞳孔266的直径为尺寸291。图2D示出了具有瞳孔266的眼睛203，瞳孔266的直径尺寸292大于尺寸291。

在Meta描述的发明中，眼睛数据可以包括瞳孔266的大小（例如直径）。当在多个时间段捕获瞳孔266的大小时，可以确定瞳孔扩张的速度。

图2E和2F示出了眼睛203的另一示例测量。与图2F中眼睛203斜视时的虹膜205的尺寸294相比，图2E中上眼睑261和下眼睑265之间的虹膜205尺寸293更大。

图3A-3C示出了眼睛203在不同时间的不同位置。图3A示出了在时间t1处在中心位置381的眼睛203。中心位置381可以与眼睛203相关联。

图3B示出了在时间t2处在中心位置382右边的眼睛203。图3C示出了在时间t3处在中心位置383稍微偏左的眼睛203。眼睛203的位置可以通过追踪瞳孔266、虹膜205的位置、角膜等眼动追踪技术来确定。

因此，眼睛数据可以包括眼睛203的位置和/或眼睛203随时间的位置。眼睛203的位置改变的速度可以包括在眼睛数据中。例如，如果眼睛203非常快地（例如在200ms内）从位置381移动到位置382，则这种移动可以认为是扫视。眼睛203在短时间段内的较小运动可以认为是微扫视。

可以使用图像处理技术或其他合适的瞳孔位置技术来计数特定时间段中的扫视或微扫视的数量。特定时间段中的扫视次数或微扫视次数可以包括在眼睛数据中。眼睛381的位置变化可以认为是注视闪烁，其中眼睛381经常改变位置。这种注视闪烁可能是由于环境光亮度或显示器亮度而引起不适的迹象。

图4示出了头戴式设备400的一部分的顶视图。头戴式设备400可以包括光学元件410，光学元件410包括透明调制器层450、显示层440和照明层430。附加的光学层（可以包括在示例光学元件410中。

例如，聚焦透镜层可以可选地包括在光学元件410中，以聚焦场景光456和/或包括在由显示层440生成的图像光441中的虚像。透明调制器层450调制入射场景光456的强度，使得传播到视窗区域201的场景光459与入射场景光456的强度相比可以具有降低的强度。

透明度调制器层450可以配置为改变其透明度以调制传播到用户的眼睛203的场景光456的强度。处理逻辑470可以配置为将模拟或数字信号驱动到透明调制器层450，以便调制透明调制器层45的透明性。

在一个示例实施方式中，透明调制器层450包括液晶，其中响应于来自处理逻辑470的驱动信号来调整液晶的取向，以调制透明度调制器层450的透明度。

照明层430包括光源426，光源426配置为用红外照明光427照明视窗区域201。照明层430可以包括透明折射材料，并将其用作光源426的衬底。红外照明光427可以是近红外照明光。在图4所示的示例中，摄像头477配置为（直接）对眼睛203进行成像。

摄像头447可以捕获视窗区域201的眼动追踪图像。视窗区域201可以包括眼睛203以及眼睛区域中的周围特征，例如眉毛和眼睑等。

处理逻辑470可以启动摄像头477的一个或多个图像捕获，并且摄像头477可以向处理逻辑470提供眼动追踪图像479。处理逻辑470可以执行图像处理以确定视窗区域201的各种特征的大小和/或位置。

例如，处理逻辑470可以配置为确定结合图2A-3C描述的特征的大小和/或位置。例如，处理逻辑470可以执行图像处理以确定瞳孔266的瞳孔位置或瞳孔大小。

图5A示出了调整头戴式设备的透镜的透明度的示例方法。

在过程框505中，用头戴式设备的一个或多个传感器捕获眼睛数据。所述一个或多个传感器配置为感测所述视窗区域。传感器可以包括一个或多个光电二极管、图像传感器或用于捕获眼睛数据的任何其他合适的传感器。如前所述，眼睛数据可以包括例如视窗区域的图像。

在过程框510中，利用头戴式设备的光电检测器（例如环境光传感器423）启动环境光测量。环境光测量（例如环境光测量429）可以在与捕获眼睛数据相同的时间段期间启动。

在过程框515中，响应于眼睛数据和环境光测量来调整头戴式设备的透镜的透明度。来自外部环境的场景光（例如场景光456）可以在入射到眼睛203之前传播通过透镜。在图4的图示中，可以响应于眼睛数据和环境光测量429来调整透明度调制器层450的透明度。

在一个实施例中，眼睛数据包括眼睛的瞳孔大小、眼睛的瞳孔扩张速度、眼睛的注视方向或眼睛运动数据（例如给定时间段内的扫视次数）中的至少一个。

眼睛数据可以包括例如眼睛203或占据视窗区域201的用户眼部的一个或多个图像，例如图像479。

在一个实施例中，过程500同时包括对眼睛的一个或多个图像执行图像处理，以确定头戴式设备的用户的心率。例如，用户的心率可以通过一段时间内的瞳孔大小来确定。调节透镜的透明度可以至少部分地基于用户的心率。

在一个实施例中，过程500同时包括对眼睛的一个或多个图像执行图像处理，以确定眉毛的运动、眼睑的运动或面部肌肉微姿态中的至少一个。调节透镜的透明度可以至少部分地基于眉毛的运动、眼睑的运动和/或面部肌肉的微姿态。

在过程500的实施方式中，调整透镜的透明度包括将所述眼睛信息和所述周围光测量与与先前环境光测量配对的先前眼睛数据相关联，以及将所述透镜的透明度调整为由所述用户选择的先前选择的透镜透明度。

先前选择的透镜透明度对应于与先前环境光测量配对的先前眼睛数据。头戴式设备在相同的时间段内捕获先前的眼睛数据和先前的环境光测量。

为了说明，图5B说明根据本公开的实施方式的存储器575中的与先前环境光测量配对的实例先前眼睛数据。例如，存储器575可以包括在存储器475中。

在图5B中，将先前的眼睛数据与先前的环境光测量值配对，并且先前选择的透镜透明度值对应于与先前眼睛数据配对的先前环境光测量。

因此，存储器575包括用户在各种环境光环境中选择的透明度值，其中某些眼睛数据也存在。例如，第一先前眼睛数据512与第一先前环境光测量513配对。第一先前选择的透镜透明度值511对应于数据512和513的配对。

当（或紧接在）第一先前环境光测量513和第一先前眼睛数据512由头戴式设备收集时，用户可能已经先前选择了第一先前选择的透镜透明度值511。

第二先前眼睛数据522与第二先前环境光测量523配对。先前选择的第二透镜透明度值521对应于数据522和523的配对。

当（或紧接在）第二先前环境光测量523和第二先前眼睛数据522由头戴式设备收集时，用户可能已经先前选择了第二先前选择的透镜透明度值521。

存储器575可以包括整数n个先前选择的透镜透明度值，而数值对应于与先前环境光测量配对的先前眼睛数据。因此，在给定环境光测量（例如429）和眼睛数据的情况下，可以将个性化的透明度值驱动到透明度调制器层450，以调整场景光459的强度。

在过程500的实施方式中，调整透镜的透明度包括将透镜的透射率调整到与对应于环境光测量的聚集眼睛数据相关联的预定透镜透明度值。以这种方式，在测试中确定的透明度选择、众包数据或从用户偏好中求平均值可以驱动到透明度调制器层450，以将光学元件410的透明度驱动到在类似环境光条件和眼睛数据下舒适的预定透明度值。

例如在图5C中，存储器576可以包括在存储器475。聚集的眼睛数据与先前的环境光测量值配对，并且预定的透镜透明度值对应于与聚集的眼睛数据配对的先前环境光线测量值。

因此，存储器576可以包括在存在由普通用户选择的预定透镜透明度值。例如，第一聚集眼睛数据517与第一先前环境光测量518配对。第一预定透镜透明度值516对应于数据517和518的配对。当（或紧接在）第一先前环境光测量518和第一聚集眼睛数据517由头戴式设备收集时，平均用户设置可以具有第一预定透镜透明度值516。

第二聚集眼睛数据527与第二先前环境光测量528配对。第一预定透镜透明度值526对应于数据527和528的配对。当（或紧接在）第二先前环境光测量528和第二集合眼睛数据527由头戴式设备收集时，平均用户设置可以具有第二预定透镜透明度值526。

相关专利：Meta Patent | Eye data and operation of head mounted device

名为“Eye data and operation of head mounted device”的Meta专利申请最初在2021年9月提交，并在日前由美国专利商标局公布。