Meta AR/VR专利介绍在眼动追踪中使用远程荧光体照明的方法

在眼动追踪系统中使用远程荧光体照明

（映维网Nweon 2023年11月15日）在标准的光子集成电路系统中，眼睛的照度和摄像头的光谱带宽可能是相同的，所以从波导泄漏的杂散光可能会污染从眼睛看到的图像，从而降低眼睛图像的对比度。

鉴于这一点，需要一种有效可靠的机制来改进波导、涂层和结构，从而防止和/或减少摄像头视场中不需要的杂散光。所以在名为“Methods, apparatuses and computer program products for remote fluorophore illumination in eye tracking systems”和“Tunable florescent quantum dot system for eye tracking with virtual reality and augmented reality applications”的专利申请中，Meta就介绍了一种在眼动追踪系统中使用远程荧光体照明的方法。

XR头显的眼动追踪摄像头可以利用闪烁或闪烁图像来确定眼睛的位置。闪烁可指从一只或多只眼睛表面以一定角度反射的预期光的检测。闪烁信号可以是由能量输入引起的来自眼睛的任何点状响应。能量输入的例子可以是任何形式的时间、空间、频率、相位和/或偏振调制光或声音。

荧光体则是发出荧光的任何粒子。荧光体可以是吸收波长1（波长λ1）的光子并发射波长2（波长λ2）的光子的任何材料，所述转换（例如从波长λ1到波长λ2）是由于荧光体的物理或化学组成的材料的量子能级移位而发生。

在一个实施例中，荧光体可以是荧光粉、荧光纳米晶体、荧光量子点或任何其他合适的荧光体。荧光体的材料可以由有机或无机化合物组成。

通过将远程荧光体放置在波导的末端和头显透镜的焦点，照明波长可以移动到人类视觉之外的波段，并可以用于闪烁图像的检测。

蓝/紫外（UV）波长的传输可以通过在摄像头的光谱范围之外而对摄像头不可见，并且在击中时，远程荧光体可以转换为用户视觉的安全波长（例如980nm），在使用时可以显著减少/最小化摄像头视场中的杂散光，并且可以增加闪烁信号的对比度，从而允许以较低的误差发生率进行更快的响应。

由于波导可以在透镜的遮挡区域之外，只要波段不在摄像头的光谱范围内，则实施例可以利用蓝色至近红外波段中的任何波长。在这方面，示例性实施例可以利用蓝光波长。在一个示例中，由照明源产生的780纳米或840纳米或类似波长可与诸如量子点之类的荧光体一起使用，从而将波长移至980纳米，并用于照明发射以检测闪烁图像。

在一个实施例中，可以利用反斯托克斯荧光体，从而允许将照明波长转移到大于1250 nm的任何波长（例如眼睛安全区域），并同时依然允许用于检测闪烁图像的照明波长发射在980 nm波段内。所以，摄像头可以在没有任何潜在的眼睛安全问题的情况下查看所述波段。

斯托克斯荧光体可以在波长λ1处吸收辐射，并且可以在波长例如波长λ2处发射较低的能量。例如，这可以由斯托克斯荧光体的材料通过量子力学交换来实现。

在一个实施例中，可以使用反斯托克斯荧光体。反斯托克斯荧光体在能态上可与斯托克斯荧光体相似，但反斯托克斯荧光体可包括一系列从较低能态到较高能态的子带或缺陷带。每个子带可以具有很长的衰减时间，使得眼动追踪系统内的能量可以通过吸收波长较低的光子来积累，例如波长λ3。

在电子获得足够的能量进入高能态的情况下，它可以有一个短的衰减时间，直接到达比电子最初开始的能量状态更低的能量状态，这个电子状态可能会发射波长较短的光子，例如波长λ2。在一个示例性实施例中，波长λ2可以是眼动追踪系统/应用所需的波长。

通过利用斯托克斯荧光体和/或反斯托克斯荧光体，由于在发射和检测波长为λ1和/或波长为λ3的光源照明的眼动追踪系统中缺乏环境噪点，所以可改善眼动追踪摄像头的信噪比和/或对比度。

图8示出了发射与波长相关的光的照明源的截面。在图8的实施例中，截面43A可以示出与配置成发射与波长诸如波长λ1和/或其他合适波长相关联的光的照明源50A相关的细节。所述光可由照明源50A根据与波长λ1相关联的方向45A发射，例如在PIC波导25A阵列的每个PIC波导内。

每个照明源50A发射与波长λ1或其他合适波长相关的光。在这方面，照明光源50A可以是发射波长为λ1的光源。在一个实施例中，照明光源50A可以例如是发光二极管和/或激光器。例如，激光器可以是垂直腔面发射激光器或偏振稳定光栅激光器。

在一个实施例中，PIC层100A可以嵌入至头戴式显示器，而头戴式显示器可以包括用于追踪用户眼睛的眼动追踪系统。在这方面，照明光源50A可以发射光以指向眼睛，其中光可以用作眼动追踪光束。

例如，考虑由一个或多个照明光源50A发出的光具有波长λ1。在使用反斯托克斯荧光体的实例中，反斯托克斯荧光体可以允许将照明波长转移到大于1250 nm（例如眼睛安全区域）的任何波长（例如波长λ3），同时依然允许用于检测闪烁图像的照明波长发射在980 nm波段。所以，摄像头可以在没有任何潜在眼睛安全问题的情况下查看所述波段。

位于PIC波导的远程荧光体可以将波长λ1转换为有利于眼动追踪的所需波长。例如，源照明载体10A的照明源50A可以配置为便于将光发射到诸如例如PIC波导30A的PIC波导中。所述光（波长为λ1的照明光源）可以行进/传播到PIC波导的终端节点，例如终端节点36A，终端节点35A。

例如，光可以行进/传播到终端节点36A。光可以沿着PIC波导30A并到达PIC波导30A的远程荧光体40A，而远程荧光体40A可以吸收波长为λ1的光（例如460 nm）并可以发射波长为λ2的光。

在这个例子中，与波长λ2相关联的波长可以是980nm，但不一定是980nm。在这方面，远程荧光体40A可以将光从波长λ1（例如460 nm）转换/移动到波长λ2（例如980 nm）。这个波长区域可以是对用户眼睛安全的波长区域，并且可以是能够被摄像头检测到的波长区域。

因此，即使在PIC波导可能存在杂散光泄漏的情况下，摄像头都不会看到杂散光，因为所述光不在摄像头能够检测的可见光谱中。

在上述实施例中，远程荧光体40A可以在波长如波长λ1处吸收辐射，并且可以在波长如波长λ2处发射较低的能量。

在一个实施例中，与激发波长（例如460 nm等）相关的波长选择性可以通过构造量子点来获得，例如，最小化与量子点的电子结构相关的缺陷和陷阱以消除不希望的波长。量子点的大小可以决定发射波长。上述缺陷和陷阱可能是材料内的电子和/或量子力学结构。缺陷和陷阱可以导致激发态电子/空穴跃迁到基态的变化。

为了响应远端荧光体40A将光从波长λ1（例如460 nm）转换/移动到波长λ2（例如940 nm），耦出器41可以对波长λ2的光作出反应，并且可以沿着垂直于位于终止节点的PIC波导的终止节点发射42路径将光引导出PIC波导。

终端节点发射42A可以塑造来自耦出器41的波长为λ2的光，并且可以将波长为λ2的光作为眼动追踪光束射向用户的眼睛。在本例中，终端节点发射42A可与波长为λ2（例如960 nm）的光相关联，而来自一个或多个照明源50A的光可与波长为λ1（例如460 nm）相关联。

与头显相关联的摄像头仅能够检测波长λ2（例如眼睛安全波长）相关的光。换句话说，由一个或多个照明光源50A发出的波长λ1相关的光对摄像头来说不可见（无法检测到）。所述摄像头无法检测具有超出所述摄像头光谱范围的波长带的任何光。

因此，即便在波长为λ1的杂散光从PIC波导泄漏，杂散光都无法被摄像头检测到，因为它可能在摄像头的光谱范围之外。由于杂散光可能在摄像头的光谱范围之外，因此杂散光可能不会降低与摄像头相关的信噪比和/或对比度。

另外，波长为λ2的光通过终端节点发射42A作为眼动追踪光束指向用户的眼睛，它对眼睛是安全的。

在一个替代实施例中，远程荧光体40A可以是远程荧光粉，例如反斯托克斯荧光粉，它可以允许波长为λ3或更大（例如大于1250 nm）的光被位于终端节点的PIC波导中的远程荧光体40A移动到波长为λ1的波段（例如980 nm）。波长λ3在眼睛的安全区域。

反斯托克斯荧光粉在能态上可与斯托克斯荧光粉相似，但反斯托克斯荧光粉可包括一系列从较低能态到较高能态的子带或缺陷带。每个子带可以具有很长的衰减时间，使得眼动追踪系统内的能量可以通过吸收波长λ3的较低能量的光子来积累。

在电子获得足够的能量以进入更高的能量状态的实例中，其可以具有短的衰减时间，并且直接通往比电子最初开始的能量状态低的能量状态。波长λ2可以是与摄像头相关的眼动跟踪所需的波长。

从具有波长λ1和波长λ3的照明源50A发射的光无法被摄像头检测到，因为所述波长在摄像头的光谱范围之外。因此，由于摄像头缺乏环境噪点的缺乏，可以改善摄像头(例如，摄像头518)的信噪比和/或对比度。

图9示出进行眼动追踪的操作流程图。

在900，设备可以检测包括从一个或多个照明源发射的第一波长（例如波长λ1）的照明。所述照明可沿至少一个波导传播至与所述至少一个波导相关联的至少一个终端节点。

在902，头显可以检测传播位于终端节点的远程荧光体的照明。

在904，头显可以确定远程荧光体将第一波长（例如波长λ1）移至第二波长（例如波长λ2），使得照明包含第二波长。

任选地在904，头显可以检测到包含第二波长的照明从终端节点指向并作为眼动追踪光束向用户的至少一只眼睛发射。包含第二波长的照明可通过基于终止节点发射的耦出器定向出终止节点。包含第二波长（例如980 nm）的照明对于用户的至少一只眼睛是安全的，而第一波长（例如460 nm）可能对用户的至少一只眼睛有害。

相关专利：Meta Patent | Methods, apparatuses and computer program products for remote fluorophore illumination in eye tracking systems

https://patent.nweon.com/31616

相关专利：Meta Patent | Tunable florescent quantum dot system for eye tracking with virtual reality and augmented reality applications

https://patent.nweon.com/31618

名为“Methods, apparatuses and computer program products for remote fluorophore illumination in eye tracking systems”和“Tunable florescent quantum dot system for eye tracking with virtual reality and augmented reality applications”的Meta专利申请最初在2022年5月提交，并在日前由美国专利商标局公布。