苹果输入专利：基于手势触控、注视点追踪的多模式虚拟键盘

10月26日消息，USPTO公布了一项与多模式输入相关的苹果专利（US11481109 B2），专利指出了一种融合手势识别、注视点追踪、生物识别等功能的虚拟键盘输入方案。

简单来讲，该专利将多点手势触控、运动数据和生物特征数据（包括手势、语音、注视点、面部表情、体温、心率、皮肤阻抗、瞳孔大小、指纹等）结合，来增强电子设备的交互效果。

硬件方面，可在笔记本电脑等设备中内置摄像头等图像传感器，图像传感器可被隐藏在不透明的组件或边框下，用于捕捉手势。捕捉到的手势可触发虚拟键盘进行输入，此外也可以结合注视点的位置，来快速预测用户的意图，比如利用注视点操控鼠标指针，然后用手势点开指针所在的窗口。苹果指出，利用注视点来选择窗口，会比语音输入效率更高，而将注视点和手势输入结合，将进一步简化工作任务。

尽管专利中几乎没有提到AR/VR，但很明显这项技术未来在AR/VR头显上也可以有很好的应用，比如利用头显前置摄像头捕捉手势来触发虚拟键盘，然后通过头显内部的传感器捕捉用户注视点，为AR/VR带来自然的交互体验。