2017年苹果收购了一家名为SensoMotoric Instruments(SMI)的德国公司，该公司是眼动追踪技术的领导者。2016年，SMI就已经制造出了采用眼动追踪技术的眼镜。虽然这项技术彼时听起来有点科幻，但现在已是苹果即将推出的空间计算设备Apple Vision Pro的关键技术之一。现在，美国专利商标局正式授予苹果一项与先进眼动定位相关的专利，该专利发明人四分之三来自前SMI团队。
传感器融合眼动追踪
苹果授予专利涵盖了各种实施方式，包括相对于用户移动的电子设备执行远程眼动追踪的设备、系统和方法。
在一些实施方式中，远程眼动追踪设备基于单个主动照明源和深度信息来识别3D坐标系中沿着凝视方向的两个位置（例如，角膜中心和眼球旋转中心）来确定凝视方向；在一些实施方式中，基于活动照明源和来自深度传感器深度信息的闪烁来确定第一位置（例如，角膜中心），并且使用RGB传感器（例如，环境光）和深度信息来确定第二位置（例如，眼球旋转中心）；在一些实施方式中，基于相同主动照明源的单个传感器确定第一位置（例如，角膜中心）和第二位置（例如，眼球旋转中心），并且单个传感器确定深度信息和闪烁信息。
在一些实施方式中，远程眼动追踪确定3D坐标系统中的头部姿态，确定3D坐标系统中眼睛的位置（例如，眼球旋转中心），然后识别头部姿态和眼睛的位置之间的空间关系；在一些实施方式中，空间关系是唯一确定的（例如，用户特定的变换）；在一些实施方式中，以远程眼动追踪的登记模式确定空间关系。随后，在一些远程眼动追踪模式的实施方式中，仅使用特征检测图像（例如，RGB相机图像）和空间关系来执行远程眼动追踪。在一些远程眼动追踪模式实施方式中，深度信息和主动照明被关闭（例如，减少功耗）。
远程眼动追踪的一个用途是在用户凝视的方向上识别设备上的关注点（POR），例如，凝视方向与设备显示器相交的位置。POR可用于促进用户与设备的交互。例如，系统可以检测到用户凝视已经到达显示器的底部，并且作为响应，自动向下滚动以向用户显示更多内容。
本专利公开的一些实施方式涉及在具有一个或多个处理器、一个或多个图像传感器以及照明源的设备处，基于与眼睛的第一图像中的不同波长的光相关联的像素差异来检测眼睛的第一属性。这些实施方式基于来自深度传感器的深度信息来确定与三维（3D）坐标系中的第一属性相关联的第一位置。各种实施方式基于照明源的光从眼睛的角膜反射而产生的闪烁来检测眼睛的第二属性。这些实施方式基于来自深度传感器的深度信息确定与3D坐标系中的第二属性相关联的第二位置。
本专利公开的一些实施方式涉及在具有一个或多个处理器、一个或多个图像传感器以及照明源的设备处，基于与眼睛的第一图像中的不同波长的光相关联的像素差异来检测眼睛的第一属性，并且基于来自深度传感器的深度信息来确定在三维(3D)坐标系中与第一属性相关联的第一位置。各种实施方式基于在第二图像中检测到的头部（例如，面部特征）和来自深度传感器的深度信息来确定三维（3D）坐标系中的头部位置。
有关更多详细信息，请查看苹果授予专利11710350。
来源：patentlyapple
