浅谈苹果Vision Pro核心“眼动跟踪技术”

据麦姆斯咨询报道，美国专利商标局近日公开了苹果（Apple）公司申请的一系列新专利，涉及苹果首款混合现实（MR）头显Vision Pro的眼动跟踪系统、光栅显示、手部追踪等当前及未来的迭代。其中，一份专利涵盖了通过确定人眼反射的闪光位置来识别眼睛特征（例如凝视方向、眼睛方位等）所涉及的器件、系统和方法。苹果公司的眼动跟踪技术是苹果Vision Pro如此神奇的核心之一。

苹果公司在专利背景技术中介绍称，现有的眼动跟踪技术可以分析从用户眼睛反射并通过图像传感器捕捉的闪光。但是，由图像传感器捕捉的图像中呈现的闪光可能会出现饱和，例如，相对较强的光在眼睛表面反射产生的强闪光。这种饱和会影响系统准确测量闪光的质心，因而会阻碍现有眼动跟踪技术准确地确定闪光位置。使得现有眼动跟踪系统可能缺乏准确性，并且对机械冲击敏感。因此，需要一种能够更准确识别闪光的有效方法，例如，通过更准确地找到闪光质心。

利用多区透镜进行闪光分析

苹果公司新公开的这件发明专利（20230324587）涵盖了基于准确捕捉闪光位置来确定人眼特征（例如凝视方向、眼睛方位等）的器件、系统和方法。在方案中，闪光跟踪系统利用了多区透镜，具有分散图像传感器接收闪光能量的不同区域。通过使能量扩散，利用从其他饱和场点的光扩散（例如，扩散到在点扩散函数中的光晕中的光）来更准确地识别闪光质心，从而改善眼动追踪。此外，利用多区透镜扩散能量可以进一步减小由透镜像差、源功率、孔径偏心等引起的误差。

示例性头显设备（HMD）的系统框图

示例性眼动跟踪系统

专利介绍了本发明的一个创新方案：在具有处理器的电子设备中，通过眼睛的一部分反射光来产生闪光；在传感器处接收反射光，其中反射光在穿过具有第一区和第二区的多区透镜之后被接收，所述第一区和第二区具有不同的能量扩散特性；然后，基于所述传感器接收到的反射光来确定闪光位置，最后，基于所确定的闪光位置来确定用户的眼睛特性。

具有多区透镜的示例性眼动跟踪系统

在一些实施例中，多区透镜的第一区具有不同于第二区的曲率半径。在点扩散函数中，第一区的曲率半径相比第二区的曲率半径，可以更多地扩散所接收的光。第一区的曲率半径通过分配原本饱和场点的能量在该点扩散函数中产生分布的能量部分（光晕）。

用于眼动跟踪系统的示例性多区透镜

第一区在点扩散函数中产生分布式能量部分，而第二区在点扩散函数中产生聚焦能量部分。第一区包括一定倾斜，使得分布式能量部分与点扩散函数中的聚焦能量部分分离。

用于眼动跟踪系统的多区透镜的示例性彗形像差

确定闪光的位置包括确定接收到的光的质心。确定眼睛特性，包括基于确定多个闪光位置来确定眼睛的多个部分的位置。更详细的专利内容请参考专利公开原文。

编辑：黄飞