浸入“现实”，苹果眼睛跟踪系统揭秘

虚拟现实（VR）允许用户体验或与沉浸式人工环境进行交互，使得用户有身处现实中的感觉。随着5G的到来，虚拟现实将发挥重要作用，但是由于当前一些VR设备沉浸式环境较差、用户体验不好的影响，导致虽然传统VR设备的需求有所锐减。

为了解决这一问题，苹果公司之前就申请了一项名为“眼睛跟踪系统”的发明专利（申请号为：201780064399.1），申请人为苹果公司。它主要用于检测头戴式显示器（HMD）中用户眼睛的位置和运动的眼睛跟踪系统。

图1

图2

上面两图展示出了用于VR/AR HMD的眼睛跟踪系统。VR/AR HMD 100主要包括安装在外壳中的显示器110和两个目镜透镜120。目镜120在接近其光学无限远处形成所显示的内容的虚拟图像，用户可以通过目镜120看到显示器110所显示的内容。在眼睛跟踪相机140的操作中，我们使用了两个不同的相机光路。如图1所示，在第一相机光路中，相机140通过目镜120捕获光；而图2所示的光路中，相机140可以直接捕获用户眼睛的直接视图。但它们各自有优缺点，比如图1可以通过目镜视图允许眼睛可以看到更居中的视图，但是必须处理由目镜引入的眼睛图像中的失真。而图2的直接视图不穿过目镜，但是可从倾斜位置朝眼睛看，由于失真、不足的景深和遮蔽，这可引起极端注视角度处的眼睛特征的减少的检测精度。

该系统主要操作流程如下所示。

图3

首先HMD的光源发射近红外（NIR）光以照射用户的眼睛，然后NIR光的一部分从用户的眼睛反射到位于HMD的光学透镜(目镜)面向眼睛的表面处或附近的热镜。接着，热镜会反射一部分NIR光，同时允许可见光经过。最后再通过多个近红外相机捕获由热镜反射的用户的眼睛的图像。

图4

图4是VR/AR系统1900的部件框图，它主要包括头戴显示器（HMD） 2000和外部设备2100。

其中HMD中的投影仪2020用来显示左右图像的帧，而此帧可以由用户通过左右两个目镜观看的屏幕或左右显示器上来获得。同时，为了在3D虚拟视图中创建3D效果，两个图像中不同深度或距离的对象可作为距离的三角测量的函数，来进行左右偏移，其中较近的对象比更远的对象偏移得更多。该系统中的控制器2030包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。主要用于实现VR/AR系统1900的功能，并且生成由投影仪2020显示的帧(每个帧包括左右两张图像)。该系统也包括用来存储系统操作的软件和数据的存储器。另外头戴式显示器（HMD）2000主要通过有线/无线接口与外部设备2100（如：台式计算机、笔记本、平板、智能电话、游戏系统等等）进行数据交互。

该系统可以利用VR的模拟环境为多种应用提供交互式用户体验，比如将虚拟内容添加到观看者的环境的实时视图的应用、与虚拟训练环境进行交互的应用、与因特网交互的应用等等，极大的方便了人们生活，同时小编也希望在不久的将来VR设备可以更加智能化，更加人性化，并且能尽快的应用到更多的场景中来。