AR/VR行业兵家必争之地（上）-眼动追踪应用大全

由于光场显示器的光学器件中的缺陷，当通过光学器件显示时，渲染引擎中的完美三维网格可能变得失真。为了识别和校正预期图像与实际显示图像之间的失真，可以使用显示系统投影校准图案，例如棋盘图案。目前当眼睛直视波导显示器时（眼睛处于波导正前方时），计算机能够有效的校准图像。但对于其他的眼睛姿势、注视方向或位置则校准不太准确。因此，显示器的校准可能取决于眼睛与显示器的相对位置或眼睛方向。如果仅使用单个（例如，基准）位置的校准，则可能存在当佩戴者朝向不同位置（例如，远离基准位置）时未校正的错误。

示出了在投影校准图案时可能发生的示例性失真

示出了可以生成的另一示例矢量场，以使所显示的成像位置和预期图像位置之间的失真可视化

示例XY平移空间误差

解决方案和效果：利用眼动追踪技术实时获取眼睛的注视方向，根据眼睛的注视方向或位置动态的校准的智能眼镜显示的图像。可根据眼睛位置（或在某些情况下的眼睛方向）动态校准虚拟影像的空间位置或颜色。动态校准可以补偿（或校正）显示器的视场中的空间误差和/或彩色（颜色）误差。例如，空间误差可以包括平面内平移，旋转，缩放或扭曲误差以及平面外（例如，焦深）误差。色度误差可以包括可以显示的每种颜色的亮度平坦度或色度均匀性误差（例如，R，G和B）。

参考文献：

深入AR系统构建，为啥AR显示技术发展这么慢，这么难：

https://www.linkedin.com/pulse/why-making-good-ar-displays-so-hard-daniel-wagner/ trackingId=ak3AnPVYQCyTEzZq2F0bwg%3D%3D

Magic leap专利：基于眼动追踪的动态校准 NO. US 20190226839

索尼专利：眼动追踪的实时镜头像差校正 NO. US 20190250409

索尼专利：信息处理方法和程序 NO.US 20190149811

Face book专利:基于头戴式显示器中用户眼动的光学影像校正 NO.US 10317680

1.3 调整图像帧（优化波导的彩虹现象）

原因：当用户的注视方向快速变化时，智能眼镜所呈现的影像可能模糊或者出现不良的颜色（伪影）。通常智能眼镜光波导镜片可能是由3层或者更多层镜片堆叠而成，三种单元色分别被不同的三个波导镜片传导，最终三种单元色在眼睛上合成为有色彩的图像。如果全息虚拟影像的帧速率足够高，并且用户的眼睛没有移动或者相对于显示器上的图像移动相对较慢（例如，视网膜速度相对较慢），则用户在观察智能眼镜的虚拟影像时无法察觉不良的体验。

另一方面，如果用户的眼睛相对于显示器上的图像（例如，整个图像的对象或特定部分）相当快速地移动（例如，由眼睛的旋转运动引起的相对较快的视网膜速度），例如眼跳运动、扫视运动、平移头部运动等，用户会察觉到不良的伪影现象（彩虹现象），例如模糊和/或彩虹效果。这种伪影现象是由于所显示的图像的组件原色（例如红色，绿色和蓝色）在不同时间到达观察者的视网膜。如果眼睛没有跟踪图像，则可能发生这种情况。即使在每秒60帧的高帧速率下，来自显示器的红色，绿色和蓝色信息也可以相隔5.5毫秒到达视网膜。眼睛移动得越快，彩虹效果或“图像分裂”就越严重。

因此，由于眼睛视网膜和智能眼镜的影像之间的相对运动过快造成了波导显示的彩虹现象。

解决方案和效果：基于眼球移动的速度、加速度来修改用户观看的图像帧的显示时间。通过眼动追踪设备检测到眼球正在快速的平滑的移动时或者扫视某物体时，则智能眼镜显示器提高虚拟影像的帧率。

参考文献：

微软专利：基于眼睛追踪运动调整图像帧NO. US 10338677

1.4 影像深度信息

原因：我们已知用户通过AR智能眼镜能够看到叠加在真实世界虚拟的影像，那么如何能够使看到的虚拟物体具有空间的景深感，可以给用户更好视觉体验感。如果此时光学显示器展示的虚拟影像与虚拟深度信息不对应时（例如AR/VR头显的显示屏始终都与我们的眼睛保持固定的距离），这导致了一个名为“视觉辐辏调节冲突”的问题，及人眼可能经历调节冲突，导致不稳定的成像，有害的眼睛疲劳，头痛，同时观察者可能无法在一个瞳孔尺寸处清楚地感知两个不同深度平面的细节。那么如何确定用户此时的视觉深度信息呢？

解决方案和效果：在多平面聚焦系统或可变平面聚焦系统中，智能眼镜可以采用眼睛跟踪来确定用户眼睛的聚散度和瞳孔大小，以此确定用户的当前焦点，并将虚拟图像投影到所确定的焦点。深度平面或景深的数量和分布可以基于观察者的眼睛的或注视方向动态地改变。这里所用到的智能眼镜显示器指的为可变焦光学元件或者是由多个深度的波导镜片堆叠而成的光学显示器。

视觉调节是指弯曲眼睛晶状体以聚焦不同距离下的物体

（编辑：核心网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!