增强现实（AR）和虚拟现实（VR）技术近年在产业界和学术界吸引了极高的关注度，它们丰富了现实世界环境，或用模拟环境替代现实世界。然而，AR/VR设备存在的端到端延迟会严重影响用户体验。尤其是动显延迟（Motion-to-photons latency，定义为从用户发生动作到该动作触发的反馈显示在屏幕上所需要的时间），它是限制AR/VR应用的主要挑战之一。例如，动显延迟高于20 ms就会导致用户恶心或眩晕。
因此，减少动显延迟对于改善用户的虚拟体验至关重要。减少动显延迟的一种常见方法是通过预判用户的移动来预测未来的头部方向，使AR/VR设备能够提前渲染接下来的场景。因此，开发能够在AR/VR设备中准确预测头部方向的算法至关重要。当然，除了AR/VR应用，方向预测在无人机、机器人和导航系统等其他实际应用中也至关重要。
方向预测需要利用各种测量源（例如惯性传感器或单目/立体相机）的信息来预先估算当前方向。例如，之前已有研究合并利用惯性传感器和相机测量数据以估算物体的方向，其中惯性传感器用于通过积分测量来确定方向，而相机输出用于补偿误差。然而，相机视觉信息增加了估算过程的复杂性，不适合资源有限的设备。
此外，照明变化也会影响基于相机的算法性能。MEMS技术的进步推动了惯性测量单元（IMU）的小型化和经济性。凭借其高采样率、低延迟和小尺寸，IMU已被用于现代AR/VR设备，以获取用于定位和方向的数据。
头部方向预测示意图
商用IMU通常包括三轴陀螺仪、三轴加速度计和/或磁力计。陀螺仪测量角速度并随时间进行积分以确定方向角。然而，积分过程也会累积传感器误差；因此，随着时间的推移，估算方向会偏离真实方向，影响可靠性。加速度计用于测量地球的引力场来克服这个问题，从而产生用于校正估算方向的参考矢量。测量地球磁场的磁力计也用于校正角速度。不过，由于其对磁干扰（如金属或电气设备产生的磁干扰）非常敏感，使其适用性受到限制。
此外，已有研究利用IMU基于卡尔曼滤波（KF）和粒子滤波（PF）开发了多种用于AR/VR设备的方向预测算法。基于卡尔曼滤波的算法通过递归地执行两步预测和校正来导出最优估计。在预测步骤中，滤波器预测未来方向及其不确定性。一旦观察到实际测量结果，就使用加权平均来校正预测，其中不确定性较低的估计值被分配更大的权重。相比之下，粒子滤波是一种递归贝叶斯状态估算模型，利用随机样本表示系统状态的概率密度函数。因为粒子滤波可以以任何形式使用状态空间模型，所以它们可以应用于广泛的模型。然而，尽管粒子滤波更复杂，但与卡尔曼滤波相比，粒子滤波并未表现出显著的改进。
因此，卡尔曼滤波更常用于方向估算和预测。由于标准卡尔曼滤波是仅在线性假设下的最优估算，因此其变体，例如扩展卡尔曼滤波（EKF）和无迹卡尔曼滤波（UKF），广泛用于非线性系统中的方向预测。特别是扩展卡尔曼滤波通过将基于先前估算的状态转移函数线性化到当前估算来预测方向。
然而，当状态转移和观测模型高度非线性时，扩展卡尔曼滤波可能由于不确定度的传播而表现出较差的性能。在无迹卡尔曼滤波中，线性化被称为无迹变换的确定性采样方案所取代，该方案在均值附近选择一组采样点。因此，基于无迹卡尔曼滤波的算法不适用于AR/VR等计算能力有限的设备。
据麦姆斯咨询介绍，韩国东国大学多媒体工程系的一支研究团队近期提出了一种新的方向预测算法，通过解决传统预测算法的局限性来提高预测精度。所提出的算法通过从当前方向估算线性位移及随后的调整来补偿线性预测引起的误差。
当前预测基于先前预测的准确性进行调整。为此，确定先前线性预测和当前方向之间的方向差异。然后，研究人员定义了一个权重矩阵，基于方向差确定当前预测的最优调整。
与卡尔曼滤波的推导相似（不确定性较低的差异被分配更大的权重），使用当前和先前预测的方向之间的预测误差，获得最佳权重矩阵作为最小均方误差（MMSE）估算。
总体来说，研究人员提出了一种配备IMU（包括三轴陀螺仪和三轴加速度计）、基于类卡尔曼误差补偿的AR/VR设备方向预测算法。这项研究的主要贡献是基于先前的预测精度提高当前的预测精度，并基于方向差确定预测的最佳调整。实验结果表明，该算法在多个开放数据集上优于传统的方向预测算法。
延伸阅读：
《消费类MEMS惯性测量单元（IMU）产品对比分析-2022版》
