人工智能微型显示器“NeuralDisplay”可以减少AR产生的视觉缺失等问题

ISTOCK

现代增强现实（AR）和虚拟现实（VR）设备的像素数可达到数千万。然而，这仍然不能保证图像清晰。用户在使用时经常会眯起眼睛，或处于模糊的混乱，甚至在某些情况下会逐渐产生恶心感。

来自马萨诸塞州Westborough的微型显示器制造商KOPIN与麻省理工学院计算机科学与人工智能实验室合作，或探究出了一个解决方案：NeuralDisplay。它将眼动追踪与机器学习相结合，在没有额外光学器件的情况下实时补偿用户的视觉。

KOPIN首席执行官Michael Murray表示：“我们考虑到，如何为用户改变技术，而不是让用户尝试改变自己来适应技术呢？得到的答案是利用人工智能。”

• 可根据用户眼睛进行调整的显示器

第一款NeuralDisplay是一款1.5英寸见方的微型OLED，分辨率为3840 x 3840，最大亮度为10000坎德拉。这些规格使其与其他领先的微型OLED（如索尼的1.3英寸4K微型OLED）并驾齐驱。它还有一个不同寻常的四像素排列，将红色、蓝色和绿色子像素放在包含像素成像器的第四个像素旁边。

KOPIN

像素成像器不起显示元件的作用。它有一个不同的任务：测量用户眼睛反射的光。它在概念上与数码相机相似，但执行起来更简单，因为成像器以单色操作，并专注于测量亮度。这足以推断出用户眼睛的细节，包括他们凝视的方向、眼睛相对于屏幕的位置以及瞳孔的扩张。

这些测量结果输入到一个人工智能模型中，该模型学习通过调整显示器的亮度和对比度来补偿每个用户的视觉怪癖。Murray说：“把它想象成两个旋钮，亮度和对比度，我们可以实时转动。” 像素成像器继续读取读数，这些读数被反馈到机器学习算法中，以不断调整图像。眼动追踪功能是在系统中有一个反馈回路。这些变化有什么不同吗？用户体验是什么样的？

数据不会发送到云端，甚至不会发送到连接的设备，而是由集成在显示器中的车载人工智能加速器处理。为了以人类视觉所需的速度处理数据，将数据保持在本地是必要的。Murray说，人脑可以在500微秒内解释它所看到的东西，之后耳机的光学系统引起的问题就很明显了。将人工智能加速器放置在板上可以控制延迟，并确保人工智能模型可靠地获得新数据。

• 揭开头戴设备的神秘面纱

NeuralDisplay的制造商承认，它并不是万能的，它补偿近视或远视的能力也不确定。Murray说：“我们仍在测试这一部分。但该显示器可以帮助解决使用AR/VR耳机时导致恶心、不适和定向障碍的其他常见问题。例如，我对Apple Vision Pro的问题是，我的右眼在我所做的一切中都占主导地位。如果你把两个完美的显示器放在我眼前，我会感到恶心，因为我的大脑无法处理左眼的那种细节。”

这是一个常见的问题。几乎每个人都有一只主导的眼睛，其中右眼的概率高于左眼。这并不是AR/VR设备难以适应的视觉的唯一方面。头戴设备工程师还必须考虑瞳孔间距（每个瞳孔中心之间的距离）、眼睛深度和脸型的差异。

目前大多数耳机都试图通过改变耳机形状和大小的物理调整来纠正这些差异。Meta Quest 3的用户可以转动旋钮调整耳机，使其瞳孔间距在53至75毫米之间（Meta声称这可容纳95%的用户）。它还有“眼部舒缓”按钮，可以根据眼睛的深度进行调整。

这些功能很有用，但很麻烦，并且支持有限的调整范围。它们还依赖于手动调整或使用简单的自动调整，这需要用户对系统的工作方式有一些了解。那些不知道如何调整耳机的人，或者不知道这是可能的，很可能会感到不适。NeuralDisplay的自动显示水平调整可以消除用户干预的需要，使AR/VR耳机更易于使用。

Murray说：“最终，在一件电子产品中放入更多的镜片（以矫正用户的视力）违反了消费电子产品的尺寸、重量、功率和可用性定律。我们正试图改写这个方程式。”