眼动追踪中的坐标+追踪原理

原创 云深之无迹 2022-09-26 10:50
目前的追踪方案都是基于CV的,使用红外灯光打亮眼底,使用高帧率的相机来捕获光源在角膜上面的位置。其实这个不难,难点在多个坐标之间的转换,因为有些是固定的,有些是不固定的,这就需要各种转换了,这个也是我们的眼动中最重要也是最需要研究的东西。
开源眼动pupil
开源眼动追踪:GazeTracking(上:效果)
开源眼动追踪:GazeTracking(下:实现)
眼动书籍免费看!
EyeLoop基于Python的眼动仪(超棒)
开源眼动
所有注视数据都映射到与活动显示区域对齐的 2D 坐标系中。将眼动仪与监视器一起使用时,活动显示区域是不包括监视器框架的显示区域。对于在没有显示器的情况下使用的眼动仪,活动显示区域是在对用户眼睛进行眼动仪校准时用于显示校准点的区域。
活动显示坐标系的原点是活动显示区域的左上角。点 (0, 0) 表示左上角, (1, 1) 表示右下角。


主动显示坐标系 (ADCS)

大多数描述 3D 空间坐标的数据,来自 Tobii 的基于屏幕的眼动仪,都在所谓的用户坐标系或简称 UCS 中给出。UCS 是一个基于毫米的系统,其原点位于眼动仪正面的中心。
坐标轴的方向如下:x 轴水平指向用户的右侧,y 轴垂直指向用户的上方,z 轴指向用户,垂直于眼动仪的前表面。


用户坐标系 (UCS)

跟踪框是眼动仪理论上能够跟踪眼睛的体积。因此,用户可以自由移动头部,并且只要眼睛保持在框内,就仍然可以跟踪。在 SDK 中,有一些方法可以找出轨道盒体积的大小和位置,以及眼睛在其中的位置。用于描述眼睛在轨迹框内的位置的坐标系称为轨迹框坐标系(TBCS)。
TBCS 是一个归一化坐标系,在这种情况下,这意味着 trackbox 的对角坐标为 0,0,0(最靠近眼动仪的右上角)和 1,1,1(左下角) ,最远,角)分别。
坐标轴的方向如下:x 轴水平指向用户左侧,y 轴垂直指向用户下方,z 轴指向用户。


轨道盒坐标系 (TBCS)

使用眼动仪时,最感兴趣的通常是注视,即一个人在看什么。但是,一个人不会将事物视为空间中的一个点,而是将其视为向量方向内的所有事物,该向量从被跟踪的人的眼睛开始,并在它碰到不透明的物体时结束。我们称之为凝视向量。(这是一种简化,因为它假设你只能看到中央凹中心记录的内容。)
视线来源
为左眼和右眼分别提供注视原点,并描述注视矢量开始的位置。三个浮点值分别用于描述 x、y 和 z 坐标。对于基于屏幕的眼动仪,位置总是在用户坐标系中描述,有时在跟踪框坐标系中。
凝视点
注视点是为左眼和右眼分别提供的,它描述了活动显示区域平面与源自与注视矢量方向相同的注视原点的线之间的交点位置。注视点的坐标在用户坐标系中作为 3D 点给出,在活动显示坐标系中作为归一化的 2D 点给出。
凝视矢量
对于基于 HMD 的眼动仪,没有活动显示区域,因此无法计算注视点(如上所述)。相反,注视由(标准化)注视向量描述。分别为左眼和右眼提供注视矢量。注视向量源自注视原点,在HMD 坐标系中进行了描述。

这里需要写一下中HMD的眼动仪,我去找图哈~


这个就是所谓的HMD眼动仪


HMD 坐标系是一个基于毫米的系统,其原点位于 HMD 设备的镜头之间的一点,与每个镜头中心的距离相等。
坐标轴方向如下:从佩戴者的角度看,x 轴水平指向左侧,y 轴垂直向上指向,z 轴指向(向前)远离 HMD,垂直到 HMD 跟踪器的镜头。


追踪区域和前面的眼动有些不一样


HMD Tracking Area 是一个标准化的二维坐标系,其原点 (0, 0) 在右上角(从佩戴者的角度来看),而 (1, 1) 在左下角。每只眼睛应位于跟踪区域的中间,坐标为 (0.5, 0.5)。

瞳孔大小定义为瞳孔的实际内部物理大小,而不是从外部看眼睛时看起来的大小。记住这一点很重要,因为如果你从外部看到相同的内部瞳孔大小可能会有所不同,具体取决于你从哪个角度看眼睛。这是因为眼睛的前部基本上是一个透镜,通过它你可以看到瞳孔。根据你通过镜头观察的角度,瞳孔或多或少会出现扭曲。
然而,在大多数科学研究中,瞳孔的实际大小不如其随时间变化的大小重要。在眼动追踪会话期间记录瞳孔大小的变化。瞳孔直径数据分别为左眼和右眼提供,是对瞳孔大小的估计,以毫米为单位。

眼睛张开度定义为上下眼睑之间可以安装的最大球体的直径(以毫米为单位)。上下眼睑由巩膜和睫毛/眼睑结构之间的对比线定义。


大眼睛

这里再补一个眼动仪器的原理:


瞳孔中心角膜反射 (PCCR)。基本概念是使用光源照亮眼睛,引起高度可见的反射,并使用相机捕捉显示这些反射的眼睛图像。然后使用相机捕获的图像来识别光源在角膜(闪光)和瞳孔中的反射。然后可以计算由角膜和瞳孔反射之间的角度形成的向量——这个向量的方向,结合反射的其他几何特征,然后用于计算注视方向。

近红外照明用于在对象眼睛的角膜和瞳孔上创建反射图案,并且图像传感器用于捕获眼睛的图像和反射图案。然后使用图像处理算法和眼睛的生理 3D 模型以高精度估计眼睛在空间中的位置和注视点。


结合上面的一些坐标空间的概念就可以看到这个东西的意思啦


我之前写过一个pupill的眼动仪,这个是单眼追踪的方案


(A)当以球形坐标表示地面真实注视方向dgt时,可以将其可视化为球体上的一个点(参见上下面板中的蓝色圆盘;两个面板都显示相同的球体部分,尽管从不同的角度)。将瞳孔不可见注视估计管道应用于相应的并发左眼和右眼图像对,导致注视估计d dev,它们分布在地面真实值(上下面板中的红色圆盘)周围。

(B) 正交投影到局部切线平面中,有效地展平了球体的曲率。因此,凝视估计值可以被视为 2D 平面中的点(白色圆盘)。因此,它们会产生点的2D分布,这可以通过2D高斯(密度显示为热图)来解释。


打完收工!

https://baijiahao.baidu.com/s?id=1732318453910117489&wfr=spider&for=pc
https://www.tobiipro.com/learn-and-support/learn/eye-tracking-essentials/how-do-tobii-eye-trackers-work/
https://github.com/tobiipro?q=topic%3Aprosdk-addons
https://developer.tobiipro.com/tobiiprosdk/whatsnew.html


评论
  •   在信号处理过程中,由于信号的时域截断会导致频谱扩展泄露现象。那么导致频谱泄露发生的根本原因是什么?又该采取什么样的改善方法。本文以ADC性能指标的测试场景为例,探讨了对ADC的输出结果进行非周期截断所带来的影响及问题总结。 两个点   为了更好的分析或处理信号,实际应用时需要从频域而非时域的角度观察原信号。但物理意义上只能直接获取信号的时域信息,为了得到信号的频域信息需要利用傅里叶变换这个工具计算出原信号的频谱函数。但对于计算机来说实现这种计算需要面对两个问题: 1.
    TIAN301 2025-01-14 14:15 121浏览
  • ARMv8-A是ARM公司为满足新需求而重新设计的一个架构,是近20年来ARM架构变动最大的一次。以下是对ARMv8-A的详细介绍: 1. 背景介绍    ARM公司最初并未涉足PC市场,其产品主要针对功耗敏感的移动设备。     随着技术的发展和市场需求的变化,ARM开始扩展到企业设备、服务器等领域,这要求其架构能够支持更大的内存和更复杂的计算任务。 2. 架构特点    ARMv8-A引入了Execution State(执行状
    丙丁先生 2025-01-12 10:30 485浏览
  • PNT、GNSS、GPS均是卫星定位和导航相关领域中的常见缩写词,他们经常会被用到,且在很多情况下会被等同使用或替换使用。我们会把定位导航功能测试叫做PNT性能测试,也会叫做GNSS性能测试。我们会把定位导航终端叫做GNSS模块,也会叫做GPS模块。但是实际上他们之间是有一些重要的区别。伴随着技术发展与越发深入,我们有必要对这三个词汇做以清晰的区分。一、什么是GPS?GPS是Global Positioning System(全球定位系统)的缩写,它是美国建立的全球卫星定位导航系统,是GNSS概
    德思特测试测量 2025-01-13 15:42 521浏览
  • 食物浪费已成为全球亟待解决的严峻挑战,并对环境和经济造成了重大影响。最新统计数据显示,全球高达三分之一的粮食在生产过程中损失或被无谓浪费,这不仅导致了资源消耗,还加剧了温室气体排放,并带来了巨大经济损失。全球领先的光学解决方案供应商艾迈斯欧司朗(SIX:AMS)近日宣布,艾迈斯欧司朗基于AS7341多光谱传感器开发的创新应用来解决食物浪费这一全球性难题。其多光谱传感解决方案为农业与食品行业带来深远变革,该技术通过精确判定最佳收获时机,提升质量控制水平,并在整个供应链中有效减少浪费。 在2024
    艾迈斯欧司朗 2025-01-14 18:45 82浏览
  • 根据Global Info Research(环洋市场咨询)项目团队最新调研,预计2030年全球无人机电池和电源产值达到2834百万美元,2024-2030年期间年复合增长率CAGR为10.1%。 无人机电池是为无人机提供动力并使其飞行的关键。无人机使用的电池类型因无人机的大小和型号而异。一些常见的无人机电池类型包括锂聚合物(LiPo)电池、锂离子电池和镍氢(NiMH)电池。锂聚合物电池是最常用的无人机电池类型,因为其能量密度高、设计轻巧。这些电池以输出功率大、飞行时间长而著称。不过,它们需要
    GIRtina 2025-01-13 10:49 211浏览
  • 数字隔离芯片是现代电气工程师在进行电路设计时所必须考虑的一种电子元件,主要用于保护低压控制电路中敏感电子设备的稳定运行与操作人员的人身安全。其不仅能隔离两个或多个高低压回路之间的电气联系,还能防止漏电流、共模噪声与浪涌等干扰信号的传播,有效增强电路间信号传输的抗干扰能力,同时提升电子系统的电磁兼容性与通信稳定性。容耦隔离芯片的典型应用原理图值得一提的是,在电子电路中引入隔离措施会带来传输延迟、功耗增加、成本增加与尺寸增加等问题,而数字隔离芯片的目标就是尽可能消除这些不利影响,同时满足安全法规的要
    华普微HOPERF 2025-01-15 09:48 107浏览
  • 01. 什么是过程能力分析?过程能力研究利用生产过程中初始一批产品的数据,预测制造过程是否能够稳定地生产符合规格的产品。可以把它想象成一种预测。通过历史数据的分析,推断未来是否可以依赖该工艺持续生产高质量产品。客户可能会要求将过程能力研究作为生产件批准程序 (PPAP) 的一部分。这是为了确保制造过程能够持续稳定地生产合格的产品。02. 基本概念在定义制造过程时,目标是确保生产的零件符合上下规格限 (USL 和 LSL)。过程能力衡量制造过程能多大程度上稳定地生产符合规格的产品。核心概念很简单:
    优思学院 2025-01-12 15:43 551浏览
  • 随着数字化的不断推进,LED显示屏行业对4K、8K等超高清画质的需求日益提升。与此同时,Mini及Micro LED技术的日益成熟,推动了间距小于1.2 Pitch的Mini、Micro LED显示屏的快速发展。这类显示屏不仅画质卓越,而且尺寸适中,通常在110至1000英寸之间,非常适合应用于电影院、监控中心、大型会议、以及电影拍摄等多种室内场景。鉴于室内LED显示屏与用户距离较近,因此对于噪音控制、体积小型化、冗余备份能力及电气安全性的要求尤为严格。为满足这一市场需求,开关电源技术推出了专为
    晶台光耦 2025-01-13 10:42 522浏览
  • 流量传感器是实现对燃气、废气、生活用水、污水、冷却液、石油等各种流体流量精准计量的关键手段。但随着工业自动化、数字化、智能化与低碳化进程的不断加速,采用传统机械式检测方式的流量传感器已不能满足当代流体计量行业对于测量精度、测量范围、使用寿命与维护成本等方面的精细需求。流量传感器的应用场景(部分)超声波流量传感器,是一种利用超声波技术测量流体流量的新型传感器,其主要通过发射超声波信号并接收反射回来的信号,根据超声波在流体中传播的时间、幅度或相位变化等参数,间接计算流体的流量,具有非侵入式测量、高精
    华普微HOPERF 2025-01-13 14:18 511浏览
  • 新年伊始,又到了对去年做总结,对今年做展望的时刻 不知道你在2024年初立的Flag都实现了吗? 2025年对自己又有什么新的期待呢? 2024年注定是不平凡的一年, 一年里我测评了50余块开发板, 写出了很多科普文章, 从一个小小的工作室成长为科工公司。 展望2025年, 中国香河英茂科工, 会继续深耕于,具身机器人、飞行器、物联网等方面的研发, 我觉得,要向未来学习未来, 未来是什么? 是掌握在孩子们生活中的发现,和精历, 把最好的技术带给孩子,
    丙丁先生 2025-01-11 11:35 466浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦