眼动追踪传感器选型

原创 云深之无迹 2022-12-14 15:37
我总结了几个可以买的到的传感器,而且也给出了几个传感器的选择标准。
1.高帧率,120Hz是标配
2.体积小巧,满足狭窄环境安装
3.功耗低,满足边缘计算的能力
4.近红外波段敏感,因为要对这个波段进行感光
5.黑白的就行,彩色没有这个必要
我说下为什么用黑白的:
第一,同样大小的像元,黑白传感器可以用较小的曝光时间获取理想的图像,这样可以减弱抖动以及飞行运动造成的影响(实际上NAV相机就是采用控制曝光时间来减弱运动模糊的,这个是VIO);
第二,同样的像素个数,黑白传感器可以比彩色传感器获得更高的空间分辨率,彩色传感器因为颜色插值的原因会使分辨率降低大约30%左右。当然还有别的原因,如黑白图像数据量小,处理起来运算量小,实时性高等。
我推荐的是OVM6211,OVM7251,实验可以使用OV7251.
因为最容易买到的就是OV7251,所以接下来就重点说这个。
首先要知道这个CMOS的像素是30W。
来自豪威科技的OV7251-2B全局快门图像传感器是一款3.0微米的传感器,采用1/7.5英寸光学格式,120fps提供640×480分辨率,并具有单通道MIPI串行输出接口。这个也就是我选择的一个原因。
这款产品同时能够以180 fps提供具有BIN模式的QVGA(320×240),以及以360fps提供具有BIN和SKIP模式的QQQVGA(160×120)。
传感器可提供99.96%的快门效率,并具有光导功能,可改善光捕获的角度响应,从而实现更优秀的光学性能。
利用业界最小的全局快门像素,黑白 OV7251 能够以每秒 120 帧 (fps) 的速度捕获 VGA (640×480) 分辨率视频,以 180 fps 的速度捕获 QVGA (320×240) 视频,以及 QQVGA (160 ×120) 以 360 fps 进行合并和跳跃。OV7251 的高帧率使其成为低延迟机器视觉应用的理想解决方案。
对,这个全局快门我也要写一下:

可以看到这个全局快门在拍运动的物体的时候是很有效的

这个是OV6211

这个是OVM7251

OVM7251表面图

OVM7251有两个版本:

用于AR/VR眼动追踪的850nm模型;支持面部认证中的机器视觉与3D感知的940nm模型。将OVM7251用于支持AR/VR头显实现眼动追踪,设计者可以编程系统集成渲染注视点位置,并降低周围图像的分辨率,从而进一步节省功耗。

另外在Pico 3NEO版本的环境摄像头也是使用的这个模组,就是透视模式使用的摄像头,大家有机器的可以体验一下。

卷帘快门传感器的设计是为了捕捉静态图像和视频拍摄,因此拥有非常高的分辨率和颜色处理能力。但其缺点在于,它是逐行拍摄图像,拍摄和曝光时间过长,如果拍摄对象是汽车这样的快速移动物体,图像可能发生扭曲,而且功耗过高,不适合用于计算机视觉。

而全局快门的原理则完全不同,它是一次拍摄整幅图像,所有像素同时曝光。而且成像效果准确,曝光时间短,功耗也低,未来计算机视觉将走向全局快门。

卷帘快门像素点常见的在1.1微米以下,而全局快门通常在2.2微米以上。

这个OV6211其实是专门设计给眼动追踪的传感器

这个是它的一个帧率参数

1/7.5英寸的OV7251具有多种低功耗模式,包括光感应模式和超低功耗待机模式。在光感测模式下,OV7251 的行为类似于环境光传感器 (ALS),仅当检测到光变化时才将传感器从“睡眠模式”唤醒。同样,在超低功耗模式下,传感器可以降低分辨率和帧率以进一步降低功耗。
让我来总结一下:

这个传感器的输出频率是这样的

我不是很明白,是不是以为数据输出的带宽的原因,不过是可以按照一种固定的模式把感兴趣的图像来输出的。

这种提高帧率的方法叫:开窗方法其中最主要的当属ROI模式(Region of interest),ROI是在成像应用中,在相机传感器分辨范围内定义一个或多个感兴趣的窗口区域,仅对这些窗口内的图像信息进行读出,只获取该局部区域的图像。设定较小的ROI区域可以减少相机传送及计算机需要处理的图像信息量,并提高相机的采集帧率。

SKIP(Skipping mode),这种模式就是按照一定的规律,把想要的数据采集上来,把其余的数据扔掉。如下所示,column skip 2 row skip 2 留下的就是白色的像素,把黑色的像素丢掉。

这种模式会改变原有像元之间的相邻关系,所以对Bayer彩色的相机来说,会造成一定的颜色失真,所以它常见的应用就是预览,在工业实际中应用并不多。
第三种BIN(binning mode),就是把相邻的像素合成一个像素,然后再输出。如下所示,2 bin to 1 所有的像素都参与了新像素的生成。

低照度条件下,选择binning模式图像效果更佳,有点脑子就知道这个的。

这个是具体的OV采样模式

IR cut filter,即红外截止滤光片,它放在于LENS与Sensor之间。因人眼与CMOS Sensor对各波长的响应不同,人眼看不到红外光但sensor会感应,因此需要IR cut filter阻绝红外光。

这个是OV7251

6.5厘米的最小对焦距离有点不太行,太近了,这个是我找的一个模组的信息,不要较真。
输出的是MIPI的一路,妈的,要学的东西好多,头皮有点痒。

现在做demo也是可以的,这个距离

眼球追踪的几个阶段瞳孔检测算法的可视化。

1)眼睛图像转换为灰度、用户感兴趣区域(白色描边矩形)和初始值,瞳孔区域的估计(白色方块和虚线方块),这样的优点就是节省算力。

眼动追踪:梯度法精确定位眼中心(论文),也就是要看我写的这篇文章。

2)Canny边缘检测(绿色线)

3)定义“暗”区域为偏移眼睛图像直方图的最低峰值。

4)过滤边缘以排除光谱反射(黄色),而不是在“暗”区域(蓝色)

5)使用连接的组件提取边缘到轮廓,并根据曲率连续性准则(多色线)分割成子轮廓。

6)候选瞳孔椭圆(蓝色)通过椭圆拟合形成

7)通过增强组合搜索找到最终的椭圆拟合(最终椭圆与红色中心)-支持用白色绘制的边缘像素。

下面是插一个MIPI硬件设计时候的布线参考:

MIPI因为一种高速差分信号的接口,为了保证信号的同步和一致性,必须保证MIPI DP/DN保持等长,无论是线对与线对之间(pair to pair)还是单组信号的DP/DN之间,一般需要遵守的长度规则如下:camera pair to pair 100mil 单组之间:25mil。 在MIPI走线时,一般需要保持DP/DN在走线的过程中保持等距,保证一定的耦合程度,但是需要弄清楚的时,等长的优先级是高于等距的。且在走线时,线对之间要保持2W的距离。

注:MIPI在走线时优先级最高的是匹配等长,其余的都可以实际要求和应用进行灵活处理

LVDS也是我们使用CMOS的时候常见的数据输出接口:Low Voltage Differential Signal(低电压差分信号)

电压很低,1v左右,消耗资源少,差分信号保证抗干扰能力。
接口由1组差分clock和若干组差分信号线组成,既然有CLK,那么LVDS就是同步信号。LVDS的控制信号和数据信号复用接口,CLK是用于同步。既然是复用的,LVDS的协议中也一定有区分控制信号和数据信号的方法。
LVDS主要用于视频传输的两个领域:
camera和主控——视频采集
LCD和主控——视频显示
LVDS利用差分抗干扰能力,提升clock频率从而提升贷款,传输举例也更远,LVDS的时钟频率可以非常高。

话说找到一个MIPI+FPGA的方案商,这个宣传图咋感觉是DJI???

OV7251是很便宜的,做demo合适

这个是OVM7251,做产品合适,但是贵,要100+

这个是深圳一家眼动的厂子的模组,我不知道放这里是不是合适

但是它这个分辨率和帧率真的是看着还不错,不知道是哪款芯片

因为我找到了OV7251的数据手册,那这里也就看一下里面写了什么:

这个OV7xxx,有两个模组,一个是彩色,一个就是我们的这个,灰色的。

850nm正好是起始的波段

这个就是上面我发的图下面的引脚,这个其实对我来说意义不大

这个是MIPI接口下的分辨率和帧率

MIPI的时序

输出的时序控制

这个是使用FPGA的时候数据框图

像素矩阵的排列

除了RAW,也可以输出子采样的图像

硬件设计的时候,注意的参数

这么高的帧率,我们肯定是使用FPGA来处理的:

分辨率:640 x 480

数据格式:10位灰度

帧率:60fps (匹配显示器刷新频率)

通信- 控制接口:SCCB(I2C)

传输接口:1通道LVDS

速率:600Mbps

我们需要通过MCLK给摄像头提供时钟,RESET是复位线,PWDN在摄像头工作时应该始终为低。PCLK是像素时钟,HREF是行参考信号,VSYNC是场同步信号。一旦给摄像头提供了时钟,并且复位摄像头,摄像头就开始工作了,通过HREF,VSYNC和PCLK同步传输数字图像信号。数据是通过D0~D7这八根数据线并行送出的。

CMOS图像数据采集模块,需等待I2C协议对摄像头内部寄存器进行初始化。寄存器全部配置完成后,还需等待10帧数据,此等待10帧数据的目的是等待摄像头工作状态稳定。待寄存器配置生效、摄像头工作状态稳定后再开始采集图像。 

具体地,待等待帧数等于10时,会使能标志信号frame_val_flag,使得OV7251开始对采集的图像数据中相应范围0~76800(340×240)的8位像素点数据经拼接操作,转存到寄存器data2ram中,data2ram将输出拼接后的16位数据到SRAM模块的输入引脚dina。

这个就是一个简单的采集过程。

另外小米8也是使用了这个模组:增加了红外人脸解锁功能,还是依靠了听筒右边的补光灯和型号为OV7251 IR Sensor去实现这样一个功能,先照亮人脸,再去接收黑白的图像,然后再识别解锁。相比以往依靠前摄像头去解锁的话,小米8对于光线环境是没有要求的,这也依靠了红外线的活体检测能力,且同单纯的摄像头来对比,安全性会更高一些。

在这里

这里

这个传感器卖的是真的好!

接下来拆个Huawei P30的主传感器吧~

特写

和我手的比较

放大的CMOS引脚

换另一边

全挑断

破坏一下

全球第一个在华为P30传感器上面刻字的成就

安排

深圳还在下雨,有点回内蒙古的感觉了

https://javaforall.cn/194099.html
https://www.elecfans.com/d/858292.html
https://chuangke18.b2b168.com/s148909725.html
http://www.gowinsemi.com.cn/down.aspx?TypeId=94&Id=82
http://www.gowinsemi.com.cn/down.aspx?TypeId=141&Id=155
http://www.gowinsemi.com.cn/down.aspx?TypeId=139&Id=153
http://www.gowinsemi.com.cn/down.aspx?TypeId=140&Id=557
http://www.gowinsemi.com.cn/down.aspx?TypeId=730&Id=845
http://www.vmaya.com/qnews_m_topic_m_tskey_m_qn7506316096208248038.html
https://laoyaoba.com/n/830321
https://www.techinsights.com/products/pkg-2008-803
https://news.nweon.com/61829
https://blog.csdn.net/qq_28258885/article/details/119208454
https://bbs.elecfans.com/jishu_2067724_1_1.html
https://bbs.elecfans.com/jishu_1588888_1_1.html
https://www.ovt.com/products/ov7251/
http://t.zoukankan.com/ranson7zop-p-8250565.html
https://blog.csdn.net/weixin_39562089/article/details/112627919
https://new.qq.com/rain/a/20191205A05II700?pc
https://www.ovt.com/products/ov7251/

评论 (0)
  • 软瓦格化 RISC-V 处理器集群可加速设计并降低风险作者:John Min John Min是Arteris的客户成功副总裁。他拥有丰富的架构专业知识,能够成功管理可定制和标准处理器在功耗、尺寸和性能方面的设计权衡。他的背景包括利用 ARC、MIPS、x86 和定制媒体处理器来设计 CPU SoC,尤其擅长基于微处理器的 SoC。RISC-V 指令集架构 (ISA) 以其强大的功能、灵活性、低采用成本和开源基础而闻名,正在经历各个细分市场的快速增长。这种多功能 ISA 支持汽车、航空航天、国防
    ArterisIP 2025-04-14 10:52 82浏览
  • 你知道精益管理中的“看板”真正的意思吗?在很多人眼中,它不过是车间墙上的一块卡片、一张单子,甚至只是个用来控制物料的工具。但如果你读过大野耐一的《丰田生产方式》,你就会发现,看板的意义远不止于此。它其实是丰田精益思想的核心之一,是让工厂动起来的“神经系统”。这篇文章,我们就带你一起从这本书出发,重新认识“看板”的深层含义。一、使“看板”和台车结合使用  所谓“看板”就是指纸卡片。“看板”的重要作用之一,就是连接生产现场上道工序和下道工序的信息工具。  “看板”是“准时化”生产的重要手段,它总是要
    优思学院 2025-04-14 15:02 100浏览
  •   电磁干扰测试系统:电子设备电磁兼容性保障利器   北京华盛恒辉电磁干扰测试系统作为评估电子设备在电磁环境中电磁兼容性(EMC)的关键工具,主要用于检测与分析设备在电磁干扰环境下的性能表现,确保其符合相关标准,能够在实际应用中稳定运行。   应用案例   目前,已有多个电磁干扰测试系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润电磁干扰测试系统。这些成功案例为电磁干扰测试系统的推广和应用提供了有力支持。   系统组成   电磁干扰测试系统一般由以下核心部分构成:  
    华盛恒辉l58ll334744 2025-04-14 10:40 55浏览
  • 展会名称:2025成都国际工业博览会(简称:成都工博会)展会日期:4月23 -25日展会地址:西部国际博览城展位号:15H-E010科士威传动将展示智能制造较新技术及全套解决方案。 2025年4月23-25日,中国西部国际博览城将迎来一场工业领域的年度盛会——2025成都国际工业博览会。这场以“创链新工业,共碳新未来”为主题的展会上,来自全球的600+ 家参展企业将齐聚一堂,共同展示智能制造产业链中的关键产品及解决方案,助力制造业向数字化、网络化、智能化转型。科士威传动将受邀参展。&n
    科士威传动 2025-04-14 17:55 35浏览
  • 亥姆霍兹线圈的应用领域‌物理学研究‌:在原子物理中,用于研究塞曼效应;在磁学研究中,用于测试磁性材料的磁滞回线等特性;还可用于研究电子荷质比等实验‌。‌工程与技术领域‌:用于电子设备校准和测试,提供标准磁场环境;在大型加速器中用于磁场校准;用于电磁干扰模拟实验,测试电子设备在不同磁场干扰下的性能‌。‌生物医学领域‌:研究生物磁场效应,如探索磁场对生物细胞的影响;在生物医学工程基础研究中,提供可控磁场环境‌。‌其他应用‌:作为磁场发生装置产生标准磁场;用于地球磁场的抵消与补偿、地磁环境模拟;还可用
    锦正茂科技 2025-04-14 10:41 67浏览
  • 一、智能语音播报技术演进与市场需求随着人工智能技术的快速发展,TTS(Text-to-Speech)技术在商业场景中的应用呈现爆发式增长。在零售领域,智能收款机的语音播报功能已成为提升服务效率和用户体验的关键模块。WT3000T8作为新一代高性能语音合成芯片,凭借其优异的处理能力和灵活的功能配置,正在为收款机智能化升级提供核心技术支持。二、WT3000T8芯片技术特性解析硬件架构优势采用32位高性能处理器(主频240MHz),支持实时语音合成与多任务处理QFN32封装(4x4mm)实现小型化设计
    广州唯创电子 2025-04-15 08:53 36浏览
  • 一、磁场发生设备‌电磁铁‌:由铁芯和线圈组成,通过调节电流大小可产生3T以下的磁场,广泛应用于工业及实验室场景(如电磁起重机)。‌亥姆霍兹线圈‌:由一对平行共轴线圈组成,可在线圈间产生均匀磁场(几高斯至几百高斯),适用于物理实验中的磁场效应研究。‌螺线管‌:通过螺旋线圈产生长圆柱形均匀磁场,电流与磁场呈线性关系,常用于磁性材料研究及电子束聚焦。‌超导磁体‌:采用超导材料线圈,在低温下可产生3-20T的强磁场,用于核磁共振研究等高精度科研领域。‌多极电磁铁‌:支持四极、六极、八极等多极磁场,适用于
    锦正茂科技 2025-04-14 13:29 59浏览
  •   高空 SAR 目标智能成像系统软件:多领域应用的前沿利器   高空 SAR(合成孔径雷达)目标智能成像系统软件,专门针对卫星、无人机等高空平台搭载的 SAR传感器数据,融合人工智能与图像处理技术,打造出的高效目标检测、识别及成像系统。此软件借助智能算法,显著提升 SAR图像分辨率、目标特征提取能力以及实时处理效率,为军事侦察、灾害监测、资源勘探等领域,提供关键技术支撑。   应用案例系统软件供应可以来这里,这个首肌开始是幺伍扒,中间是幺幺叁叁,最后一个是泗柒泗泗,按照数字顺序组合
    华盛恒辉l58ll334744 2025-04-14 16:09 136浏览
  • 在制造业或任何高度依赖产品质量的行业里,QA(质量保证)经理和QC(质量控制)经理,几乎是最容易被外界混淆的一对角色。两者的分工虽清晰,但职责和目标往往高度交叉。因此,当我们谈到“谁更有可能升任质量总监”时,这并不是一个简单的职位比较问题,而更像是对两种思维方式、职业路径和管理视角的深度考察。QC经理,问题终结者QC经理的世界,是充满数据、样本和判定标准的世界。他们是产品出厂前的最后一道防线,手里握着的是批次报告、不合格品记录、纠正措施流程……QC经理更像是一位“问题终结者”,目标是把不合格扼杀
    优思学院 2025-04-14 12:09 65浏览
  • 在当今汽车电子化和智能化快速发展的时代,车规级电子元器件的质量直接关系到汽车安全性能。三星作为全球领先的电子元器件制造商,其车规电容备受青睐。然而,选择一个靠谱的三星车规电容代理商至关重要。本文以行业领军企业北京贞光科技有限公司为例,深入剖析如何选择优质代理商。选择靠谱代理商的关键标准1. 授权资质与行业地位选择三星车规电容代理商首先要验证其授权资质及行业地位。北京贞光科技作为中国电子元器件行业的领军者,长期走在行业前沿,拥有完备的授权资质。公司专注于市场分销和整体布局,在电子元器件领域建立了卓
    贞光科技 2025-04-14 16:18 117浏览
  • 时源芯微 专业EMC解决方案提供商  为EMC创造可能(适用于高频时钟电路,提升EMC性能与信号稳定性)一、设计目标抑制电源噪声:阻断高频干扰(如DC-DC开关噪声)传入晶振电源。降低时钟抖动:确保晶振输出信号纯净,减少相位噪声。通过EMC测试:减少晶振谐波辐射(如30MHz~1GHz频段)。二、滤波电路架构典型拓扑:电源输入 → 磁珠(FB) → 大电容(C1) + 高频电容(C2) → 晶振VDD1. 磁珠(Ferrite Bead)选型阻抗特性:在目标频段(如100MHz~1GH
    时源芯微 2025-04-14 14:53 75浏览
  • 一、芯片的发展历程总结:1、晶体管的诞生(1)电子管时代 20世纪40年代,电子管体积庞大、功耗高、可靠性差,无法满足计算机小型化需求。(2)晶体管时代 1947年,贝尔实验室的肖克利、巴丁和布拉顿发明点接触晶体管,实现电子信号放大与开关功能,标志着固态电子时代的开端。 1956年,肖克利发明晶体管。(3)硅基晶体管时代 早期晶体管采用锗材料,但硅更耐高温、成本低,成为主流材料。2、集成电路的诞生与发展 1958年,德州仪器工程师基尔比用锗材料制成世界上第一块含多个晶体管的集成电路,同年仙童半导
    碧海长空 2025-04-15 09:30 6浏览
  •   无人装备作战协同仿真系统软件:科技的关键支撑   无人装备作战协同仿真系统软件,作为一款综合性仿真平台,主要用于模拟无人机、无人车、无人艇等无人装备在复杂作战环境中的协同作战能力、任务规划、指挥控制以及性能评估。该系统通过搭建虚拟战场环境,支持多种无人装备协同作战仿真,为作战指挥、装备研发、战术训练和作战效能评估,提供科学依据。   应用案例   系统软件供应可以来这里,这个首肌开始是幺伍扒,中间是幺幺叁叁,最后一个是泗柒泗泗,按照数字顺序组合就可以找到。   核心功能   虚拟战
    华盛恒辉l58ll334744 2025-04-14 17:24 49浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦