眼动追踪传感器选型

可以看到这个全局快门在拍运动的物体的时候是很有效的

这个是OV6211

这个是OVM7251

OVM7251表面图

OVM7251有两个版本：

用于AR/VR眼动追踪的850nm模型；支持面部认证中的机器视觉与3D感知的940nm模型。将OVM7251用于支持AR/VR头显实现眼动追踪，设计者可以编程系统集成渲染注视点位置，并降低周围图像的分辨率，从而进一步节省功耗。

另外在Pico 3NEO版本的环境摄像头也是使用的这个模组，就是透视模式使用的摄像头，大家有机器的可以体验一下。

卷帘快门传感器的设计是为了捕捉静态图像和视频拍摄，因此拥有非常高的分辨率和颜色处理能力。但其缺点在于，它是逐行拍摄图像，拍摄和曝光时间过长，如果拍摄对象是汽车这样的快速移动物体，图像可能发生扭曲，而且功耗过高，不适合用于计算机视觉。

而全局快门的原理则完全不同，它是一次拍摄整幅图像，所有像素同时曝光。而且成像效果准确，曝光时间短，功耗也低，未来计算机视觉将走向全局快门。

卷帘快门像素点常见的在1.1微米以下，而全局快门通常在2.2微米以上。

这个OV6211其实是专门设计给眼动追踪的传感器

这个是它的一个帧率参数

这个传感器的输出频率是这样的

这种提高帧率的方法叫：开窗方法其中最主要的当属ROI模式(Region of interest)，ROI是在成像应用中，在相机传感器分辨范围内定义一个或多个感兴趣的窗口区域，仅对这些窗口内的图像信息进行读出，只获取该局部区域的图像。设定较小的ROI区域可以减少相机传送及计算机需要处理的图像信息量，并提高相机的采集帧率。

SKIP(Skipping mode),这种模式就是按照一定的规律，把想要的数据采集上来，把其余的数据扔掉。如下所示，column skip 2 row skip 2 留下的就是白色的像素，把黑色的像素丢掉。

这个是具体的OV采样模式

这个是OV7251

现在做demo也是可以的，这个距离

眼球追踪的几个阶段瞳孔检测算法的可视化。

1)眼睛图像转换为灰度、用户感兴趣区域(白色描边矩形)和初始值，瞳孔区域的估计(白色方块和虚线方块)，这样的优点就是节省算力。

眼动追踪:梯度法精确定位眼中心(论文),也就是要看我写的这篇文章。

2)Canny边缘检测(绿色线)

3)定义“暗”区域为偏移眼睛图像直方图的最低峰值。

4)过滤边缘以排除光谱反射(黄色)，而不是在“暗”区域(蓝色）

5）使用连接的组件提取边缘到轮廓，并根据曲率连续性准则(多色线)分割成子轮廓。

6)候选瞳孔椭圆(蓝色)通过椭圆拟合形成

7)通过增强组合搜索找到最终的椭圆拟合(最终椭圆与红色中心)-支持用白色绘制的边缘像素。

下面是插一个MIPI硬件设计时候的布线参考：

MIPI因为一种高速差分信号的接口，为了保证信号的同步和一致性，必须保证MIPI DP/DN保持等长，无论是线对与线对之间（pair to pair)还是单组信号的DP/DN之间，一般需要遵守的长度规则如下：camera pair to pair 100mil 单组之间：25mil。 在MIPI走线时，一般需要保持DP/DN在走线的过程中保持等距，保证一定的耦合程度，但是需要弄清楚的时，等长的优先级是高于等距的。且在走线时，线对之间要保持2W的距离。

注：MIPI在走线时优先级最高的是匹配等长，其余的都可以实际要求和应用进行灵活处理

LVDS也是我们使用CMOS的时候常见的数据输出接口：Low Voltage Differential Signal（低电压差分信号）

话说找到一个MIPI+FPGA的方案商，这个宣传图咋感觉是DJI？？？

OV7251是很便宜的，做demo合适

这个是OVM7251，做产品合适，但是贵，要100+

这个是深圳一家眼动的厂子的模组，我不知道放这里是不是合适

但是它这个分辨率和帧率真的是看着还不错，不知道是哪款芯片

因为我找到了OV7251的数据手册，那这里也就看一下里面写了什么：

这个OV7xxx，有两个模组，一个是彩色，一个就是我们的这个，灰色的。

850nm正好是起始的波段

这个就是上面我发的图下面的引脚，这个其实对我来说意义不大

这个是MIPI接口下的分辨率和帧率

MIPI的时序

输出的时序控制

这个是使用FPGA的时候数据框图

像素矩阵的排列

除了RAW，也可以输出子采样的图像

硬件设计的时候，注意的参数

这么高的帧率，我们肯定是使用FPGA来处理的：

分辨率：640 x 480

数据格式：10位灰度

帧率：60fps （匹配显示器刷新频率）

通信- 控制接口：SCCB（I2C）

传输接口：1通道LVDS

速率：600Mbps

我们需要通过MCLK给摄像头提供时钟，RESET是复位线，PWDN在摄像头工作时应该始终为低。PCLK是像素时钟，HREF是行参考信号，VSYNC是场同步信号。一旦给摄像头提供了时钟，并且复位摄像头，摄像头就开始工作了，通过HREF，VSYNC和PCLK同步传输数字图像信号。数据是通过D0~D7这八根数据线并行送出的。

CMOS图像数据采集模块，需等待I2C协议对摄像头内部寄存器进行初始化。寄存器全部配置完成后，还需等待10帧数据，此等待10帧数据的目的是等待摄像头工作状态稳定。待寄存器配置生效、摄像头工作状态稳定后再开始采集图像。 

具体地，待等待帧数等于10时，会使能标志信号frame_val_flag，使得OV7251开始对采集的图像数据中相应范围0~76800（340×240）的8位像素点数据经拼接操作，转存到寄存器data2ram中，data2ram将输出拼接后的16位数据到SRAM模块的输入引脚dina。

这个就是一个简单的采集过程。

另外小米8也是使用了这个模组：增加了红外人脸解锁功能，还是依靠了听筒右边的补光灯和型号为OV7251 IR Sensor去实现这样一个功能，先照亮人脸，再去接收黑白的图像，然后再识别解锁。相比以往依靠前摄像头去解锁的话，小米8对于光线环境是没有要求的，这也依靠了红外线的活体检测能力，且同单纯的摄像头来对比，安全性会更高一些。

在这里

这里

这个传感器卖的是真的好！

接下来拆个Huawei P30的主传感器吧~

特写

和我手的比较

放大的CMOS引脚

换另一边

全挑断

破坏一下

全球第一个在华为P30传感器上面刻字的成就

安排

深圳还在下雨，有点回内蒙古的感觉了

https://javaforall.cn/194099.html

https://www.elecfans.com/d/858292.html

https://chuangke18.b2b168.com/s148909725.html

http://www.gowinsemi.com.cn/down.aspx?TypeId=94&Id=82

http://www.gowinsemi.com.cn/down.aspx?TypeId=141&Id=155

http://www.gowinsemi.com.cn/down.aspx?TypeId=139&Id=153

http://www.gowinsemi.com.cn/down.aspx?TypeId=140&Id=557

http://www.gowinsemi.com.cn/down.aspx?TypeId=730&Id=845

http://www.vmaya.com/qnews_m_topic_m_tskey_m_qn7506316096208248038.html

https://laoyaoba.com/n/830321

https://www.techinsights.com/products/pkg-2008-803

https://news.nweon.com/61829

https://blog.csdn.net/qq_28258885/article/details/119208454

https://bbs.elecfans.com/jishu_2067724_1_1.html

https://bbs.elecfans.com/jishu_1588888_1_1.html

https://www.ovt.com/products/ov7251/

http://t.zoukankan.com/ranson7zop-p-8250565.html

https://blog.csdn.net/weixin_39562089/article/details/112627919

https://new.qq.com/rain/a/20191205A05II700?pc

https://www.ovt.com/products/ov7251/