在2021年的国际图像传感器工作会议上（IISW2021), 主办方特约mobileye做了一个‘从ADAS及AV（自动驾驶）应用需求的角度如何设计图像传感器’的演讲。Mobileye的成像架构师以HDR为切入点介绍了其车载机器视觉Soc对传感器的设计需求，在方法论上很有借鉴意义。
*芯片设计需要要match具体的应用
车载领域视觉芯片继承自传统相机应用，所以倾向于‘供人观看’这种应用，但这与现在车载ADAS/AV的需求不符，ADAS和AV并不是输出‘供人观看’的图像。ADAS/AV Soc输出的判决是综合结果，而且判决过程是Soc厂家要知识产权保密的范围，这都给图像传感器的设计造成不确定性。虽然如此，传感器的设计依然有方法可依。
从车载应用而言，很基础的一个HDR需求点就是汽车驶入驶出隧道，如下图：
难点有三：
1.高速行驶，处理时间短。
2.在出入隧道处存在剧烈的光线变化，如果在这种情况前方有事故车辆停在路上，处理会非常紧急。
3.太阳的照射角度非常低，导致路面被照得很亮。
* 这种场景，哪些要素应该被检测到？
1.前方车辆是在隧道内还是隧道外？
2.地面的路标线
3.隧道外路面有什么变化？
4.有什么意外的情况？
*如果是传统的相机，应对这种场景会有哪些问题？
相机的自动曝光会出现这样的一个控制过程：
如果相机帧率是30fps，10帧图像AE能达到收敛，车速是100KM/h,那么汽车就有近10米行驶在看不清前方的路上。对ADAS/AV而言，决策不是根据一帧图像，而是一系列连续图像，这就使得对HDR的需求成为必须。
*夜景HDR场景是另一个比较困难的case
1.检测到黑暗中的路人（300/22bit)
2.检测到很亮且存在闪烁的车灯和交通灯(6626240/2629632/24bit)
从ADAS/AV应用角度来说，需要一帧曝光就可以达到如下指标的传感器
1.需要LFW达到10Me,
2.需要24bit的ADC
从成本和物理尺寸限制的角度来说，达到这个指标可能不现实，所以就需要在某些技术方面妥协，也可尽量满足这种需求。比如采用多帧曝光融合HDR技术：
时域多帧融合HDR的缺陷：
1.各曝光之间的图像变化
2.SNR drop
3.牺牲了一定动态范围
3、4曝光 HDR解决了一些问题，但仍存局限
检测到人，车，路标，交通灯这些属于基本需求，这些都属于high contrast物体，相对比较容易检测。
因为对噪声非常敏感，路面纹理非常难检测，很多时候自动驾驶需要根据纹理判断出路面，然后决定车往哪开。在HDR的情况下能检测到路面纹理，是车载HDR的一个重要需求。
*单曝光 高Analog Gain
为了应对low light的情况，尤其是近光灯下，检测远处的行人，一般采用单曝光高AG，虽然DR减小了，但是SNR提高了。这种情况一般是低温，所以DSNU不是主要的，readnoise 也不大，shot noise是主要的噪声。
*如果在HDR融合的情况使用High AG
1.Low light SNR会好，但是SNR drop会比较大，所以会看到noisy的天空，
2.SNR drop发生在较低的照明下，街灯的闪烁会导致路面纹理变化。
所以夜景下想检测到所有的要素是非常难的。
*High Gain + low Gain HDR 融合
这种方法可以解决低光的路面纹理问题，但是为了让low gain不饱和，只能用非常短的曝光时间，这样又有led 灯频闪的问题。
*HDR对于车载ADAS/AV应用的'Error Recovery'是必须的
一个soc 芯片往往连接十多个camera，任何一个camera出问题都会影响系统全局。更多的camera就会增加更大的风险,所以系统需要瞬时错误恢复机制（transient error recovery）。
如下图所示：当Frame1 camera发生错误，在Frame2的header系统可以检测到瞬态错误，在frame3才可能修复错误，所以错误恢复时间至少三帧。这个机制和AE类似，如果瞬态错误和AE控制逻辑耦合，系统的不稳定就会增加更多。
所以‘不需要AE控制’加‘HDR’是系统的必须的，这样理想的状态就是：
一帧错误，即时检测排除掉错误帧。这样系统设计简化，降低风险。
*再回到我们最初的梦想：一个曝光可以获得10Me LFW（linear Full Well），24bit的图像
现在工业界如何逐渐满足这个看似不可能的需求呢？
从IISW可以看到，工业界一方面在提高像素的LFW，比如增加overflow capacitor，Onsemi在2020年推出的3um HDR sensor就是一个很好的例子。
Double readout + split photo diode是另一个技术，有了double sampling就可以避免exp1在低光下只能用High gain，spd虽然减小了LFW会增加hdr noise，但在其他方面得到了好处。
Sony的3um split pixel设计达到了132dB @single exposure，pixel LFW 166ke，如下图所示，这就逐渐接近10Me（140dB）的‘最初的梦想’了。
Sony的大像素是3um，小像素是14.5倍less sensitive，这样算来，小像素的pixel 是0.8um。（sony现在已经量产>140dB LFM的车载sensor， Maver Jiang 注）
OV的split pixel采用3 exposure 4capture设计，可以达到144dB（24b）如下图所示：
Led market越来越亮的光源是这种设计的潜在风险，不过目前来看还是ok的。
*把传感器的性能与现实关联，而不是空泛的设计图
Sensor厂的设计往往是简单地以某种模型表示，比如下图：
而soc或者系统厂面临的是复杂的实际场景，比如下图：
Sensor厂在介绍产品性能的时候总是拿一个数学模型说事，比如Sony提到他们以小像素HCG的方法来应对LCG SPD high dark current的问题，sony 用上边的模型来解释他们的性能，
但是从系统方案开发的角度这个性能介绍是不够的，我们希望一些不同的性能展现可以与现实问题关联，比如用Driving Data来了解到底SNR drop是在哪部分图像出现的。
免责声明：本文版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题，请第一时间告知，我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除内容！本文内容为原作者观点，并不代表本公众号赞同其观点和对其真实性负责。
为您发布产品，请点击“阅读原文”
