AI ISP技术及行业分析：特斯拉全摄像头方案或成为现实

最近几年，随着国产手机厂商的崛起，作为手机相机最重要的核心芯片：ISP（Image Signal Processing，图像信号处理）的研发也在崛起。2021年中，OPPO于12月发布了自己的ISP芯片马里亚纳MariSilicon X，此前，小米于3月发布了自己独立的ISP芯片澎湃C1，vivo于9月发布了V1 ISP芯片，而最早的是华为用自研的NPU+ISP实现了独具特色的AI拍照功能。智能手机时代，相机是手机上非常重要的部件，所以各厂家独立研发ISP推出各自特色的相机变得非常重要。相机在手机领域的重要性如此，在大摄像头领域（譬如安防、无人机、自动驾驶、海洋、边防及特种行业等等）也是如此。

不过，大摄像头领域的ISP需求有所区别，主要的痛点体现在：是否看得见（在黑夜中），是否看得清、是否看得远。原因在于，在大摄像头领域往往需要在漆黑的夜晚（低照度）也能看得见，在噪声非常大的情况下也能还原图像（看得清，并还原彩色），在无人机、自动驾驶等情况下能够看得远。

为解决这些需求引发的痛点，最近几年行业内出现了一种新的技术：AI ISP。

笔者Challey在最近的世界无人机大会上对这种AI ISP技术和厂商进行了比较深入的了解，本文将从技术和市场分析并进行比较。

AI ISP技术

谈到AI ISP技术，不得不把它与传统的ISP技术进行对比。

什么是AI ISP，与传统ISP技术有何区别？

传统ISP与AI ISP原理

传统的ISP有三种形式，整个pipeline中有不同的模块负责不同的功能。

AI ISP已经有很多公司进行研究，国外英特尔实验室的《Learning to see in the dark》论文中提出，可以通过整个神经网络来实现ISP的全部功能。在这篇论文中，通过一个raw图进入，然后输出RGB或者YUV图像。

什么是AI ISP？我们可以与文中开头提到的手机摄像头的ISP来进行比较，早期手机上的ISP会接收摄像头传感器（CMOS等）获得的原始数据进行处理，后面自从有NPU（神经网络处理器）以来，ISP会把处理过的图像数据发给NPU再次进行深度处理。

早期带ISP的大摄像头（安防等领域）由于没有或者没法集成性能强劲的CPU和NPU，只能把原始图像数据交给ISP处理后，再发给后端强大的服务器（可能是CPU、GPU或者还包含NPU）进行分析处理。而最近两年已经量产并实现了非常好效果的AI ISP相当于把后端服务器的分析处理能力（NPU能力）前移，放到了ISP芯片里面。这实际上就是在ISP芯片之内再进行AI分析。因此，AI算法的优劣就决定了AI ISP性能的好坏，也决定了“看得见”、“看得清”、“看得远”能力的强弱。

AI ISP与传统ISP在上层的应用原理区别如下：

详细的ISP原理、AI ISP原理在此不做深入介绍，感兴趣者可以关注我们或联系作者（微信同名）看相关文章。

AI ISP技术需要解决的问题

文中开头提到，AI ISP技术是为了解决现实需求中的痛点（看得见、看得清、看得远）而研发的。

“看得见”的照度要求

在日常生活和应用场景中，我们在晴天的日光下，照度可以达到10万lux，在树荫下照度下降到了1万lux，在日光灯下，只有300lux，白炽灯下又下降了一半只有150lux，在夜晚的路灯下只有10lux；

烛光下是1lux，在有月亮并且是满月的情况下照度只有0.1lux；

星光下是0.001lux，在没有月亮也没有星星的漆黑的夜晚，照度达到了最低，仅仅1/10000 lux（万分之一）。

在大摄像头领域，包括安防、无人机、自动驾驶等等对“看得见”的基本要求是在10lux，也即是在路灯下能够看得见。

军工级别的要求是在0.001lux也就是有星星的夜晚能够可视（看得见）。

在AI ISP技术的加持下，普通的可以做到0.01lux下能够看得见，更优秀的技术可以做到万分之一照度下（高于军工标准）仍然能够还原图像。

“看得清”：行业升级亟需突破极弱光下彩色成像难题

在十多年前，安防领域对摄像头的要求是晚上能看得见，只要有黑白即可。但是随着市场需求的提高，特别是在城市和重点领域的监控和照射，对看得见彩色的要求越来越高。不仅仅要能看得见黑白色，还得还原“彩色”。而在传统的ISP技术下，很难实现这个要求。

低照度下的实时全彩夜视是一个世界性难题

不同于手机摄像头的需求，一般都是在有光线或者补光且距离不太远的情况下利用ISP处理并加以NPU还原处理便能实现AI智能ISP。安防等领域的大摄像头的彩色还原对视觉处理已经是一个比较难的问题，在极低照度下的全彩夜视更是一个世界性难题。

下面是夜晚的照度和光通量情况：

太阳的光通量=3.56 10^28 lm

月球反射的光通量=3.56 10^28 * 9.49*10^6 / (2.82*10^17) * 0.12 *2 =2.87*10^17 lm

满月时地球表面照度=2.87 10^17/(2*3.14*380000*380000*1000*1000) = 0.3 lux

满月下1ms 内 1um^2 的感光芯片接收到的光子数量 =1/683 * 0.3 * 3 * 10^ 12 /

3.67*57^ 19 = 1.2 个

我们从上面夜晚月亮下的光通量和照度情况，再对比光圈与光子数量的情况就可以看出，低照度下对全彩还原的的难度是非常高的。

“看得远”：远超目前所有自动驾驶探测距离

现阶段普通的摄像头，包括集成了ISP芯片的知名厂商的摄像头，在夜晚有补光的情况下，一般能看得见的距离是100米范围内。

根据AI ISP技术的行业状况，性价比最高的厂商可以做到800米。

在目前的自动驾驶传感器中，特斯拉的摄像头最远探视的距离是250m，采埃孚推出的长距毫米波雷达最远探测距离是350m，蔚来ET7搭载的超远距高精度激光雷达最远探测距离是500m。

AI ISP技术中目前稳定的清晰可见的探视距离可以达到800米，远远超过当前自动驾驶技术行业中各种传感器的最远距离。而且，据笔者现场测试，AI ISP技术能够进行清晰的去雾功能。

当然，由于行业竞争越来越激烈，自动驾驶目前已经不像刚开始那样哪怕几万几十万的激光雷达都可以配备试验，汽车厂商对传感器的价格越来越敏感。

据笔者与AI ISP行业多个厂商了解，目前在自动驾驶行业推行AI ISP摄像技术的最大难度还是在于价格，技术不是问题。

随着AI ISP技术的不断发展，价格也将越来越低，那时，特斯拉所坚持的全摄像头视觉技术或将大面积使用。

AI ISP 解决看得见、看的清、看得远

色彩是什么？色彩其实就是不同波段的光，或者不同波长的光，有些光的波长可能是几十米，比如长波、微波，有些光的波长可能只有几个微米，或者只有几个纳米，但是它本质上都是一颗粒子在做弦的运动，有弦比较长，有些弦比较短，本质上都是粒子的运动，我们人的大脑其实在翻译不同频率粒子的运动。

AI ISP是唯一可以实现彩色夜视的技术路线

在过去几乎所有的夜视技术都需要用红外光去做夜间成像，因为在夜间有大量的红外辐射，光的强度足以去激发感光芯片的信号，但在夜间因为可见光非常非常少，所以以往行业基本上没有考虑过用可见光做成像。

传统的微光夜视仪运用近红外波段，热成像仪运用远红外波段来进行彩色还原。

然而，380-790 纳米的可见光波（红、橙、黄、绿、蓝、靛、紫光）段是光谱中唯一有色彩信息的波段。

如上图，所有的色彩（红、成、黄、绿、蓝、紫）都在380纳米到790纳米这样一个波段，AI ISP技术恰恰可以使用这部分的光线，所以能够做到真实色彩的还原。当然，还原的程度就需要看技术算法的优劣。

AI 计算革命将突破传统成像系统天花板

AI的出现带来的计算速度的变化，不同于摩尔定律。大约在2011年和2012年出现了计算革命理论：随着计算规模的提升、数据规模的提升、神经网络复杂度的提升，神经网络所体现出来的速度和效果会远远大于传统的其他方法，它会不断的去超越传统的算法。

传统的算法再怎么优化都会出现天花板，夜视就是这样，每年可能只有5%和10%的提升，它对色彩的还原其实在十年前已经进入到天花板了。 

但是现在的AI技术能够把夜视技术的速度和效果提升100倍，甚至200倍，主要是因为现在使用了AI的神经网络模型来进行高效运算处理。

AI ISP经过数年的数据的积累，对神经网络模型的不断的改进，对神经网络复杂度的优化，它正在全面去算法的天花板，到了一定的程度就会产生巨大的变化，现在有的厂家已经能够达到200倍以上的提升，所以能够把夜视（全彩还原）做的非常惊艳。

AI成像技术的四大优势

根据业界的AI ISP技术，AI成像具有颠覆性的四大优势：

1、其中，全彩实时成像能够提高30%的目标识别速度，减少60%的识别错误；

2、夜间高分辨率>200万像素全彩成像，从“看得见”到“看得清”；

3、全天候应用结构化数据应用由12小时延伸至24小时；

4、性价比高，无需补光，能耗低，结构简单，可靠性高。

市场分析

我们从市场规模，行业应用场景及空间，市场厂商来对AI ISP市场进行分析。

市场规模

2022年CMOS出货量近100亿颗

得益于多摄手机的广泛普及和安防监控、智能车载摄像头和机器视觉的快速发展，CMOS图像传感器的整体出货量不断扩大。2020年全球CMOS图像传感器出货量达77.2亿颗，同比增长21.57%。

预计2022年出货量将进一步增长至91.4亿颗。

数据来源：Frost&Sullivan

未来10年-30年CMOS货量将达到1000亿-3000亿颗

根据 Frost&Sullivan 统计，全球 CMOS 图像传感器市在2012-2020 年 CAGR 分别达到 17.1%和 15.8%。得益于智能手机、汽车电子等下游应用的驱动，预计未来全球 CMOS 图像传感器市场仍将保持较高的增长速度，至 2025 年全球出货量将达到116.4亿颗，市场规模有望提升至 330.0 亿美元，分别实现 8.6%和 13.0%的年均复合增长率。

未来10 年全球视觉传感器出货量的增长将更快，有望超过1000亿颗，未来30年全球视觉传感器出货量将接近3000亿颗。

行业应用场景

在国内外行业应用中，国内的无人机、自动驾驶、公安、中国铁塔、石油石化、矿井、安全应急、远洋船只、铁路以及消费品行业将是主要的应用场景。

厂商赛道

目前，大摄像头领域的市场根据视觉远近主要划分为三个赛道：

传统安防领域最大的厂商主要有海康、大华、宇视、华为、高德红外，这些厂商的产品主要应用场景是50m-100m范围。

在200-800米范围内的主要厂商有海康、大华和深知未来；

在更远距离上有深知未来、SHEENRUN等。

其中深知未来是最近两年崛起的厂商，可以称之为黑马，其知影AI ISP技术无论是技术成熟度和效果以及应用便利性等在第二、第三赛道上具有非常强的实力。

知影AI ISP技术的三大优势

在本届世界无人机大会上，笔者了解到AI ISP厂商深知未来的AI ISP技术具有比较明显的优势。无论是在低照度中的可见性还是色彩还原度以及应用方案的匹配易用性与数家传统知名厂商都要出色不少（见后面的效果图）。

1、知影™AI ISP 全彩夜视技术与业界通用技术应用效果对比：

2、知影™AI ISP在低照度的全彩还原方面成像快、准、耗费资源少

在芯片方面的说法是算的快、算的准、少烧脑。

知影™AI ISP 技术加速镜头和CMOS适配

在大摄像头行业的工程调试过程中，由于采用了新的ISP和AI ISP技术，新一代的传感器与上下游的整合是一个非常大的问题。譬如，手机厂商发布一款新的摄象头，可能采用索尼或者三星的最新一代产品，它要适应这颗新的摄象头大概需要800-2000个算法工程师做调试，大概有3000-4000个参数需要调整，要在500-1000个场景下调试这3000个左右的参数，为了在每一个场景下保证图像的一致性，需要耗费大量的人力。

因为其本身的建模不复杂，建模不复杂带来的副作用就是需要很多的参数来适应不同的场景。比如夕阳下和正午的光照环境和色温有很大的差距，你为了保持图像的一致性就需要通过模型来控制你的参数来做不同的图像表达。

但是新一代的AI ISP通过上亿个参数建模之后，它的鲁棒性、对场景的适应能力变得非常强。

笔者了解到，深知未来没有任何调参的工程师，他们通过大量AI的方法就可以自适应各种不同的新芯片。当然也不是完全不需要时间，以往传统的技术需要180天左右的调参，现在只需大约15 天就可以通过AI完成对芯片的自适应匹配。

效果图

在没有任何光源的暗室现场，我们看到并截取了几个现场图片，如下：

左上角：深知未来；右上角：知名厂商1；左下角：知名厂商2；右下角：普通摄像头

如上图，这是在照度为0.001lux的暗室下的静止图像效果。其中深知未来和知名厂商2的摄像机效果最佳，深知未来的全彩还原更真实，颗粒度更饱满细腻。

如上图，这是在有人物走动，相当于有画面流动的情况下的视觉效果。依然是深知未来和知名厂商2效果较好，其中深知未来效果最佳。

如上图，这是在照度为0.0001lux（万分之一lux，超过军工标准的10倍）的暗室下的静止图像效果。其中深知未来的摄像机效果最佳，依然可以还原全彩效果。

更多AI ISP厂商的优势和技术效果请看后续深入分析和测试，感兴趣者可以关注我们或者联系作者（微信同名）。

结语

AI与ISP技术的结合解决了低照度下实时全彩夜视的世界性难题，传统的安防时代早已过去，过去几年通过大量后端AI算力进行分析的时代也将很快过去，AI前移的AI ISP技术时代或将掀起第三次视觉领域的浪潮。未来10年1000亿颗的规模将给这些AI ISP厂商更大的舞台，市场或许也将产生新的领头羊和独角兽。

在AI算力突破传统成像系统天花板的计算革命下，AI ISP技术也将不断发展，其算力也将越来越强，其产品成本将不可避免的越来越低，拍摄距离也将越来越远，效果也会越来越好。而一直被大众所不理解和诟病的特斯拉的全摄像头视觉技术，或许不久将成为现实。

8月16-17日，#IIC Shanghai 2022 会议将在南京国际博览中心由全球媒体Aspencore主办！

IIC 2022 聚焦#IC 设计、SoC设计、#碳中和 、元宇宙/AR/VR、物联网、新能源汽车和自动驾驶、智能家居/家电、新能源发电与传输、汽车电动化、第三代半导体、东数西算等行业热点。

会议上有来自安谋科技、ADI、Cadence、英飞凌、纳芯微、极海、沐曦、思特威、合见工软、智芯微、京东方、Imagination、PI等国内外领先厂商的100多位重磅嘉宾及行业先锋在大会上发表创新演讲。

现场惊喜好礼等你来 ~席位有限，立即报名请戳：https://aspencore.mike-x.com/ViZFZN5