视觉传感是人类感知外界、认知世界的主要途径，研究表明人类获取的外界信息大约有80%来自于视觉。作为感知外界信息的“电子眼球”，视觉传感器是消费电子、机器视觉、安防监控、科学探测和军事侦察等领域的核心器件。近年来视觉传感器技术发展迅速，不同类型的传感器从不同维度提供丰富的视觉数据，不断增强人类感知与认知能力，视觉传感器研究工作具有重要的理论与应用需求。
据麦姆斯咨询报道，近期，天津大学微电子学院、长春长光辰芯光电技术有限公司、中国电子科技集团公司第四十四研究所、中国科学院上海技术物理研究所、中国科学院西安分院和中国科学院西安光学精密机械研究所的科研团队在《中国图象图形学报》期刊上发表了以“光学视觉传感器技术研究进展”为主题的文章。该文章通讯作者为西安光机所汶德胜研究员，主要从事空间光学载荷技术、光电成像技术、快速信号处理技术方面的研究工作。
本文以典型光学视觉传感器技术为主线，通过综合国内外文献和相关报道，从CCD图像传感器、CMOS图像传感器、智能视觉传感器以及红外图像传感器等研究方向，梳理论述近年来光学视觉传感器技术的发展现状、前沿动态、热点问题和趋势。
CMOS图像传感器技术基于传感器工艺架构的不同，主要分为正照式、背照式和堆栈式图像传感器。CMOS图像传感器技术与性能对比如图1和表1所示。
图1 不同架构的CMOS图像传感器技术
多光谱TDI CCD
时间延迟积分电荷耦合器件（TDI CCD）在扫描成像时，利用TDI CCD行频与扫描速度同步的关系，实现光生信号的累加，达到提高器件响应灵敏度和信噪比的目的。TDI CCD最为典型的应用是作为成像器件应用于卫星遥感对地成像。通过在多个TDI CCD上方的增加带通的滤光片实现不同波长范围的探测，最终采用图像融合方式便可获取彩色影像。
目前国际上只有Teledyne DALSA公司（美国Teledyne下属公司，位于加拿大）提供星用多光谱TDI CCD产品。目前最新的多光谱TDI CCD产品如表2所示。可以看出，目前国际上最新的多光谱TDI CCD发展水平为12288像素分辨率、7 μm像素尺寸、5谱段光谱分辨分辨率。
国际上目前发展了一些以欧洲微电子中心（IMEC）的CCD-in-CMOS工艺制作的 单片式多光谱TDI CCD（Bello等，2017）为代表的新型多光谱TDI CCD（图2和图3）。通常CCD采用专用的工艺线制造，而其驱动电路采用常规的板级电路实现，因而体积大、功耗高。IMEC采用通用的CMOS工艺，将驱动电路与CCD在单片实现，因而大大改善了器件的驱动复杂度同时降低了功耗，还可以实现片上输出信号的处理，极大改善了后续的应用复杂度。
图2 IMEC的CCD-in-CMOS技术
图3 IMEC研制的7谱段单片式多光谱TDICCD
高光谱CCD
高光谱技术是利用分光棱镜或光栅等将入射光光谱分为几十个谱段甚至上百个谱段投射到图像传感器芯片上，以精细光谱分辨力获取目标信息，从而在得到目标的图像的同时，还可获取目标的光谱信息，实现“图谱合一”的技术。由于CCD高均匀性、高动态和介质膜系等简单的特性，在高帧频保证下，目前星用高光谱探测器芯片大多采用CCD。国际上高光谱CCD的主要供应商为Sarnoff公司。Sarnoff公司开发了系列高光谱用CCD产品。
国际上高光谱CCD的发展趋势为：1）更小像素尺寸、更高帧频。像素尺寸从18 μm发展到16 μm，帧频从500帧/s发展到1000帧/s以上。支持高光谱成像仪已经由空间分辨率30 m、光谱分辨率10 nm发展到更高水平。2）更大阵列规模。阵列规模从512 × 512发展到4096 × 256。支持高光谱成像仪的幅宽从几十公里逐渐增大到一百公里以上。
EMCCD
EMCCD即电子倍增CCD，是灵敏度极高的一种半导体光电探测器件。EMCCD在常规CCD的输出区域前增加一段多级倍增区，在高压（40～50 V）下雪崩倍增。EMCCD通过较高的增益，抑制器件的读出噪声，从而在弱光及极弱光下提高器件的信噪比。
在天文观测中，自适应光学系统利用波前探测器实时测量成像系统的波前相位误差，所观测的目标信号比较微弱，采用高帧频的EMCCD是最佳的选择。Teledyne E2V公司开发了一款高帧频EMCCD型号为CCD220（图4）。CCD220像素尺寸为24 μm ×24 μm，最高帧频大于1300帧/s，最大倍增增益大于1000倍。采用背照技术，CCD220峰值量子效率超过90%。
图4 E2V公司CCD220器件实物
Teledyne E2V公司为加拿大开发了一款4 K × 4 K大阵列的EMCCD，型号为CCD282（Gach等，2014）（图5）。CCD282工作在光子计数模式，将用于加拿大10 m光学望远镜。通过降低驱动摆幅降低时钟感生噪声、深度制冷、高增益倍数（≥1 000倍）、>90%的背照量子效率，达到光子计数的最佳性能。
图5 CCD282器件结构与实物
对于EMCCD，电子倍增主要发生在倍增区与相邻的电极之间的边界区域，边界区域界限越长，则倍增增益越大。Stefanov等人（2018）设计了一种低电压的EMCCD，通过增加倍增区与相邻电极的交界几何尺寸，实现了低倍增电压下相对较高的倍增增益。
CMOS图像传感器
正照式架构CMOS图像传感器技术
正照式架构CMOS图像传感器由于其自身架构的局限，填充系数偏低，灵敏度要低于背照式和堆栈式架构的传感器，但因其制造工序相对少，所以其成本也要低于其他架构的同类产品，因此对于一些应用环境光线可控、成本控制要求较高的场景，如工业检测、机器视觉等领域，正照式架构的CMOS图像传感器还有着广泛的市场应用，以Sony、AMS、Teledyne E2V等为代表的图像传感器企业推出了一系列正照式架构光学视觉传感器芯片。
背照式架构CMOS图像传感器技术
背照式架构光学视觉传感器是在正照架构的基础上，对已经加工好的正照传感器晶圆进一步开展绑定支撑硅片、垂直翻转、衬底打薄、表面钝化、镀抗反射膜和焊盘刻蚀等工艺后，实现背照式传感器的制造。通过开展背照式架构的光学视觉传感器技术研究，可以使传感器像素实现100%的填充系数，进一步提升了芯片的灵敏度，所以此类传感器的主要应用领域为生命科学、天文和医疗等低照度应用场景，确保传感器在低照度场景下依然保持着高质量的成像效果，代表性的背照式架构光学传感器企业主要以Sony、Teledyne E2V为主。
堆栈式架构CMOS图像传感器技术
为了满足传感器小型化和多功能化的应用需求，一种全新的传感器架构应运而生，这就是目前最先进的堆栈式架构光学视觉传感器技术，该架构将原本在一个晶圆上的像素区域和电路区域，分别做在了两个晶圆上，并将两块晶圆绑定在一起，该种架构的出现使传感器的像素和电路部分可以进行独立设计及优化，使传感器电路部分可以与像素部分采用不同的制程工艺，使电路性能可以得到进一步的提升。晶圆绑定方式也从最早的硅通孔（TSV）连接，演变成了通过在像素层和电路层的连接面上构建Cu焊盘直接连接的方式进行连接，随着堆栈式架构技术的不断发展，使得未来更多数量的晶圆绑定成为可能，从而使具有集成图像处理功能的视觉传感器成为可能。
Sony最先面向智能手机领域推出了一系列堆栈式架构光学视觉传感器技术，并在iphone、三星、小米和OPPO等多款手机上实现了应用，其主要特点是在像素层和电路层之间新加入了DRAM层（动态随机存储单元），DRAM层在整个CMOS模组当中充当缓存角色，用于存储像素层获取到的图像信息，因此大幅提升了传感器处理数据的速度。由于堆栈式传感器技术推出较晚，受当前技术的成熟度低和成本高的影响，目前的应用领域主要集中在手机等消费类领域。
智能视觉传感器
量子视觉传感器
量子视觉传感器是基于CMOS工艺利用创新的半导体设计在每个像素元件中缩小了转换电容的电容值，从而极大地放大了每个光子产生的电信号。这种极高的信号放大率，解决了传统CMOS图像传感器内部噪声过大的问题，尤其在低照度条件下，光子产生的电信号极弱，传感器内部噪声覆盖信号，使得目标信息无法准确呈现，通过这种方式实现了在室温条件下的单光子探测和光子数分辨（Zizza，2015）。
图6 光子计数图像传感器技术
三维成像视觉传感器
三维成像视觉传感器能够获得图像的三维信息，在科学研究、工业检测、安全监控和消费娱乐等领域具有广泛的应用前景。目前，商用的三维成像技术主要有立体视觉技术，结构光技术以及飞行时间技术（ToF）等。其中ToF技术具有低功耗和微型化的重要优势，能够满足便携式电子设备的需求，已成为目前三维成像视觉传感器的研究热点。
D-ToF传感器通过使用高分辨率的时间数字转换器（TDC）和通常由单光子雪崩二极管（SPAD）实现的高增益光电探测器记录光子入射时间，直接测量光的飞行时间以计算深度（Ota等，2022）。尽管D-ToF传感器可以实现较长的探测距离，但其横向分辨率是有限的。这是因为每个像素通常需要大量的片上存储器和处理单元，以避免SPAD的光子检测概率和暗计数率的影响。在实现具有高横向分辨率的D-ToF传感器时，特别是在极端的环境光条件下，需要在功耗、动态范围和帧速率之间进行权衡。
早期的D-ToF传感器采用正面照射（FSI）CMOS工艺实现，具有像素尺寸大和横向分辨率低的缺点。最近，D-ToF传感器采用了3D堆叠BSI CMOS工艺，以实现小像素尺寸和高横向分辨率。在这些传感器中，像素阵列和逻辑电路可以首先在不同的芯片中单独优化，然后通过面对面键合技术连接。
I-ToF传感器测量调制光的相移来间接计算深度。与D-ToF传感器相比，I-ToF传感器可以实现更高的横向分辨率。这是因为I-ToF传感器可以通过执行简单的计算来检测相移，而无需以像素为单位的大容量存储器和处理单元。然而，由于光源的发射功率有限和光电探测器的灵敏度有限，I-ToF传感器的检测距离很短。此外，I-ToF传感器有两个关键问题：移动物体的运动伪影和背景光的深度误差。
总体来说，目前D-ToF传感器的分辨率已经提高到100万像素，SPAD阵列的功耗在高光照条件下显著增长。在未来，更智能的像素结构和信号处理单元有望实现具有高帧率的节能D-ToF传感器。具有高横向分辨率和深度分辨率的I-ToF传感器已经使用类似于CIS工艺的方法实现。然而，未来仍需要减少来自背景光的运动伪影和深度误差，以提高应用的可靠性。对于H-ToF传感器，可以采用3D 堆叠BSI CMOS工艺来进一步减小像素尺寸并提高横向分辨率。
仿生视觉图像传感器
传统视觉传感器由快门统一控制曝光，以帧为单位记录动态影像画面。例如电影每秒记录24帧画面，但从机器视觉的角度来看，这种传统的传感器仍存在一定的应用缺陷，首先帧间可能丢失高速运动细节信息，因此传统视觉传感器向着高帧率趋势发展；其次每帧重复记录大量静态背景光强信息，因此高帧率高分辨率的视频流对后端计算造成更大的负担，并带来对数据通讯、存储更大的压力。
相较于传统视觉传感器，生物视觉系统在图像信息感知以及处理能力上表现更为优越。研究者受其成像特性的启发，摒弃了帧的概念，提出动态视觉传感器（DVS）和脉冲图像传感器。传统视觉传感器将运动场景量化为图像序列，而动态视觉系统图像传感器仅输出变化像素单元的光强信息，将动态场景量化为微秒级精度的高时间分辨率事件流，并向高速、高精度和小像素尺寸发展。
微光高动态视觉传感器
科技高速发展的时代，安防、汽车和计算机等领域的新视觉应用所需的灵活性更高，需要在室内/室外、白天/夜晚以及各种场景下实时工作。高动态范围（HDR）传感器可以用来实现这一目标，它在高照度和低照度环境下都具有优异的成像性能。
红外图像传感器
自1959年Lawso研制出碲镉汞（HgCdTe，MCT）的长波红外探测器以来，红外探测器的发展前沿、技术引领就掌握在国外几家主要研究机构、厂商手中。近年来常用红外探测器材料有碲镉汞、InGaAs、InAs/InGaSb T2SL、量子阱等。利用这些不同材料的特性，围绕对红外探测器应用需求的不同，国外研究机构开展了一系列相关研究。
大面阵红外探测器
大面阵红外探测器广泛应用于空间红外遥感领域，在天文学观测、光度测量和气象观测等方面具有重要价值。为了平衡视场与分辨率之间的矛盾，解决途径之一就是采用高分辨率、超大规模的红外焦平面探测器组件，并通过拼接单片大面阵来获得更大的探测器阵列规模。国际上美国（Dorland等，2009）、法国（Nedelcu等，2018）、英国（Feautrier等，2022）、比利时（Gershon等，2013）的科研单位和企业均对大面阵红外探测器进行了探索和研究。
美国在大面阵红外探测技术领域研究多年，实现了从1 K × 1 K、2 K × 2 K到4 K × 4 K及更大规模红外探测器的研制，目前在世界红外领域处于领先地位。美国洛克威尔科技公司（RSC）已研制出1 K × 1 K、2 K × 2 K、4 K × 4 K规模的大面阵红外探测器，读出集成电路（ROIC）的演进过程如图7所示。
图7 RSC ROIC的演进过程
美国雷神视觉（RVS）公司长期为天文学提供多种规模的高性能红外探测器芯片组件，阵列尺寸从1 K × 1 K至8 K × 8 K不等，像素间距范围达到8～27 μm，光谱响应范围达到0.4～28 μm（Starr等，2016）。图8中展示了雷神公司生产的碲镉汞4 K × 4 K（像素间距20 μm）的红外探测器阵列。
图8 美国雷神公司HgCdTe 4 K × 4 K红外阵列
宽谱段红外探测器
近年来，宽谱段成像技术由于在遥感、矿产探测和生物医学等方面得到广泛运用而备受关注。
高灵敏度红外探测器
灵敏度是光电探测器最重要的性能指标之一，表示探测器捕获信号的灵敏程度，若数值越高，则探测器对弱光的探测能力越强。比探测率表征了探测器捕获弱信号的灵敏度，可通过降低噪声功率或提高光响应度来增加比探测率。由于暗电流噪声是红外探测器中不可忽略的噪声源，可通过抑制暗电流来降低噪声功率。同时，探测器的响应度由外量子效率与光电导增益决定，可以通过引入高外量子效率和高光电导增益的新结构、新材料来实现响应度的提升（张金月等，2021）。
双色/多色红外探测器
双色或多色探测器同时获得多个波段的目标信息，能够有效抑制复杂背景、排除干扰，从而提高探测目标的能力。双色探测器主要有平面、叠层两种技术路线，如图9所示。
图9 384×288 InAs/GaSb SL双色探测器下拍摄的图像
高温工作型红外探测器
红外探测器通常需要工作在低温条件下以保证较低的暗电流，因为较大的暗电流会严重降低探测器的性能。然而配备制冷机又会增加探测系统的体积，提高成本和设计难度。因此为了降低成本、尺寸、重量和功耗，研究人员提出了高温工作型（HOT）红外探测器，其关键技术在于降低暗电流。非制冷探测器可工作在室温下，常用的热敏材料以氧化钒和多晶硅为主，前者在精度和灵敏度的性能较为突出，后者更易于实现量产（Glozman等，2006）。
以色列SCD公司是InSb中波红外焦平面阵列的代表制造商，生产了多款性能稳定的HOT红外探测器。SCD于2022年（Klipstein等，2022）报道了基于T2SL的XBn和XBp探测器，验证了基于InAs/GaSb和InAs/InAsSb T2SL势垒探测器在中波波段内可在130 K下运行，在长波波段内可在77 K下工作，NETD为15 mK，如图10所示。
图10 150 K温度下 XBn 2560 × 20 485 µm间距Crane探测器的成像演示
红外偏振探测器
偏振作为红外辐射的重要物理特性，红外偏振成像技术能够同时获取红外辐射强度与偏振信息，有效丰富了图像的特征信息。偏振探测能够有效区分人造目标与自然物体，可用于追踪导弹、探测地雷、探查水下目标和识别伪装等任务。
偏振成像可分为分时成像、分振幅成像（Mudge和Virgen，2011）、分孔径成像（Pezzaniti和Chenault，2005）和分焦平面成像。其中，分焦平面成像的偏振元件直接集成在FPA上，因其体积小、集成度高以及系统稳定等优势成为当下偏振成像的主流方式。光学偏振元件作为传统偏振探测器不可或缺的部件，但是会导致其响应低、空间分辨率低、图像配准不佳以及成本较高等问题。若将具有各向异性的半导体材料作为光探测器的感光层，利用其天然的偏振光敏感性，将有效简化偏振探测器的设计，适用于制造新型的偏振光电探测器。
国内在多光谱TDI CCD、高光谱CCD和EMCCD三方面也取得了重要进展，目前的器件性能达到了国际一流水平。
图11 国产某五谱段多光谱TDI CCD
国内在高光谱CCD的研制上，突破了多抽头健壮性、垂直区高行频技术以及背照高量子效率等关键技术，后续将进行更大阵列规模的高性能高光谱CCD的研制。国内在器件表面镀滤光膜技术实现高光谱技术方面也取得了部分进展。
国内在EMCCD的研制方面，突破了背照高量子效率、多抽头并行读出、高速低噪声放大器以及低RC时间延迟技术，基本达到了工程实用化水平。
图12 中国电子科技集团公司第四十四研究所对标CCD220器件实物
CMOS图像传感器
国内对于CMOS图像传感器技术的研究起步较晚，最初仅有少部分企业开展了面向手机等消费类领域的光学视觉传感器研究，随着我国不断推出对于集成电路产业的扶持政策，越来越多的企业开展了视觉传感器的研究。在科研领域，中国电子科技集团公司第四十四研究所、771所、772所、长春光机所等机构均开展了光学视觉传感器的研究，产品主要面向大型科学装置等应用。在商业领域，长光辰芯、思特威等一系列专注于视觉传感器研发的企业逐渐走向国际，市场份额逐步提升。
正照式架构CMOS图像传感器
长光辰芯成立于2012年，是国内一家专注于高性能CMOS图像传感器的设计的企业，总部位于长春，在国内杭州和大连、比利时安特卫普、日本东京设有研发中心。
背照式架构CMOS图像传感器技术
面向生命科学、天文和微光夜视等低照度成像领域，长光辰芯自2015年起推出了系列化的背照式架构CMOS图像传感器产品，其最新推出的亚电子读出噪声、适用于微光成像的背照式CMOS图像传感器GLUX9701。
堆栈式架构CMOS图像传感器技术
面向电影制作、无人机和专业摄像等领域，长光辰芯发布了全新GCINE系列中首款产品——GCINE4349，这是长光辰芯基于在工业级、科学级CMOS（sCMOS）和摄影级产品方面的技术基础而研发的一款堆栈式架构的传感器产品，该产品专为高端视频成像设计，采用4.3 μm像素设计，49 MP像素全画幅，支持多种读出模式下的8 K或像素合并式4 K分辨率输出。
智能视觉传感器
量子视觉传感器
目前，国内对于量子视觉传感器的研究相对较少，尚处在起步的阶段。如香港城市大学和天津大学方面，针对量子视觉传感器的建模分析、噪声消除和图像重建等方面开展了研究。
仿生视觉图像传感器
领先的融合视觉传感芯片研发商锐思智芯，在事件驱动型传感器领域拥有超过8年研究经验，2022年7月发布了专门为高端成像应用而设计的融合视觉传感芯片ALPIX-Eiger，像素尺寸为1.89 μm，分辨率达到8 MP，通过搭载独创的Hybrid Vision 融合视觉专利技术，在像素层面实现了图像传感和事件感知的融合，可广泛用于手机、运动相机等小型化智能设备。
三维成像视觉传感器
基于飞行时间的三维图像传感器的研究方面，国内的许多高校、科研院所和企业作出了很大的贡献。芯视界在单光子D-ToF（SPAD）技术和应用落地上处于领先地位，是全球率先研究单光子D-ToF三维成像技术的先驱之一。2020年发布了QQVGA分辨率单光子（SPAD）面阵D-ToF传感器VI4310，分辨率为160 × 120、最高支持120 帧/s刷新率，在200 mW的整体超低功耗下（包括DSP和ISP算法）实现10 m的远距离探测，在单芯片上实现了核心感光器件SPAD Array及精准测距电路、图像处理算法等高度集成。
微光高动态视觉传感器
微光高动态图像传感器方面，2018年，中国科学院大学的团队针对科学级CMOS图像传感器进行研究（张元涛，2018），其基底构造与CCD传感器一致，而采用CMOS读出电路的结构，通过这种方式进一步降低系统噪声，同时保证了高灵敏度和大动态范围的成像要求。
红外图像传感器
国内从上世纪80年代后期陆续开始红外焦平面探测器的研制。尽管国内的第2代、第3代红外焦平面技术在材料、器件工艺、读出电路、杜瓦和致冷等方面取得一些进展，完成了几类器件的研制，但还有许多关键技术还没有完全突破，可靠性、工程化和通用化与标准化水平有待进一步提高；第4代产品刚开始进行技术突破，到目前为止，只有为数很少的工程化产品提供使用。虽然近几年国家在红外探测器技术方面加大投入，但总体水平与西方发达国家相比仍有较大差距。
大面阵红外探测器
国内研究大面阵的单位和公司有中国科学院上海技术物理研究所（上海技物所）、昆明物理研究所和华北光电技术研究所等。我国的大面阵探测器在规模和像素尺寸方面都努力向国外看齐，现已有诸多产出，但参数和性能方面仍存在一定差距。
宽谱段红外探测器
中国科学院上海技物所于2014年报道了320 ×256（像素间距30 μm）InAs/GaSb T2SL长波红外焦平面探测器，响应波段为8～12 μm，在77 K测试温度下，探测器100%截止波长为10.5 μm，平均峰值探测率为8.41 × 109 Jones，盲元率为2.6%，不均匀性为6.2%。
高灵敏度红外探测器
中国科学院上海技物所于2022年（于春蕾等，2022）报道了国内首个2 560 × 2 048（像素间距10 μm）InGaAs短波红外焦平面探测器。同时，国内许多学者针对提升探测器的灵敏度，提出了新的技术途径和器件。
目前国内有许多高等院校的科研队伍致力于解决探测器的高灵敏度的问题，已取得显著突破，需要与企业展开密切合作，推动产学研深度融合，尽快将技术途径等科研成果实现产出。
随后，本文还对双色/多色红外探测器、高温工作型红外探测器、红外偏振探测器等进行了介绍。
国内在多光谱TDI CCD、高光谱CCD和EMCCD三方面取得了重要进展，目前的器件性能达到了国际一流水平。
国产多光谱TDICCD已经批量应用于高分辨率遥感成像卫星，国产高光谱CCD突破了关键技术，国产EMCCD基本具备了工程化应用能力。
CMOS图像传感器
通过对上述正照式、背照式和堆栈式架构的CMOS图像传感器技术的国际国内研究现状进行比较分析可知，在工业、医疗和天文等专业影像领域，国际和国内的视觉传感器企业所开展的研究方向基本一致，针对不同架构的传感器类型，均有着国际领先的代表性产品，如背照式架构研究方面，日本Sony推出了2.74 μm像素的系列化背照式全局快门产品，国内的思特威也同样推出了4 μm/4.2 μm像素系列化背照式全局快门产品；美国Teledyne E2V推出了一系列科学级背照式产品，峰值量子效率超过90%， 国内的长光辰芯则推出了科学级背照式CMOS视觉传感器产品，峰值量子效率最高可达95%。
综合比较来看，国际的视觉传感器企业数量更多，产品丰富，并且在视觉传感器领域的研究起步早，拥有丰富的光学视觉传感器的技术基础，以Sony为代表的传感器企业引领了全球视觉传感器技术的发展。虽然国内在视觉传感器领域的研究起步较晚，但近些年随着政府大力支持集成电路产业的发展，推出了一大批产业扶持政策，越来越多的企业把研发方向放在了光学视觉传感器方向，使得我国的光学视觉传感器技术实现了突飞猛进的发展，推出了一系列具有国际同类领先水平的高性能视觉传感器产品，在全球图像传感器市场所占的市场份额逐步提升，研发能力已经达到国际同类的最高水平。
智能视觉传感器
由于我国CMOS图像传感器研究和产业化起步较晚，国内在CMOS图像传感器领域的研究与世界先进水平相比还有一定差距，不过近年来随着对该领域关注度的提升，越来越多的机构加入了该领域的研究。
1）三维成像视觉传感器。在三维成像视觉传感器方面，由于ToF技术对光学传感芯片要求相对较高，国外芯片产业发展较早且产业链较为完善，目前国外传感器芯片厂商在国内ToF产业链中基本占据着主导地位，国内智能端的三维图像传感器供应也都被日本索尼公司等公司垄断。
同时，在相关的性能优化以及结构创新中，国内外也存在着较大差距。2016年，中国科学院半导体研究所报道了256 × 256分辨率ToF图像传感器，测距误差为1.6%。2018年，日本索尼公司推出了320 × 240分辨率的ToF传感器，1 m处的测距误差为5.9 mm。同年，索尼公司推出VGA分辨率ToF传感器产品IMX456QL，已广泛应用于各类智能终端，其1 m处分辨率约为6 mm。2018年，美国微软公司报道了基于光栅解调像素的1 024 × 1 024分辨率ToF图像传感器，测距误差达到1.2%。目前我国研究技术较之国外还有相当大的差距，这需要一定的时间和努力去弥补。
2）仿生视觉图像传感器。在仿生视觉图像传感器方面，经过对比发现，国内起步较晚。2012年、2013年天津大学研制出了电路但是没有进行流片验证，2017年深圳大学设计的动态视觉传感器进行流片后功能却未实现，一定程度上反映了与国外的差距较大。国外在2015年开始就对信号的完整性、灵敏度以及抑制噪声方面展开了研究并颇有成效。国内也对信号的灵敏度研究颇有进展，例如天津大学设计的DVS通过在像素单元增加堆叠的二极管连接亚阈值MOS管来增强像素的灵敏度，除此之外，Chen等人（2019）提出的ATIS可以融合时基对比度检测和亮度测量，也是国内动态视觉传感器的重要突破之一。
3）微光高动态图像传感器。在微光高动态图像传感器方面，虽然国内近几年在微光图像传感器方向的发展突飞猛进，但是与国外的先进技术相比，在转换增益、读出噪声、量子效率和动态范围等方向还是有所差距。从全球市场来看，索尼和三星是绝对的技术引领者和市场占有者，国内的豪威科技、格科微电子和思特威等企业在车载、安防等领域占据着一定的市场。另外，天津大学、上海集成电路研发中心以及中国科学院等单位也具有一定的技术实力。
总体来说，我国CMOS图像传感器研究和产业化虽然起步较晚，但国内的众多高校、研究院所和企业都已经开展了深入的研究，积累了很多宝贵的经验和研究成果，为我国研制世界一流的CMOS图像传感器芯片产品提供了强有力的支撑。
红外图像传感器
在红外探测器发展方面，与国外科研机构相比，国内的科研机构对于红外探测器的研究起步较晚。因此，欧美的科研机构一般处于“领跑”的状态，而国内的科研机构更多的是属于“跟跑”的状态：大多数红外探测器的开创性工作由欧美科研机构开展， 完善了红外探测的材料理论，建立了完整高性能的红外探测器生产工艺与生产设备。而国内的科研机构开展的主要是对其提出技术路线的跟随与优化，虽然可以在类别和功能已经逐步赶上，但在性能、规模和集成度方面与国外仍有较大的差距。此外在红外探测器的生产制造方面仍然受到很大的约束。大规模的红外读出电路的生产这一关键工序目前主要仍掌握在国外厂商，红外探测器材料生长、耦合和封装测试相关的仪器设备目前主要供应商也为国外厂商。需要国内的研究机构与产业界共同合作，推动红外探测器生产制造的国产化替代，减小我国红外探测器的生产周期、生产成本和生产良率，大面阵红外探测器国内外参数对比如表3所示。
另外，在民用非制冷领域国内的探测器厂商，如高德红外、艾睿光电、大立科技和飒特红外等，均在非制冷红外探测器方面投入了力量进行攻关， 并发布了很多非制冷红外相关的新产品，也具备了批量化的生产能力。基于中国更为广阔的应用需求， 国内非制冷红外探测器目前发展蓬勃、势头强劲。未来通过学术界与工业界的机构的合作，共同促进红外探测器的产业发展（表4和表5）。
1）多光谱TDI CCD方面。未来基于CCD和CMOS融合工艺的CCD感光—CMOS电路读出的多光谱TDI CCD架构将逐渐成熟并大量应用。2）高光谱CCD方面。未来围绕更高帧频、更大阵列规模、背照高量子效率宽光谱响应、背照高调制传递函数等技术进一步发展。以器件表面镀滤光膜实现高光谱探测的新型探测器技术也将继续完善并实用化。3）EMCCD方面。除了大面阵、光子计数等具有极致性能的EMCCD之外，低驱动电压EMCCD、具备全天时成像功能的浮栅放大器信号选择型EMCCD将继续发展。
从全球市场来看，Yole公布的2020年CMOS图像传感器市场报告显示，CMOS图像传感器的市场价值达到了207亿美元，预计到2026年全球CMOS图像传感器市场总量将达到315亿美元。2020年7月，国务院印发的《新时期促进集成电路产业和软件产业高质量发展的若干政策》指出，中国芯片自给率要在2025年达到70%。而我国目前半导体自给率仅达到36%，国产化替代刻不容缓。因此，CMOS图像传感器的发展前景良好。随着自动驾驶、智能交通和机器视觉等领域的快速发展，对CMOS图像传感器提出更高灵敏、更宽动态范围以及更低噪声的需求，CMOS图像传感器的发展面临更高技术要求的挑战。因此，研究高量子效率、高满阱容量像素设计技术及低噪声高速度读出电路设计技术，对于提高我国图像传感器自主研发水平，满足国内对于高端CMOS图像传感器的需求，具有极大的科学价值和经济效益。
背照式架构的CMOS图像传感器将成为传感器市场的主流产品，背照式架构传感器凭借超过灵敏度，已经成为生命科学、天文和广电等专业影像领域的第一选择，并且各个图像传感器企业均已经推出了面向工业领域的背照式全局快门传感器产品，未来随着背照式架构技术的不断成熟，制造成本逐渐下降，背照式架构的图像传感器将会在更多的领域实现应用，成为未来传感器市场的主流产品。
高集成度的智能化视觉传感器将成为研究重点，随着堆栈式架构技术的快速发展，让视觉传感器实现小型化的同时，多功能化也成为全球在视觉传感器方向的研究重点，2020年索尼最新推出世界首款集成了AI运算单元的智能化视觉传感器IMX500，通过堆叠式工艺，在传感器的逻辑晶圆上设计配备了DSP，专门用于AI信号的处理和缓存，虽然该传感器在处理复杂的分析任务方面还存在瓶颈，但高集成度的智能化视觉传感器有可能打破传统的图像传感器和处理器分离的模式，必将成为各企业竞相研发的重点。
ToF技术具有低功耗和微型化的重要优势，能够满足便携式电子设备的需求。近年来国内外不断展开研究，提出了各种高分辨率、低测距误差的ToF传感器结构。然而，目前ToF传感器仍存在量程与精度无法兼顾，抗背景光干扰差以及三维信息解算慢等问题，需要发展新型的设计技术。仿生视觉图像传感器未来可面向多传感器融合的神经形态工程系统发展。将视觉、语音及触觉等多神经形态传感器融合，应用于神经形态工程的智能感知系统。
红外探测器经过近50年的蓬勃发展，已经成功研制响应覆盖短波到甚长波，规模从长线列覆盖到8 K × 8 K大面阵，多色集成的各类高性能红外探测器，具有成像系统体积小、质量轻、功耗低、系统灵敏度高以及工作帧频高等一系列优点。然而，随着红外探测需求的进一步提升，如目标多变、背景复杂、复杂环境和任务多元等应用挑战还需要从以下几个方面进一步发展：
1）红外大面阵探测器均存在非均匀性问题，非均匀性影响探测精度，特别是在弱信号探测时尤为严重。解决该问题需要从红外探测器材料生长工艺，读出电路一致性以及读出电路与探测器耦合进行入手。2）针对自动驾驶等复杂红外背景的应用，单一波段的红外探测器容易受环境变化的干扰，导致无法对目标进行准确识别。需要发展具有多维度信息获取能力的红外探测器，同时获取多个光谱维、偏振维的红外图像。3）探测器向高集成度、小型化方向发展，这主要体现在像元间距越来越小，阵列规模越来越大。后端需要处理的图像压力越来越大，需要将整个红外探测系统与红外焦平面进行集成，发展感存算一体的红外探测器，将智能化的处理技术在片上进行集成。发展新型红外微分探测器，将抑制复杂背景的功能置于读出电路端，实现暗弱目标探测的对比度和图像信噪比的提升。4）提高红外探测器的环境适应性，红外探测器广泛应用的一个主要约束就是对低温环境的要求，如何降低高性能红外探测器的工作温度需求、降低工作功耗、提高组件封装的集成度也是未来一段时期的主要研究内容。
DOI: 10.11834/jig.230039
