智能化红外焦平面探测器的出现，依赖于先进的红外材料、器件技术和工艺水平以及集成电路技术和工艺的飞速发展；其能够针对不同的场景对探测器的工作状态进行自适应调整，而且在探测器上能够实现部分信号处理功能。智能化红外探测器的出现，大大提高了红外系统的灵活性，同时为日益复杂的探测场景提供了更加精准的探测能力。
据麦姆斯咨询报道，近期，中电科光电科技有限公司的科研团队在《激光与红外》期刊上发表了以“智能化红外焦平面应用前景与发展现状”为主题的文章。该文章第一作者为袁媛。
本文从智能化红外探测器应用的背景需求作为切入点，阐明发展智能化探测器的必要性；最后介绍了智能化红外探测器发展状况及未来发展趋势。
智能化红外系统是用红外传感器代替人的眼睛，用专用高速微型计算机模拟人的分析、推理、判断、决策等逻辑功能，用“算法”复制人的思维过程。而智能化红外传感器在“看”的同时，也要对看到信息作出判断和反馈，从而替代高速微型计算机完成思维过程。
在现代军事应用中，为实现红外系统高集成度小型化，需要进一步降低系统的体积、重量、功耗等；同时，为了使后端成像系统更加简化，部分成像算法需要在探测器内部实现；以上两个应用成为智能化红外焦平面技术发展的动力。根据实际应用背景，智能化红外焦平面需要突破一系列关键技术，从而使红外系统变得更紧凑，具备灵活机动性、大大提高了可靠性。如图1所示为智能化红外探测器概念示意图。
图1 智能化红外探测器概念示意图
红外遥感应用需求
红外遥感中在对区域目标进行成像时，探测器的视场角和像素数量限制了卫星单次观测的信息量，成像系统单次获取的信息无法形成完整视场图像，因此需要采用红外图像拼接技术将多次观测获取的不同图像拼接到一起，从而获得探测区域的完整信息。
红外遥感图像拼接的原理是将多张红外遥感图像重叠的区域进行特征点提取、描达，最终通过图像融合拼接成一张图像。其中，图像特征匹配（特征点提取、描述）是红外遥感图像拼接至关重要的一步，该过程的数据会对图像质量的高低与获取图像时间的长短产生重要影响。为了使各图像重叠区域的特征能够精确匹配，需要对探测器采集的多张原始图像进行图像预处理，保证拼接过程中对图像特征点的抓取淮确度以及特征点匹配精度不受原始图像质量影响。
红外成像电路从探测器杜瓦接口处获得的电信号往往会受到杜瓦内部排线的干扰，从而在读出电路输出电信号上叠加了噪声，特别是对于航天遥感应用的大面阵、长线列拼接探测器；另外，在传统的模拟域读出电路内部，探测器积分信号在读出电路内部传输链路上也易受到干扰，使探测器信噪比降低。这就使得红外遥感原始图像的信噪比、对比度和像素分辨率都处于较低水平，图像的边缘信息模糊不够锐利，后端成像系统很难直接从图像中获得足够精准的信息，因此需要对原始图像进行图像增强预处理。为了简化图像拼接过程，缩短图像拼接时间，希望将图像增强及降噪预处理放在探测器内实现，通过简单的时间、空间滤波等算法，获得高信噪比、高对比度的原始图像。
图像预处理的另一个目的就是在探测器片外进行盲元替换。红外探测器存在盲元，其反应在图像上是分布在图像中的一些无规律的白点或者黑点，若对地遥感成像时各张图像中重复的位置落在盲元上，那么当对图像进行相关的配准时，会由于盲元的存在而造成对特征点抓取困难，从而导致匹配准确率下降。在成像系统中对遥感原始图像的盲元替代工作量非常大，若探测器能够在成像过程中，实时检测盲元，并对盲元进行补偿，那么将大大减轻图像预处理的数据量；在红外探测器内部实现实时盲元检测和补偿的另一个好处，是可以避免探测器在使用中产生地面无法获得的临时盲元信息，从而无法进行地面盲元补偿，降低各张图像间的匹配准确率。
红外制导应用需求
为了更好地适应未来信息化电子战环境，红外导引头作为红外精确制导武器系统的核心，需要具备更强的红外探测能力、更快的图像实时处理速度和更敏锐的电子感知能力。其中，红外成像探测技术、图像实时处理技术等均是现阶段各个国家围绕提高制导武器系统智能化水平和抗干扰能力的重点发展方向。
红外成像探测技术
随着新型红外干扰技术的日益发展，红外成像探测技术所面临的目标信息、环境状态和任务使命均更加复杂化多样化。这就要求红外探测器具备大视场、高分辨率的大规格、小尺寸像元特征；而且为了有效降低数据压缩、特征提取以及数据链传输的复杂性，红外探测器需要具备智能焦平面阵列的全数字化信息处理能力。
此外，红外成像探测维度日趋丰富，目标探测、跟踪与识别的信号空间逐渐地由低维度向高维度演化，其表现为信号输入维度和处理维度呈逐步增加的趋势，这就引起了较高光谱分辨率和探测低特征目标所需要的探测灵敏度的矛盾。为了解决这一矛盾，需要红外探测器能够动态感知目标场景，并根据目标场景变化具备实现动态开窗、局部像元重构等能力，结合片内数据信号压缩感知算法（利用适度规格红外焦平面阵列获得的高分辨率图像），在不影响高分辨率的同时提高低特征目标的灵敏度。
图像实时处理技术
在红外制导系统中，图像实时处理技术是对来自红外成像探测系统信号进行分析与甄别，并对目标信号中的背景噪声和红外诱饵干扰进行撇除，提取真实的目标信号，进而计算目标位置和命中点。一般包括红外图像预处理、红外图像实时检测、目标图像实时跟踪三类关键技术。其中，目标图像实时跟踪是红外导引头图像实时处理的关键技术之一，现阶段实现高精度目标跟踪的算法已经获得重大突破，但仍亟待解决的是算法运算量和存储空间的需求增加，造成实时跟踪上的困难，这就对红外探测器智能化提出了要求。希望通过在红外焦平面读出电路上完成时间滤波、空间滤波、图像稳定等算法，将图像噪声、背景抑制等预处理功能放在探测器内部完成，片外释放出的数据存储空间可以更多的被目标图像实时跟踪技术利用；另外，在片上增加运动检测、目标轨迹识别等图像实时检测功能，可以大大降低红外探测器数据吞吐量，从而降低目标图像实时跟踪算法运算量以及信号空间存储量。
21世纪初期，由军事需求做牵引，美国、法国、英国等西方技术发达国家提出了红外焦平面智能化概念，意图简化外部信息处理，提高搜索速度和态势感知速度，减小体积、质量，降低功耗和成本，提高可靠性。
从传统的被动接收光电信号并将其转化为模拟域电压信号，到对接收的光电信号进行数字域信号转化、片上信号处理功能、自主分析反馈，最后达到自主学习能力，智能化焦平面的发展不是一蹴而就的，其发展需通过技术不断积累创新，也需要其他新兴技术的支持。
智能化红外焦平面基础阶段———数字像元焦平面
数字像元焦平面技术是实现智能化红外焦平面的技术基础，焦平面各光电二极管获得的所有光电信号在读出电路上都被转换为数字格式，利用数字域信号处理的灵活性，在芯片级完成多种复杂的计算、控制等功能。因此，红外数字像元焦平面是智能化红外焦平面的初期阶段。
法国sofradir公司联合CEA-LETI研制出的几款数字像元探测器在探测灵敏度、动态范围等性能方面具备较高水平。土耳其自然科学工程院在两步量化技术上也颇有研究，2015年，其报道了阵列规模32×32，中心间距30 μｍ两级量化数字化焦平面样品及测试结果。图2为像素级数字化结合TDI功能读出电路的结构图。
图2 像素级数字化结合TDI功能读出电路结构图
目前，国内已具备数字像元焦平面探测器制备能力，多家致力于红外焦平面研制的单位均已开展对数字像元焦平面的研制，并有相应样品报道。虽然已具备开展智能化红外焦平面的基础，但是受限于技术水平及CMOS工艺水平等，我国智能化红外焦平面样品问世还需要一段时间。
智能化红外焦平面初级阶段———被动式片上信号处理功能
在数字像元焦平面技术基础上，利用光电信号转换后的数字域信号为实现片上信号处理提供能了可能。
可变空间分辨率技术可以看做最早在焦平面内实现的片上信号处理功能。在美国空军研究实验室的赞助下，美国Nova Biomimietcs公司研制出一款像素阵列320×256，通过像元重构获得具有分辨率帧速率可变功能的红外焦乎面。这种器件通过片外程控，用户以帧速率调整阵列元空间分布，像元的空间组态可以依据用户需求调整出各种组合状态。像元空间分布窗口的中心可在整个焦平面阵列内移动，从而获实现探测目标的高精度跟踪。这种片上可变空间分办率技术，对于所关心的探测目标在空间维度上能够达到最优的空间分辨率，同时将不在探测关心范围内的背景像元利用更大超像元模式输出实现高帧频，这就使探测器在超宽的视场中具各最优的分办率，图3展示了探测器不同像元空间组态及读出状态特征。此技术唯一的缺点是需要用户在探测器外部进行程控，探测器不具备自适应能力。
图3 不同像元空间组态及读出状态特征
美国麻省理工林肯实验室，一直致力于开发数字智能化焦平面阵列读出电路。2006年，研制出的第一款数字像元焦平面探测器就利用信号在正交的四个方向上进行数据传输并与像素内计算相结合，实现背景减除和空间滤波功能，该探测器阵列规模256×256，像元中心间距30 μｍ，读出电路采用90 nm CMOS工艺，图4展示了信号正交传输数字像元读出电路原理图。
图4 信号正交传输数字像元读出电路原理图
随后几年，林肯实验室以相同阵列规模探测器作为典型产品，通过片上功能算法开发、像素级ADC优化，至2014年，采用更小CMOS线宽65 nm工艺，使得读出电路片上集成的功能达到顶峰。其通过像素内双向计数ADC使探测器获得对变化场景实时探测及背景减除的能力；通过正交传输架构，在获取图像时将图像与预定义的滤波核进行卷积，这就可以在片内实现对二维图像数据进行低通滤波、高通滤波、纹理滤波，而不需要额外的成像处理系统对图像进行过滤，进而实现了片上图像稳定处理、非均匀性校正、盲元替换、图像时间空间滤波、图像锁定和放大等功能，图5为采用不同图像滤波算法得到的成像图；通过像素内增益转换，使得读出电路可以匹配从短波到甚长波红外焦平面的应用。虽然实现了多种片上信号处理功能，但是这些功能都是通过片外触发的，距离自适应智能化焦平面还有差距。未来，他们规划将焦平面规模扩展到4028×4028规模，像元间距缩小到12 μｍ以下，采用≤32 nm CMOS线宽工艺，重点是要在像素内实现阈值比较逻辑计算，初步实现焦平面自适应能力。
图5 不同图像滤波算法成像图
美国Senseeker Engineering公司，在2021年报道了一款数字化高动态红外成像仪，利用数字化焦平面技术实现帧内高动态成像，替代传统的采用多帧图像组合的帧间高动态成像，大大提高了时间分辨率，并且解决了运动目标成像模糊的问题。该高动态红外成像仪规模为1280×720，帧内高动态成像是通过不同的积分时间对相邻像素进行空间插值来获得的，图6给出了不同时间交替积分的2×2像素棋盘阵列，实际电路中时间交替集成阵列规模可以根据不同应用场景在外部程序控制下扩展到任意规模，图7展示了在同一场景下不同积分模式下得到的帧图像。实现在不影响时间分辨率的情况下动态范围提升了57 dB，并且基本保持了空间分辨率。不难看出，这种像素棋盘阵列的长短时间交替积分功能，在探测器内部利用较少的资源实现片上图像处理功能。
图6 不同时间交替积分2×2像素棋盘阵列
图7 同一场景的不同积分模式下帧图像
英国航空航天系统公司（BAE）公司在智能化红外焦平面研制方面也颇有成就，其采用三维垂直集成技术（如图8所示），将焦平面、专用集成电路芯片、动态存储器阵列芯片通过垂直互连从而能够在探测器内部实现高级图像处理。虽然该焦平面为非制冷型，但三维垂直集成技术的出现，为焦平面智能化提供了更多的可能性。
图8 采用三维垂直集成技术的智能化焦平面架构
虽然目前单片集成像素探测感知、信号计算、图像处理能力的红外焦平面已经被成功研制，但是仍然采用“先感知、后计算处理”以及外部程控的方式，距离完全智能化还有一定差距。
智能化红外焦平面高级阶段———自适应能力及自主学习能力
智能化红外焦平面的终极目标，是实现能够对不同场景、探测目标的实时变化通过调整参数配置，自动收集最相关数据的自适应能力；以及对收集到最有价值的信息进行自主学习判别、在复杂情况下自动决策的能力。
美国国防高级计划研究局（DARPA）于2016年提出了“可重构成像（Reimagine）”项目，核心目标是研制智能化的成像探测器。项目中提出了具有内部反馈成像系统的创新概念，该项目重点将开发自适应学习的学习算法，并将开发出的创新概念在不同硬件层实现；利用集成电路的三维垂直集成技术，可以选择不同类型探测器芯片与像素ADC读出电路、适合成像探测器操作目的的硬件层进行互连，从而针对不同应用需求“重构“成像系统（如图9所示）。
图9 “可重构成像”实现逻辑图
该项目将开发的可重构集成电路试图打破每像素固定资源的传统模式，取而代之的是提供大量的数字逻辑资源和可重构路由通道，这些路由通道可以根据需要使用与FPGA相同的编程技术分配给像素。这些算法能够根据场景的背景和各种数据的预测值将信息内容最大化并做出决策。
2017年，DARPA同时授予DRS网络和成像系统公司、沃克特尔公司（Voxtel）、英国航空航天系统公司（BAE）电子系统部门和洛马公司（LM）导航和火控部门“可重构多功能成像传感器”合同，计划用时45个月，完成该项目的研制工作。可以预见“可重构多功能成像传感器”若成功研制，即将在全球范围内掀起自适应能力及自主学习能力智能化红外焦平面的热潮。
以红外制导、红外遥感等应用需求作为牵引，数字像元焦平面技术作为技术基础，智能化红外焦平面的研究已经取得了阶段性的发展，已经获得具备图像稳定处理、非均匀性校正、盲元替换、图像时间空间滤波等片上信号处理功能的初级智能化焦平面探测器样品，其在一定程度上减小传感器带宽和传感器接口数据吞吐量，简化了片外图像信息处理系统硬件条件。对于自适应能力和自主学习能力的智能化需求，更高一级的智能化红外焦平面也正在开发中。
未来，红外焦平面传感器的形态会更加多元化。随着各学科技术的发展，学科间的壁垒将不断被打破，将基于仿生学、新一代人工智能技术、以及先进的制造技术等多学科与红外焦平面技术相融合，将计算处理融入传感器视觉信息感知过程，实现感知和处理“一体化”的智能型红外焦平面。
DOI: 10.3969/j.issn.1001-5078.2024.01.001
延伸阅读：
《新兴图像传感器技术及市场-2024版》
《光谱成像市场和趋势-2022版》
