作为多源成像技术的核心之一，红外与可见光图像配准技术在众多领域具有重要的研究价值。红外与可见光图像配准能够获得更丰富和全面的场景信息，被广泛应用于军事侦察、视频监控、遥感信息融合、电力设备监测等领域。
红外图像与可见光图像的成像原理差异导致了传统单模态图像配准方法效果不佳。通过在相同时间内对同一范围成像所得到的可见光图像与红外图像的数据进行分析可以发现，它们之间由于存在着不同比例的缩放以及相对平移、旋转等问题导致了红外与可见光图像具有很大的配准难度。因此，研究者们针对不同的应用场景分析，提出多种精度高、配准效果好的方法。鉴于这些方法在各领域的研究中具有重要的理论及实践意义，有必要对其研究现状进行综述。
据麦姆斯咨询报道，近期，西安工程大学电子信息学院李云红教授课题组在《红外技术》期刊上发表了以“红外与可见光图像配准技术研究综述”为主题的综述文章。李云红教授主要从事红外热像技术、数字图像处理和信号与信息处理技术方面的研究工作。
这项研究首先介绍了红外与可见光图像配准的相关技术并阐述了配准中存在的难点与挑战，然后详细分析和总结了基于区域、基于特征和基于深度学习3种红外与可见光图像配准方法，并分别阐述了不同配准方法的优缺点，之后概述了红外与可见光图像配准技术的实际应用，最后对红外与可见光图像配准未来的发展趋势进行讨论。
图像配准是对同一场景图像叠加的过程，旨在找到参考图像（固定图像）和浮动图像（待配准图像）之间的映射关系。通常采用两个二维数组来定义两幅图像。基于区域的配准算法主要以参考图像为基础，利用极大化相关性指标来搜索待配准图像的最佳位置。选取合适的相似性测度算法以寻找两幅或多幅图像的相关性并在空间域或频域中展开，是基于区域的配准方法的核心。传统的基于特征的图像配准算法是一个不断迭代优化寻找图像之间最优相似度的过程，为了提高图像配准的精度，在对不同传感器图像进行特征提取前，需要将图像的特征信息在像素级上进行展开，常用的特征包括：角点、边缘线段、特征区域等。特征匹配就是在特征提取过程中，根据特征描述算子和相似性测度准则获得特征集合间的匹配关系，可能用到的信息有：特征向量的空间分布、区域的灰度值以及特征描述符等。最后通过判断参考图像与待配准图像之间是否产生几何畸变，从而选择合适的几何变换模型对图像进行最佳拟合。深度学习的配准方法主要是利用深度学习网络对输入的图像对进行特征提取与相似性测度，从而实现配准图像的生成与图像配准精度的判别。一般将可见光图像与红外图像通过深度网络模型映射转为同一模态（比如将可见光图像转为红外图像），而后输入到配准网络中进行相似性测度，根据神经网络反向传播特性，将损失值传递到网络中迭代，促使可见光图像映射到红外图像的效果更好，以获取两幅红外图像更精确的相似性度量，最终得到最优的输出值得到配准图像。
三大图像配准算法步骤
红外与可见光图像配准存在的难点，由于受到自然环境、物体运动干扰、光照等条件的影响，红外与可见光图像之间相关性较小，因此基于区域的图像配准方法效果较差。如何结合不同算法提高特征点对的提取和匹配精度以及缩短配准时间是配准的一大挑战。传统的配准方法精度高、但相较于深度学习的配准方法速度较慢，传统方法已逐渐无法满足当下各种红外与可见光图像配准领域飞速发展的需要。近些年来，深度学习的配准方法在医学图像和遥感图像的配准中已有较传统方法效果更好、速度更快的优势。部分研究者尝试将卷积神经网络、生成对抗网络等深度学习网络应用到红外与可见光图像配准中并取得了一定的进展，但与传统方法在配准精度上仍具有一定的差距。深度学习方法在实现出色的红外与可见图像配准方面面临许多挑战。
基于区域的配准方法又称模板匹配法，典型的区域配准算法包括：傅里叶变换、互信息、梯度信息等。基于特征的红外与可见光图像配准方法的常见方法有：基于点特征、基于轮廓边缘与区域特征的图像配准方法。现阶段，由于基于深度学习的图像配准方法在红外与可见光中的应用相对有限，无法像基于区域与特征的红外与可见光图像配准一样进行细致分类。但一般而言，基于深度学习的图像配准主要利用深度网络对两幅图像进行相似性测度，通过反向传播寻找最优相似性。在红外与可见光图像对放入网络之前的预处理阶段，部分研究人员采用传统算子或生成对抗网络的跨模态映射对可见光图像进行梯度映射转为红外图像以更好地提取特征。
基于点特征的图像配准：(a)红外与可见光图像配准；(b)融合结果
RegiNet 的网络架构
红外图像可在全天候与昼夜条件下根据辐射差异将探测目标与背景区分开来，而可见光图像可以提供高空间分辨率和高清晰度纹理细节。作为图像融合的必要前提之一，红外与可见光图像配准在众多领域中已得到诸多应用，如电力系统、医学领域、卫星及无人机等空中摄影、材料力学等。红外与可见光图像配准技术应用于材料力学中以研究力学性质、目标物运动跟踪、道路与车辆的场景分类、人脸识别、自动驾驶领域中辅助驾驶等众多领域。
变压器对抗网络（TAN）的红外与可见光图像配准框架及部分实验结果
发展到目前的红外与可见光配准技术已覆盖电力、军事、辅助驾驶与人脸识别等领域。虽然红外与可见光图像的配准算法有很多，但是在不同的应用场景下具有不同的应用需求，如电力系统在线监测领域对图像的实时性要求较高而医学领域对图像的配准精度要求较高等。因此目前还没有一种全面的图像配准算法能够囊括所有的应用场景。针对未来红外与可见光图像配准算法的发展，可以从以下几个方面进行改进以提高图像的配准效率：①对于基于区域的图像配准算法可以在改善相似度量函数、提出更有效的变换域算法等方面进行改进。②对于基于特征的图像配准算法可以在改善图像预处理过程、对传统的描述算子进行降维、设计更精确的错配消除算法等方面进行改进；③随着深度学习在图像配准领域的不断研究，有望实现利用深度网络更好地提取红外与可见光图像的几何特征，从而使深度学习的图像配准方法在红外与和可见光领域得到更好的应用。
该项目获得国家自然科学基金（61902301）、陕西省科技厅自然科学基础研究重点项目（2022JZ-35）和国家级大学生创新创业训练计划项目（S202110709002）的支持。
