在一些特定环境下，红外传感器无法探测到目标时，需要将偏振技术与红外技术相融合。为了获得更清楚的融合图像，可采用一种基于多尺度结构分解的图像融合方法实现红外光强与偏振图像融合。
据麦姆斯咨询报道，近期，西安工程大学电子信息学院的科研团队在《红外技术》期刊上发表了以“基于结构与分解的红外光强与偏振图像融合”为主题的文章。该文章第一作者为陈锦妮硕士生导师，主要从事信息与信号处理方面的研究工作；通讯作者为陈宇洋，主要从事图像融合方面的研究工作。
本文提出一种反正切权值函数与应用在红外与可见光图像融合算法相结合，通过均值滤波器，将图块级的融合转换成图像级的融合，在不同尺度下通过不同权值，充分提取基础层与细节层中的特征，有效地提高融合图像的对比度、保留更多的纹理细节、提升了客观指标。
本文研究一种基于多尺度结构分解的红外光强与偏振图像融合方法。首先，多尺度的优势可以在融合图像中感知信息结构、抑制目标周围的伪影。其次，将红外光强与偏振图像通过滑动窗口进行精确图像分解与融合，并且转换为图像级滤波融合，可以降低计算复杂度。
多尺度图像分解的基本框架
结构图块分解的基本思想是将一个大小为k × k的图像块分解为3个概念上独立的部分：平均强度、信号强度和信号结构。在平均强度融合方面，采用加权平均计算强度分量，以使红外信息与偏振信息都能在融合图像中得到体现。一般采取两张输入图像进行融合。
控制权重函数非线性曲线如图1所示。不同的目标物在不同环境下的红外特性与偏振特征不同，所反应出红外光强与偏振图像的平均强度各有高低，通过不同λ的选择，可以扩大红外光强和偏振图块平均强度的权重差。λ较大表示更多偏振特征可以在融合结果中得到体现，目标的偏振特征也会得到增强。
图1 控制权重函数非线性曲线
信号强度的融合结果将会直接影响到图像的局部对比度。信号强度越大，图像的对比度将会越强、细节更清晰。通过独立融合的平均强度、信号强度、信号结构的3个分量，逆分解可以计算出局部融合图块xˆ。
图块级转换成图像级滤波融合
图块级融合通常可以通过滑动窗口实现，对每个图块进行相应的分解融合，然后放回原处，在图像重叠处采用像数平均原则，在选择较大尺寸的图块时图块级的分解与融合计算代价非常高。为了解决计算代价过高的问题，本文将图块级的分解融合转换成图像级的滤波融合。
多尺度结构分解方法
了进一步解决融合图像中目标边缘模糊和细节丢失等问题，本文采用多尺度的方法，可以让不同尺度上的特征与细节得到充分的利用，文中采取的多尺度方法与Li H的方法一致。通过下采样可以将图片分解成J层，其中包括J－1层细节层和一层基础层。算法再分解尺度为4时的融合过程如图2所示。当中第一行和第三行分别是4种尺度下的红外图像与偏振图像，第二行展示不同尺度下的融合过程与最终的融合结果。
图2 展示多尺度结构分解算法在J＝4时的融合过程
在进行图像评价之前，应该确定本算法中参数λ。进行6组不同λ参数的融合对比实验，根据实验结果，当λ＝5时，本算法在7项评价指标中4项领先，所以这里采用λ＝5。分解层数J是由图像的H和W与一个可变常数T所自适应确定，这里约定使用T＝3，细节层为2×2，中间层与基础层分别为2×2与1×1，表1详细说明本算法在5组融合图像下不同融合参数的平均质量评价。从中可以看到当λ＝5时算法在信息熵（EN）、视觉保真度（VIF）、多尺度结构相似度测量（MS_SSIM）、结构相似度测量（SSIM），4种指标上取得优势，而其它的指标也有不俗的表现。
主观评价
选取常见数据集中的5组图像进行相应的融合，并对比8种多尺度算法在红外偏振融合的结果，其中包括CP、DWT、GP、LP、PCA、RP、SIDWT以及本文所提出的算法。如图3~图7所示。
图3 Airport在8种多尺度融合算法的结果图：(a)红外图像；(b)偏振图像；(c)对比度金字塔；(d)离散小波变换；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不变小波变换；(j)本文算法
图4 Road在8种多尺度融合算法的结果图：(a)红外图像；(b)偏振图像；(c)对比度金字塔；(d)离散小波变换；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不变小波变换；(j)本文算法
图5 Car在8种多尺度融合算法的结果图：(a)红外图像；(b)偏振图像；(c)对比度金字塔；(d)离散小波变换；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不变小波变换；(j)本文算法
图6 Windows在8种多尺度融合算法的结果图：(a)红外图像；(b)偏振图像；(c)对比度金字塔；(d)离散小波变换；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不变小波变换；(j)本文算法
图7 Outdoor在8种多尺度融合算法的结果图：(a)红外图像；(b)偏振图像；(c)对比度金字塔；(d)离散小波变换；(e)梯度金字塔；(f)拉普拉斯金字塔；(g)主成分分析；(h)低通金字塔；(i)平移不变小波变换；(j)本文算法
从5组融合图像中可以得知，通过CP算法融合的图像，容易产生噪声，并且大部分在图像中出现噪声，部分图像目标周围出现伪影。DWT的融合思想，首先对源图像进行变换，然后按照一定规则对变换系数进行合并，最后对合并后的系数进行逆变换得到融合图像。而DWT目标周围发生严重的伪影，以及少部分的纹理丢失。GP与LP都是基于金字塔的多尺度分解方法，将源图像分别分解到不同的空间频带上，融合过程是在各空间频率层上分别进行的，这样就可以针对不同分解层的不同频带上的特征与细节，采用不同的融合算子以达到突出特定频带上特征与细节的目的。PCA融合结果整体平滑，但将关键偏振信息丢失。RP融合通过许多低频信息，导致融合图中存在许多噪声导致融合结果不清晰。SIDWT也是采用不同的融合策略将高频信息与低频信息分别融合，最后逆变换获得最终图像，整体融合结果对比度较低。最后本文所改进的算法，在红外光强与偏振图像的融合中，图像对比度得到整体提高以及更多的纹理信息，且目标周围伪影得到有效处理。
客观评价
除了主观评价之外，为了对此方法与其他融合方法进行定量对比，选取7种图像质量的评价指标，其中包括：EN信息熵、QAB/F基于梯度的融合性能、差异相关（SCD）、标准差（SD）、VIF视觉保真度、MS_SSIM多尺度结构相似度测量、SSIM结构相似度测量，评价指标的具体数值如表2所示。EN主要是度量图像包含信息量多少的评价指标；QAB/F代表图像边缘的保留程度；SCD的值度量融合后图像与源图像差异性，并且与人类视觉主观评价相似；SD代表图像的灰度级分布；VIF用于量化整个图像的信息保真度；所选取7个评价指标的数值越大，代表融合图像的质量越好。
本文根据传统多尺度融合方法在红外光强与偏振图像中存在的对比度低、目标偏振特征不明显、纹理细节不够清晰等问题，提出一种反正切函数作为权重函数与多尺度结构分解相结合的融合算法应用在红外光强与偏振融合中。详细说明多尺度结构分解的融合算法，将图块级融合的方式转换为图像级的滤波融合。然后通过参数实验结果对比，选取较好的融合参数进行融合。在主观上具有较好的效果，提高融合图像整体对比度，有效地抑制了目标周围伪影以及保留了更多的纹理细节。在常用的公共数据集中进行主观评价与客观评价，实验结果表明，本方法具有良好的主观视觉效果，有效解决融合图像对比低、目标偏振特征不突出、纹理细节不够清晰、目标伪影等问题，并且在与传统多尺度算法的7种客观评价指标的比较中取得4种指标领先的结果，说明该算法在红外与偏振的融合图像中具有较多优势以及多场景的适应性与稳定性。
这项研究获得陕西省教育厅专项项目（14JK1294）、陕西省科技厅一般项目（2022GY-053）、陕西省科技厅一般项目（2021GY-076）的资助和支持。
http://hwjs.nvir.cn/cn/article/id/379e87a8-b9c0-4081-820c-ccd63f3fe4f0
