基于各向异性扩散和纹理增强处理的红外与可见光图像融合

摘要：针对现有基于各向异性扩散和K-L变换的红外与可见光图像融合算法存在视觉效果不佳的问题，文章提出了一种基于各向异性扩散和纹理增强处理的图像融合算法。该算法采用高频图像的去噪骨架来增强中频图像对目标的刻画能力，并通过扩大纹理梯度差对各图层进行融合处理。实验结果表明，该算法能够有效提升融合图像的纹理细节，更符合人眼对目标和环境的识别。

关键词：图像融合；各向异性扩散；多尺度分解；纹理增强

中图分类号：TP18   文献标识码：A

文章编号：1009-3044（2025）08-0118-05

开放科学（资源服务） 标识码（OSID）

0 引言

随着传感器技术的发展，采集到的图像越来越多，图像数据信息变得日益丰富，而单一传感器难以获取目标的完整信息。针对这一局限性，多传感器图像技术开始进入人们的视野。多传感器图像融合技术能够有效整合不同传感器的信息，例如红外与可见光图像的融合，生成一幅包含两者信息的新图像，从而获得更全面、更准确的场景信息。

多传感器图像融合技术旨在去除冗余信息，最大程度地整合有用信息，降低存储成本，提高信息传播效率。该技术已广泛应用于遥感、医学、军事和安防等领域。例如，在遥感领域中，将可见光与雷达波图像融合，使获得的遥感图像避开了云雾的影响，并减少遥感图像存储的成本；在医学领域中，将CT与核磁共振图像融合可以帮助医生更好地对疾病进行诊断，提高手术成功率，降低手术风险和成本；在军事领域中，利用红外线与可见光图像融合可以实现全天候对战场目标的追踪和观察；在安防领域中，利用融合图像可以对可视光线弱的安保区域进行有效预警，确保人们的生命财产安全。

针对现有基于各向异性扩散和Karhunen-Loeve变换（K-L变换）的红外与可见光图像融合算法 （ADF） 在视觉效果上的不足，本文提出一种基于各向异性扩散和纹理增强的图像融合算法，旨在提升融合图像的纹理细节，使其更符合人眼视觉特性。

1 ADF算法融合方案

目前，成功将各向异性扩散算法引入融合领域的算法是 ADF 算法[1]。该算法的基本思路是首先通过各向异性扩散算法将待融合的源图像分解为基层和细节层，然后将细节层采用 K-L 变换的方式进行融合，基层则采用加权线性的方式进行融合，最后再将基层融合图像和细节层融合图像按照线性融合得到最终融合结果。

1.1 基于KL-变换的细节层融合

采用KL-变换融合细节层图像，它将相关分量转换为不相关分量，KL-变换的平滑过程如下所示。

1） 令[R1（x，y）]和[R2（x，y）]分别表示两幅不同源图像（红外和可见光） ，这两幅图像的细节层图像分别用[D1（x，y）]和[D2（x，y）]表示，并将它们按列向量排列构成矩阵X。

2） 以每一行为观察值，每一列为变量，求出X的协方差矩阵CXX。

3）  计算协方差矩阵CXX的特征值[σ1]、[σ2]和特征向量[ξ1=ξ1（1）ξ1（2）]、[ξ2=ξ2（1）ξ2（2）]。

4） 计算最大特征值的不相关分量KL1和KL2：

[KL1=ξmax（1）iξmax（i）] （1）

[KL2=ξmax（2）iξmax（i）] （2）

根据以上过程可以得到KL1和KL2，因此融合细节层[D]表达式为：

[D（x，y）=KL1D1（x，y）+KL2D2（x，y）] （3）

1.2 基层融合

ADF算法的基层图像采用加权线性融合方法进行信息融合，其表达式为：

[B（x，y）=w1B1（x，y）+w2B2（x，y）] （4）

式中，权值的和为1或在0～1之间。ADF算法对权值进行了讨论，这里以简单的方式了解ADF算法的融合思想。为简化说明，此处权值设置为相等，即 [w1=w2=0.5]。

1.3 最终融合图像

在ADF算法中，融合图像F由最终基层图像[B（x，y）]和细节层[D（x，y）]的线性组合得到，表达式为：

[F（x，y）=B（x，y）+D（x，y）] （5）

2 本文算法融合方案

针对各向异性扩散算法在 ADF 算法中取得的优势和缺陷，本文提出了一种基于各向异性扩散和纹理增强处理的红外与可见光图像融合算法。该算法的融合方案可以分为3步，第1步：采用各向异性扩散方法将图像分解为亮细节层、基层和暗细节层，并对分解出的亮细节层进行滤波处理。第2步：利用滤波后的亮细节层进行像素限制处理，以获得信息区域，将信息区域与各自的基层进行线性融合，获得增强后的基层图像。第3步：将滤波处理后的亮细节层与暗细节层以及第二步获得的基层图像进行线性组合，得到最终融合图像。

2.1 各向异性扩散算法

各向异性扩散方法主要使用通量函数来控制图像R的扩散，其数学模型如下：

[Rt=c（x，y，t）ΔR+∇c⋅∇R] （6）

式中：[c（⋅）]表示通量函数或扩散速率，[Δ]表示拉普拉斯算子，[∇]表示梯度算子，t表示时间长度或迭代。将式（6） 作为热方程，用差分（FTCS格式） 求解该方程：

[Rt+1i，j=Rti，j+λ[cN⋅∇NRti，j+cS⋅∇SRti，j+cE⋅∇ERti，j+cW⋅∇WRti，j]] （7）

式中：[Rt+1i，j]表示t+1时刻尺度下的较粗分辨率图像，受到前一时刻大尺度图像[Rti，j]的影响，[λ]表示稳定常数，满足[0≤λ≤14]。CN、CS、CE和CW分别表示某像素点邻近四个不同方向（北、南、东和西） 的传导系数和通量函数，定义如下：

[ctNi，j=g（（∇R）ti+1/2，j）=g（∇NRti，j）ctSi，j=g（（∇R）ti-1/2，j）=g（∇SRti，j）ctEi，j=g（（∇R）ti，j+1/2）=g（∇ERti，j）ctWi，j=g（（∇R）ti，j-1/2）=g（∇WRti，j）] （8）

式中：[g（⋅）]为单调递减函数，且[g（0）=1]。对于[g（⋅）]函数Perona和Malik[2]提出了2种表达方式，如下所示：

[g（∇R）=e-∇Rk2] （9）

[g（∇R）=11+∇Rk2] （10）

式中：k表示一个不为0的常数，对于图像高梯度部分，选择使用式（9） 进行平滑处理，对于图像低梯度部分，则使用式（10） 进行平滑。在式（7） 中，[∇N]、[∇S]、[∇E]和[∇W]表示某像素点与邻近四个不同方向的像素值的差异。可以定义为：

[∇NRi，j≡Ri-1，j-Ri，j∇SRi，j≡Ri+1，j-Ri，j∇ERi，j≡Ri，j+1-Ri，j∇WRi，j≡Ri，j-1-Ri，j] （11）

这里定义平滑的处理过程用[aniso（⋅）]表示。

2.2 源图像多尺度分解

本文定义图像基层提取满足：

[M（x，y）=aniso（I（x，y））] （12）

式中：[Ix，y]表示待融合的源图，[Mx，y]表示通过各向异性扩散方法对源图进行多尺度分解得到的基层。

图像的亮细节层[Hx，y]由源图减去基层获得，满足：

[H（x，y）=I（x，y）-M（x，y）] （13）

图像的暗细节层[Lx，y]与亮细节层的求解过程相反，由基层减去源图获得，满足：

[L（x，y）=M（x，y）-I（x，y）] （14）

根据各向异性扩散方法对源图进行多尺度分解后提取的亮细节层、基层和暗细节层如图1所示。

2.3 基层融合规则

基层可以理解为图像的基础层图像，本文算法在基层的融合规则中主要考虑将信息集中区域的特征进一步凸显出来。相比于传统的线性融合策略，本文提出的融合规则能有效降低图像信息在融合过程中被削弱的现象。

如图2所示，首先提取源图的基层图层，如图（c）和图（d）所示。通过像素限制处理可以获得源图的高频信息区域，再利用源图的高频信息区域与基层图层按线性融合的方式融合成图（g）和图（h）所示的增强处理结果。对比基层图层图（c）和图（d）与增强处理后的基层图层图（g）和图（h），可以看到增强后的基层图层更清晰，对细节的辨识度更高。

然后，将红外线和可见光图像增强后的基层图层进行融合，本文采用线性平均的方法进行融合处理，满足：

[MF（x，y）=0.5×MVIS（x，y）+0.5×MIR（x，y）] （15）

式中：[MF（x，y）]表示融合处理后的基层图层，[MVIS（x，y）]表示可见光图像利用高频信息区域增强后的基层图层，[MIR（x，y）]表示红外线图像利用高频信息区域增强后的基层图层。

2.4 基层细节层融合

由于亮细节层和暗细节层含有图像的绝大部分纹理信息，本文为了使融合图像获得较好的纹理效果，将增强后的基层图层与亮细节层和暗细节层采用线性组合方法进行融合，同时也能加快融合算法的处理时间。融合规则满足：

[F（x，y）=MF（x，y）+HVIS（x，y）+HIR（x，y）-LVIS（x，y）-LIR（x，y）] （16）

式中：[Fx，y]表示最终融合结果，[HVIS（x，y）]表示可见光亮细节层，[HIR（x，y）]表示红外线亮细节层，[LVIS（x，y）]表示可见光暗细节层，[LIR（x，y）]表示红外线暗细节层。

这样的融合策略能够有效地将细节层的波峰值部分和波谷部分的信息融合到基层图像中，在视觉上增加物体在视野中的投影密度差异，使获得的融合图像符合人类视觉观察习惯，并避免融合图像出现伪影和目标不清晰的问题。

3 实验结果与分析

为了验证本文算法的融合效果，对“老人”“军用汽车”等公开数据库进行实验，并将本文算法与几种经典的基于多尺度理论的图像融合算法分别从客观评价和主观评价进行对比。其中第一个算法是ADF算法，它与本文算法采用的多尺度几何分解方法相同，均使用各向异性扩散算法，但两者的融合策略和融合思路不同。具体而言，本文算法将源图像分解为暗细节层、亮细节层和基层三个层次，对亮细节层进行去噪处理，然后利用高频部分的骨架信息来增强融合图像的目标信息，最后采用扩大纹理的融合原则，同时对图像的亮细节层、基层和暗细节层进行融合处理。而ADF算法仅将源图像分解为基础层和细节层，在细节层的融合上采用K-L变化的方法进行融合处理，基层则采用加权线性的方式进行融合，最后将细节层融合图像和基层融合图像通过线性组合的方式得到最终融合结果。第2个算法是基于小波变换的图像融合算法（Image fusion using the wavelet transform，Wavelet） [3]；第3个算法是多分辨率奇异值分解图像融合技术（Image Fusion Technique using Multi-resolution Singular Value Decomposition，MSVD） [4]；第4个算法是基于对比度金字塔的图像融合算法（Image fusion algorithm based on contrast pyramid，CP） [5]。本文所有实验均在Windows 10系统上运行，CPU为2.60 GHz，运行内存为8 GB，运行软件为MATLAB 2016a版，所有图像均来自图像融合公共共享资源。