摘  要:  针对存在的频谱混叠及图像细节信息丢失问题，研究已有基于多尺度分解的多分辨率图像融合方法，提出采用具有移不变性的非子采样轮廓变换对图像进行多尺度、多方向分解，更完整地表征图像的几何结构，同时对滤波器组进行上采样消除频谱混叠。研究已有的子带系数的融合规则，提出了基于方向向量约束对比度的高频系数融合规则，以及基于局部多向方差能量的选择与平均的低频系数融合规则。经多组实验结果表明，本文提出的融合方法在视觉上和评价测度指标上都优于已有基于多分辨率图像融合方法。
关键词:  融合；非子采样;方向向量
            Direction vector constraints image fusion algorithm based on the NSCT
Abstract The  existence  problems  of  spectrum  aliasing and  detail  lost  was  investigated  and  a  new  novel  fusion  method  was  proposed  based  on  the nonsubsmapled  contourlet  transform(NSCT).  The  new  decomposition  of  NSCT  was  adopted,  which  is  built  upon  nonsubsampled  pyramids  and nonsubsampled directional filter banks for extracts the geometric information of images. The high-frequency coefficient fusion rules by combination of direction vector and contrast was proposed. The low-frequency fusion rule based on the local energy of multi-direction variance was proposed. Experimental results show that the proposed method achieved better fusion results than wavelet-based and CT-based fusion method fusion algorithm.
Key words: Image fusion; nonsubsampled; Direction vector   
　　基于多分辨率分解的图像融合技术，是近年来图像融合领域中一项重要的关键技术。相对像素级融合方法，多分辨率融合技术首先利用多尺度分解工具对图像进行多层分解，得到表征图像细节结构的子带系数，以及表征图像轮廓的低频子带系数；通过有效的子带系数选取规则，选取子带系数得到融合系数；再通过多尺度分解过程相对应的逆变换，对融合子带系数逆变换，得到均匀、清晰的融合图像。在整个融合过程中,图像的多分辨率、多尺度分解是图像融合技术的关键内容。近年来随着对多尺度几何变换理论的深入研究与发展，多尺度几何变换能更有效地稀疏表征图像中的细节信息，更精确地捕获图像中的边缘信息[1]。常用的多分辨率多尺度分解工具主要有金字塔分解、小波变换、脊波(curvelet)、轮廓波变换(Contourlet)[14]。基于这些分解变换域上的多分辨率融合算法，得到视觉效果较好的融合图像。但这些多分辨率多尺度分解工具对图像几何特征的表征有各自的局限性，导致分解系数不能完全表征图像中几何特征，在融合结果中出现图像的细节丢失[2]，融合图像的视觉效果不佳。如基于金字塔分解的多分辨率融合技术，采用塔形分解[2]，多层塔形结构实现了系数的多分辨率表示，但各层系数没有对图像边缘信息表示，不具有方向性，丢失了图像中部分边缘信息。离散小波变换作为一种多尺度分析工具，近年来应用于图像融合领域中，并取得了较多的成果[3-7]。在小波分解中将图像分解为水平LH、垂直HL、对角HH三个方向，与塔形分解相比它能更多地表示图像中的结构细节部分。但小波基的支撑区间为正方形，对图像稀疏表示具有各向同性，只能以点来表示图像的结构信息，不能有效地表达图像中的几何结构信息。基于离散小波分解的图像融合方法得到的融合图像，会出现局部区域细节丢失的“块状效应”，即局部区域内的纹理、边缘等几何结构细节丢失。
　　为了更好地表征图像中的丰富的细节特征，基于多分辨率的融合技术需要更有效的多尺度几何变换工具。Do 和Vetterli和 M.Vetterli于2002 年提出了一种“真正”的二维图像稀疏表达方法、轮廓变换（Contourlet transform,CT）[7]。轮廓变换，具有多分辨率、局部定位、多方向性、近邻界采样和各向异性等性质。其系数分布于多尺度、多方向上，可有效地捕捉图像中的边缘轮廓。但轮廓变换中存在子采样，方向子带的响应在低频与高频部分产生偏移，使图像在变换过程中缺乏“移不变性”(Shift-invariance)。在此变换域上选择子带系数通过逆变换得到融合图像，图像中物体的边缘会出现频谱混叠现象。为得到均匀与清晰的融合图像,除采用有效的多尺度几何分析工具，融合规则的选取也非常关键。本文针对两个问题研究。首先，采用NSCT（Nonsubsapm led Contourlet Transform, NSCT）多尺度几何变换工具对待融合图像进行分解，实现非子采样的轮廓变换。其次，通过对多种系数选取融合规则进行研究，提出了区域多向方差能量的低频子带系数融合规则和方向向量约束对比度的高频子带系数融合规则。最后，进行多组实验，从实验结果以及评价指标上证实本文所提出的算法相对其他几种多分辨率分解融合算法，能获得视觉效果更好的融合图像。
　　1 非子采样轮廓变换(NSCT)[9]
　　非子采样轮廓变换是NSCT针对轮廓变换改进而得到的多分辨率分解技术。NSCT 变换分为塔式分解和方向分解，也称为多尺度和多方向分解，分别由非子采样塔式滤波器NSP（Non-subsampled pyramid）和非子采样方向滤波器组NSDFB(Non-subsapmled directiona filter bank)实现。为了消除CT(Contourlet transfrom)变换不具备的移不变性，它采用atrous小波分解中的算法，去除CT变换中对图像的降采样和上采样，取 代的是分解过程中相应滤波器的上采样和逆变换过程中对滤波器的下采样。在对图像进行分解时，首先使用NSP将图像分解为低通图像与低通图像与原图像之差的细节图像，再使用非降采样方向滤波器组NSDFB 将细节图像分解为多个方向上的子带图像，从而得到不同尺度、多方向的子带图像（系数）。 在多尺度分解中，上采样塔式滤波器由二通道的非子采样滤波器得到。在图1中描述了当前层的滤波器0() Hz进行上采样得到下一层的滤波器组20()IHz与21()IHz。。图2中给出了3级上采样的塔式滤波器组的构建过程。在多方向分解中，通过使反复采样二通道方向滤波器组进行方向滤波实现多方向分解。为消除高频与低频处的偏移（aliasing），通过对方向滤波器进行上采样，使方向滤波器的响应都叠加在带通子带中，不损失方向细节。图2中给出了实现四方向滤波器组的构建过程，下一层的滤波器由上一层滤波器上采样得到。
　　非子采样方向约束的融合算法  
　　2.1非子采样图像融合方案
　　NSCT 不仅继承了小波变换优良的空域和频域局部特性，对图像几何特征的表征能力比小波变换更强，NSCT 具有任意角度的方向性分解[3]。与CT变换相比，NSCT消除了频谱混叠，更有效地表示和得到边缘轮廓的细节特征。同时,由于上采样滤波器组，滤波后得到的细节子带与原始图像大小相同，使得系数选择更易于实现。NSCT 变换域上的图像融合方案主要分为系数分解、系数选择和逆变换三个步骤： (1)首先对源图像进行NSCT变换分解为多个细节子带图像与一个低频子带图像。待融合的源图像AI与BI，两幅图像经过NSCT 变换后分解为一个低频子带和多幅方向子带图像0 1,1 1,2 ,, , ,...,A A A A Ald I C C C C ，0 , ,, ,...,B B B Bl d l d I C C C 。其中l表示分解层数，d表示该层数上分解方向数。00,ABCC表示低频子带系数。 （2）对低频子带系数和各方向子带系数采用不同的系数融合规则得到融合系数。 （3）对融合后的NSCT系数进行逆变换，得到融合图像F。0() Hz20()IHz40()IHz1() Hz21()IHz41()IHz0y1y2y3yX 图1  三级塔式滤波器组构成图  0() UZ0()QUZ1()QUZ0()QUZ1()QUZ0y1y2y3y1() UZ X 图2  四通道非子采样方向滤波器组构成  
　　2.2低频系数融合规则
　　得到视觉效果好的融合图像除了使用有效的多尺度、多方向的稀疏表示技术，各子带系数的选择，即融合规则对融合图像的性能也起着至关重要的作用。低频子带图像是原图像的近似表示，包含了图像的主要能量信息。低频系数的选择规则在很大程度上决定融合图像的质量。传统的低频系数融合规则有均值法和自适应加权平均法。此类方法没有考虑图像的边缘特征，得到的融合图像在一定程度上反而降低图像的对比度、边缘模糊。另一种常用的低频系数融合规则是局部邻域内梯度能量最大选取法。图像的梯度能量(Energy of image gradient, EOG)反映了图像的梯度信息，表征图像的聚焦特性和清晰度[8]。图像的特征不是由单一的一个像素点所表征，而是由该像素邻域内多个像素共同表征。本文提出了基于多局部多向方差能量（Local Energy Of Variance,LEOV）的选择与平均的融合规则，LEOV定义如式（1）。 ( 1) / 2 ( 1) / 2222 ( 1) / 2 ( 1) / 2( , ) ( , ) ( , )wwx y dp w q wLEOV C i p j q C i p j q C i p j q                           (1) 其中，* pq为图像邻域尺寸，1 2 3 * , * , *x y d C C h C C h C C h   ,  第9期  计  算  机  应  用  研  究  第30卷 1[ 1, 1, 1;2, 2, 2; 1, 1, 1] h      ,2[ 1, 2, 1; 1, 2, 1; 1, 2, 1] h       ,3[ 1, 0, 1;0, 4, 0; 1, 0, 1] h     ,w为邻域窗口大小，取5×5。局部能量LEOV作为选择与平均融合算法的显著性测度。两幅图像基于局部多向方差能量的显著性测度分别为ALEOV，BLEOV表示。相似性测度为22 2 * ( , ) * ( , )( , )( , ) ( , )AA ABAB LEOV i j LEOV i jM i jLEOV i j LEOV i j。根据相似性测度来确定最后的融合权值。当ABM  ，融合权值为1 11( ), 1221ABA B AM     ；当ABM  ，则图像的融合权值，若AB LEOV LEOV ，则1A  其他0A 。（(0 1) ，由实验测得，也可设定一个经验值）。最终求得系数后，融合计算按式(2)进行。 ( , ) ( , ) ( , ) ( , ) ( , )F A A B BC i j i j C i j i j C i j                 (2)  
　　2.3 高频系数融合规则
　　高频信息反映的是图像的细节部分，如边缘、奇异点。人眼视觉系统除了对这些细节特征敏感外，同样对局部对比度也敏感。常规的高频系数融合规则有像素绝对值、局部像素能量、和局部对比度最大值选取法。前两种方法中选择了局部细节特征，没有融入局部对比度信息，最后一种方案只考虑了局部对比度信息。为既能融入细节特征又能考虑局部对比度信息，使融合图像清晰且符合人眼视觉系统，根据NSCT分解系数的特点，提出了方向向量约束对比度的融合规则。NSCT 的方向子带系数所表示的细节特征可以分为三类：强边缘、弱边缘和噪声[9]。强边缘对应的像素点在所有的高频方向子带上有较大的值；弱边缘在部分高频方向子带上系数取得大值；噪声在所有高频方向子带上值都小。对NSCT分解的所有高频子带系数，定义像素对应的高频子带方向向量v ( , )lmn，定义如式(3) ,1 ,2,2v ( , ) ( ( , ), ( , ),..., ( , )) ,0 lTl l lli j C i j C i j C i j l                  (3) 其中，l为分解层，2l为该层上的分解方向数。方向向量的均值2,1( , ) ( , ) / 2lA A ll l ddi j C i j ，均值大，对应像素是强边缘，较小对应的像素是弱边缘，最小则对应的像素是噪声。符合人眼视觉系统的对比度的定义如式 //BB R L L L L L    。L表示图像局部灰度值，LB表示图像的背景亮度值，从而L 相当于局部高频能量。在NSCT分解系数域上方向对比度的定义如式(4)。 ,,,| ( , ) |,    ( , ) 0( , ) ( , )| ( , ) |,     ( , ) 0ldll ldl d lC i jI i jI i j Con i jC i j I i j                  (4) 其中,( , )ldC i j是第l层d方向上( , ) ij处的系数, ( , )lI i j用分解层所对应的低频系数代替。相应的局部对比度LCon定义如式(5)。W的值定义同式(1)。 ( 1) / 2 ( 1) / 2,( 1) / 2 ( 1) / 2( , )wwldi w j wLCon Con i w j w                      (5) 方向向量与局部对比度相互约束组成的高频系数融合规则，定义如式(6)： ,, ,, ( , ) ,   * ( , ) * ( , )( , )( , ) ,   * ( , ) * ( , )A A A B Bld l l d l l d Fld A A A B Bld l l d l l dC i j LCon i j LCon i jF i jC i j LCon i j LCon i j            (6) 基于方向向量约束对比度的融合规则可以有选择地突出被融合图像的对比度信息的同时，又考虑了当前像素表征的边缘特征。
　　实验结果与分析
　　为验证本文算法的有效性，对三幅待融合图像进行融合实验。待融合的二组多聚焦图像如图4。待融合的源图像见图3。   (a) Desk左聚焦图像(b) Desk右聚焦图像(c) Lab左聚焦图像(d) Lab右聚焦图像 图3 三组待融合源图像 第一组实验： 多种融合规则。高频系数融合规则为局部像素能量最大法，低频系数的融合规则分别采用平均法、方向向量最大法、局部梯度能量、突变度和本文的局部多向方差能量融合规则。为突出显示实验结果中的融合差别，选取实验结果中白色书本处的图像进行放大显示，排列于图4中。图4(a)、(b)边缘模糊且有边缘丢失；图4(c)边缘处出现伪边缘；图4(d)书上的字迹和边缘都模糊无法辨认。图4(e)书本中的字迹和边缘效果最好，且边缘处没有出现伪影。这是由于所提出的融合算法考虑了局部方差能量与两幅图像特征的相关性，所得融合图像视觉效果好、细节特征清晰且图像逼真自然。  (a)  平均法        (c)  局部梯度能量     (d)  突变度最大    (e)  本文低频融合规则  第9期  计  算  机  应  用  研  究  第30卷 图4 低频系数融合规则实验结果放大显示 除了视觉上的主观评价，同时采用客观评价指标验证算法的有效性。本文采用了互信息（MI_en）、边缘保持度[12]（Edge）和空间频率(SF)三个评价指标对融合算法性能进行客观评价。表1给出了3种低频系数融合规则的实验数据，本文所提出融合规则的评价指标：互信息、边缘保持度，这几项评价指标明显高于其它各种融合规则。虽局部梯度能量的得到融合结果的SF值6.034略高于本文算法5.938，但在图像边缘处出现了伪影。 表1 低频融合规则实验 低频系数融合规则  MI_en  Edge  SF 平均法  5.905  0.561  5.117 局部梯度能量  7.170  0.713  6.034 突变度  6.0656  0.472  5.538 本文算法  7.490  0.715  5.938 第二组实验是三种多尺度几何分解融合算法比较。基于离散小波变换（Discrete wavelet transform,DWT）的图像融合实验、基于CT变换的图像融合实验以及基于NSCT变换的本文提出的融合实验。其中系数选取均采用本文所提的系数选择规则。对Lab图像进行融合实验，实验结果列于图5。本文方法的融合结果中，在人物的头像部位的边缘处，没有出现“虚影”与“划痕”，视觉效果明显要比前两个融合结果好。表2与中的实验评价指标数据表明本文的评价指标要高于另外两种融合算法，本文方法所得融合结果最优。 表2 多分辨率分解融合实验 多聚焦图像融合算法  MI_en  Edge  SF Wavelet  6.336  0.653  5.278 CT  6.597  0.642  5.155 本文所提算法  7.855  0.720  5.282      (a)DWT                                            (b) CT                                              (c)本文融合方法 图5图像desk的三种融合算法实验结果
　　结论
　　从三组实验结果以及相应的评价指标可以看出本文所提出的基于非子采样的轮廓波变换方法和相应的融合规则，融合图像质量优于离散小波变换和轮廓变换。因为本文采用的图像多尺度分解稀疏表示，消除了频谱混叠，且各向异性地表达图像边缘的细节特征[12]。低频子带融合规则既突出了图像的清晰度又考虑了两幅图像间的相关性，保留边缘的同时选择清晰度高的像素融入到融合图像中。高频子带系数融合规则中，定义方向向量表示系数是优质特征的程度，约束局部对比度得到符合人类视觉系统最好的融合结果。目前，非子采样轮廓变换后的压缩感知技术正受到重视与关注，它的理论框架及算法正在发展中，将压缩感知应用到图像融合中是作者继本文后下一步研究工作内容。
　　 参考文献: ［1］霍冠英,李庆武.一种邻域一致性的NSCT域多传感器图像融合算法［J］.西安电子科技大学学报(自然科学版),2010,37(4):770-776. ［2］ 孙伟,郭宝龙.非降采样Contourlet域方向区域多聚焦图像融合算法［J］.吉林大学学报(工学版),2009,39(5):1384-1389. ［3］CHAO Rui,ZHANG Ke,LI. An Image Fusion Algorithm Using Wavelet Transform［J］.ACTA Electronic sinica,2004,32(5):750-753. ［4］Guo Lei. A New and Efficient Multi-Focus Image Fusion Algorithm Based on Wavelet Transforms and Neighborhood Features［J］.Journal of Northwestern Polytechnical University,2010,44(7):1333-1337. ［5］Gonzalo Pajares,Jesus Manuel de la Cruz. A wavelet-based image fusion tutorial［J］.Pattern Recognition,37(2004):1855-1872. ［6］张强,郭宝龙.基于非采样Contourlet变换的遥感图像融合算法[J].自动化学报,2008,28(1):74-80. ［7］Minh N. Do and Martin Vetterli. The Contourlet Transform:An Efficient Directional Multiresolution Image Representation［J］.IEEE TRANSACTIONS ON IMAGE PROCESSING,2005,14(12):2091-2106. ［8］ Arthur L. da Cunha, Jianping Zhou. The Nonsubsampled Contourlet Transform:Theory,Design,and Application［J］.IEEE TRANSACTIONS ON IMAGE PROCESSING, 2006, 15(10):3089-3101. ［9］ Dauphin G,Beghdadi A,de Lesegno P V. A local directional bandlimited contrast.In Proceedings of the 7th International Symposium of Signal Processing  and Its Applications. 2003[C]. Paris, Frence, IEEE:197-200. ［10］ Valdimir S. Petrovic,Costas S. Xydeas.Gradient-Based Multiresolution Image Fusion［J］.IEEE TRANSACTIONS ON IMAGE PROCESSING,2004,13(2):228-237 ［11］ Shutao Li, Bin Yang,Jianwen Hu .Performance comparision of different multi-resolution transforms for image fusion ［J］. Informaiton Fusion, 2011(12):74-84. ［12］ Jina Tian,LiChen. Adaptive multi-focus image fusion using a wavelet-based statistical sharpness measure ［J］.Signal Processing, 2012,9(92):2137-2146. ［13］ Huafeng Li Shanbi Wei, and Yi Chai. Multifocus image fusion scheme based on feature contrast in the lifting stationary wavelet domain ［J］. Journal on Advances in Signal Processing, 2012(4):39-46. ［14］ Qiang Zhang, Bao-long Guo. Multifocus image fusion using the nonsubsampled contourlet ［J］. Signal Processing, 2009(89): 1334-1346.