基于小波变换的多模态医学图像融合

李 健 罗 晓 罗 蔓

基于小波变换的多模态医学图像融合

李 健①罗 晓①罗 蔓①

目的：基于小波变换对多幅非同源医学图像进行融合，整合和突出互补信息，增强图像质量，减少冗余，提升医学图像临床辅助诊断和治疗的精准性。方法：通过学习和研究小波理论在图像融合应用中的相关知识，提出一种低频能量取大与高频方差取大相结合的图像融合改进算法，展开对非同源标准医学图像(CT和MRI)，多聚焦图像的融合实验，并进行了两类实验数据对比，对比和分析不同融合规则以及不同融合方法下图像融合的性能。结果：在两类对比分析实验中，算法得到的融合图像包含源图像的有效信息量更丰富，图像亮度得到合理提高，其均值、互信息以及信息熵指标数据最优。结论：基于小波变换的多模态医学图像算法得到的融合图像具有较好的视觉效果和量化指标，融合性能更强，体现了方法的有效性。

医学融合；小波变换；融合规则；效果评价

随着计算机技术的高速发展和信息时代的到来，多样化的医学成像设备层出不穷，其应用贯穿于整个临床工作，为医学诊断和治疗提供多种模态医学图像，从解剖上和功能上多样化地描述人体形态信息或代谢信息[1-2]。然而，受成像原理的限制，单一模态的图像都有各自的优缺点，很难全面地表达所有实用的信息，造成了诊断的局限性[3-4]。若考虑对多幅非同源医学图像进行融合，整合和突出各自的互补信息，或能达到增强图像质量，减小冗余，为病灶的精准定位提供可靠的诊断治疗依据[5-7]。

本研究通过学习和研究小波理论在图像融合应用中的相关知识，提出一种基于小波变换的低频能量取大与高频方差取大相结合的图像融合改进算法，展开对非同源标准医学图像(CT和MRI)、多聚焦图像的融合实验，并深入对比和分析不同融合规则以及不同融合方法下图像融合的性能。

1 材料与方法

1.1 小波变换与图像融合

基于小波变换的图像融合技术需要对小波变换进行分析。小波变换实现结构由Mallat金字塔和滤波器组高通和(或)低通组成，该变换是将多尺度分析、多分辨率分析和局部分析分别进行，与傅里叶变换相比，小波分解系数不仅随频率不同而变换，而且对于同一个频率指标在不同时刻，小波系数也不同。此外，小波函数具有紧支撑的性质，因而求各频率水平不同时刻的小波系数时，只要用到该时刻附近的局部信息，最后小波函数的时间--频率窗口形状可变，因而能更好地检测图像高低频信息。

(1)小波变换的定义。对于离散信号f(x)，离散小波变换的定义为公式1：

式中m,n∈Z；Ψm,n(k)为离散小波函数，满足公式2：

式中Ψ(k)为满足小波变换约束条件的小波基函数；a0为尺度函数；b0为平移函数。

对于N×M的图像，需要用到二维离散小波变换，二维离散小波变换的快速算法为公式3：

测试的源图像经过二维离散小波二级分解后，其中低频部分iLL，表征图像缓变的主要信息，高频部分包括iHL、iLH、iHH3个频带，表征图像突变的细节和纹理信息，如图1所示。

图1 二维图像的小波分解图

(2)小波变换图像融合的具体过程。在医学图像配准的条件下，基于小波变换的CT和MRI医学图像，多聚焦图像低频能量取大和高频方差取大的改进融合算法具体步骤为：①对源图像a和b分别展开多尺度多分辨率的小波变换，在小波变换中首先选取合适的小波基函数对原始图像进行N层分解，得到3N个位于不同尺度、不同空间和频率分辨特性的高频子图像系数，以及1个位于最高层的低频图像系数；②通过对小波变换后的系数进行分析来确定融合规则，低频子带占据图像大部分的能量，是对图像概括的近似描述，所以对低频部分的处理要尽可能的保留图像的主要信息，对于高频子带，细节和纹理是其重要特征，故对其处理要尽可能的凸出该特征，分别对低频子带和高频子带设计低频能量取大和高频方差取大的融合规则；③对图像融合的效果进行主观和客观评价。图像融合的流程如图2所示。

图2 基于小波变换的图像融合流程图

1.2 融合规则

图像融合的最终效果依赖于融合规则的选取。经过小波变换后的低频子带主要反映图像的主体概貌信息，常见的低频子带融合规则有均值法、加权平均法及选取系数绝对值最大法等。但是这些方法通过取像素的极大值或极小值，亦或对像素的综合平均，会导致图像的失真或边缘轮廓被模糊化；而经过小波变换后的高频子带系数包含了图像中有用的细节信息，如边缘、轮廓等，对高频子带进行融合的最终目的是保留和凸出图像中清晰的边缘细节。基于此，本研究提出一种低频能量取大结合高频方差取大的图像融合方法。

(1)低频子带的融合规则。考虑到图像局部能量是对全局能量的比例映射，因而，本研究设计了低频能量取大的融合规则，即：设ILk(m,n)(k=a，b分别表示源图像A和B的两个子带)表示第k个图像(m,n)处的低频系数值；E(m,n)表示以(m,n)为中心的(3×3)邻域μ的能量；ω(x,y)表示每个像素IL(m,n)对应的权重系数，(x,y)∈μ，故有公式4：

定义源图像A和B的权值系数，即为公式5和公式6：

定义源图像A和B的匹配度，即为公式7：

设Thr为源图像A和B的匹配度阈值，若Mat(m,n)≤Thr，表明A和B之间能量相差较大，融合后的低频系数为公式8：式中加权系数ε1和ε2存在：ε1+ε2=1；若Mat(m,n)＞Thr，表明A和B之间能量相差较小，融合后的低频系数为公式9：

(2)高频子带的融合规则。对高频子带进行融合的最终目的是保留和凸出图像中清晰的边缘细节。采用高频方差取大的融合规则，即：设IHk(m,n)(k=a，b分别表示源图像A和B的两个子带)表示第k个图像(m,n)处的高频系数值；D(m,n)表示以(m,n)为中心的(3×3)邻域μ的方差；表示邻域μ内高频系数的均值，则有公式10：

融合后的高频系数FH(m,n)为公式11：

1.3 Contourlet变换、HVS方法与图像融合

Contourlet变换、人类视觉系统方法(human vision system，HVS)方法与图像融合[8]：Contourlet变换是一种多分辨率、局域的以及多方向的图像表示方法，其继承了Curvelet变换的各向异性尺度关系，在一定意义上可以认为是近似Curvelet变换的数字实现方式。Contourlet变换是一种真正的二维图像的稀疏表示方式，具有良好的方向性和各向异性特征，能较好的将图中的边缘轮廓信息捕捉到不同尺度和不同方向的子带中，被有效的应用在图像融合领域。基于Contourlet变换的图像融合技术需要对Contourlet变换进行分析。Contourlet变换实现结构由拉普拉斯金字塔和方向滤波器组成，该变换是将多尺度分析和方向分析分别进行，用类似于轮廓段的“基”结构来无限逼近图像。HVS提供关于人类如何“看”世界的相关数学模型，HVS对图像中的对比度、方向、亮度等可视特征的变化比较敏感，被广泛地应用于图像融合的实验中。研究人员也提出了多种视觉显著性分析方法，以快速检测图像的显著区域和(或)目标。图像融合领域实验也表明，合理利用图像的区域特征可以有效改善图像融合和融合质量评价的性能。

2 结果

为了评估本研究所提图像融合方法的性能，选取了两组不同类型的医学灰度图像，包括已配准后的CT和MRI灰度图像，以及多聚焦眼底图像组，并进行了两类实验数据对比，如图3a、b，图4a、b所示。第1类主要针对基于小波变换的不同融合规则进行实验对比分析；第2类主要对不同融合方法与小波变换融合方法进行实验对比分析。

2.1 第1类实验

在第1类实验中主要对比了本研究算法和不同融合规则的实验效果：①为低频极值取小(mincoefficient absolute value，CAV-min)[9]结合高频方差(rigion variance， RVA)[10]取大算法融合结果，如图3c，图4c所示；②为低频取极大值(max-coefficient absolute value，CAV-max)结合高频方差取大融合结果，如图3d，图4d所示；③为低频取平均法(average，AVE)[11]结合高频方差取大算法的融合结果，如图3e，图4e所示；④本研究算法图像融合结果，如图3f，图4f所示。

图3 不同融合规则下第一组图像的融合效果示图

图4 不同融合规则下第二组图像的融合效果示图

对于图3a，b和图4a，b中的两组医学测试图像，通过主观视觉评价可以直接看出：第一组图像中选用低频极值取小结合高频方差取大法融合会使得融合后的图像模糊；第二组图像中选用低频取平均结合高频方差取大法融合规则会使融合后的图像亮度大幅增强。

除上述主观视觉分析外，本研究还选取了均值、信息熵以及互信息3个有代表性的指标[12-15]对每组进行融合结果的客观评价。其中，图像均值反映融合图像像素的灰度平均值，即平均亮度；信息熵表示图像中所包含的信息，值越大越好；互信息表示融合图像从源图像中所获取的信息，值越大越好。通过对实验结果的分析和比较显示，采用融合规则1进行图像融合会造成融合结果的失真，不能综合源图像MRI的信息；规则2和规则3融合效果相比方法一有了较好的改善；本研究提出的低频能量取大结合高频方差取大法融合规则4的客观评价数据优于其他3种融合规则，不同融合规则对第一组图像融合结果的客观评价见表1。

表1 不同融合规则的医学图像融合评价

表1显示，通过均值可以体现出本研究融合规则使融合后的图像亮度有了合理的提高，通过互信息和信息熵可以体现出本研究融合规则得到的融合医学图像具有更加丰富的信息量。

2.2 第2类实验

为了进一步证明本研究算法的优越性，在第2类仿真实验中主要针对不同融合方法与本研究算法进行实验对比分析。为了使图像融合结果具有可比性，分别选取了contourlet变换方法[7]和HVS方法[8]。实验结果如图5a、b和图6a、b所示。

通过对实验结果的分析和比较可以看出，本研究方法得到的融合图像的客观评价数据优于contourlet变换方法和HVS方法，对源图像的信息综合方面更具优势。不同融合方法对第一组图像融合结果的客观评价见表2。

3 讨论

图5 不同方法下图像的融合效果影像

图6 不同方法下图像的融合效果示图

表2 不同融合方法的医学图像融合评价

小波变换是一种多尺度、多分辨率及局域变换的分析方法，继承和发展了短时傅里叶变换局部化的思想，同时又克服了短时傅里叶变换存在的时频窗口固定不变的局限性，在低频部分具有较低的时间分辨率和较高的频率分辨率，在高频部分具有较高的时间分辨率和较低的频率分辨率，能更好地将图像中的边缘纹理信息捕捉到不同尺度，不同方向的子带中，被广泛地应用于图像处理领域，并成为图像融合领域的重要算法。

本研究将小波变换用于已配准的CT和MRI灰度图像，以及多聚焦眼底图像，提出了一种基于小波变换的低频能量取大结合高频方差取大的医学图像融合算法。将该算法用于源图像的融合实验，通过主观视觉感受和客观的评估指标进行评价，并进行了两类实验数据对比，即：第1类，不同融合规则下的图像融合仿真实验；第2类，不同融合方法下的图像融合仿真实验。结果表明：在两类仿真实验客观数据分析中，本研究算法得到的融合图像的均值、信息熵以及互信息指标数据最优，本研究算法得到的融合图像包含源图像的有效信息量更丰富，图像亮度得到合理提高。

目前，用于临床诊断的医学图像模态越来越多，通过运用图像融合技术，可以获得富含细节，更全面的融合图像，如何有效地使本研究算法适应于多样化模态医学图像融合中将是今后的研究重点，如在图像分解和重构中采用多小波，或进一步改进融合规则等。

[1]Chen LS，Hu XF，Shi JP，et al.Compare CT/MRI fusion image and enhance CT on definition of the target volumes of nasopharyngeal carcinoma[J].Practical J Cancer，2010，25(2)：172-174.

[2]Zhang Y，Zhang N，Wang Y.The effects of recurrent nasopharyngeal target with PET-CT image fusion[J].China Medical Engineering，2011，19(12)：52-53.

[3]Li K，Zeng QJ，heng RQ，et al.CT/MRI image fusion in evaluating ablative margin after radiofrequency ablation of hepatocellular carcinoma[J].Chinese Journal of Medical Imaging Technology，2012，28(12)：2189-2192.

[4]Matsopouios GK，Marshall S，Brunt JNH.Multiresolution morpholo-gical fusion of MR and CT image of the human brain[J].Vision，Image and Signal Processing，IEE Procee，1944，141(3)：137-142.

[5]Wang A，Sun H，Guan Y.The application of wavelet transform to multi-modality medical image fusion[C].IEEE International Conference on Networking，2006：270-274.

[6]胡俊峰，唐鹤云，钱建生.不同图像格式在医学图像融合中的性能研究[J].中国生物医学工程学报，2010，29(2)：310-331.

[7]张鑫，陈伟斌.Contourlet变换系数加权的医学图像融合[J].中国图象图形学报，2014，19(1)：133-140.

[8]Lan T，Xiao Z，Li Y，et al.Multimodal medical image fusion using wavelet transform and human vision system[J].International Conference on Audio，2015：491-495.

[9]刘贵喜，杨万海.基于小波分解的图像融合方法及性能评价[J].自动化学报，2002，28(6)：65-72.

[10]黄彩霞，陈家新.基于小波系数区域相似度的医学图像融合[J].计算机应用研究，2008，25(1)：274-276.

[11]Li H，Manjunath BS，Mitra SK.Multisensor image fusion using the wavelet transfer[J].Image Processing，1994.Proceedings.ICIP-94.IEEE International Conference，2002，1(3)：235-245.

[12]Wang Z，Ziou D，Armenakis C，et al.A comparative analysis of image fusion methods[J].IEEE Transactions on Geoscience and Remote Sencing，2005，43(6)：1391-1402.

[13]Qu G，Zhang D，Yan P.Imformation measure for performance of image fusion，Electron[J].Electronics Letters，2002，38(7)：313-315.

[14]Xydeas CS，Petrovic V.Objective image fusion performance measure，Electron[J].Military Technical Courier，2000，36(4)：308-309.

[15]黄杰贤，杨冬涛，龚昌来.互信息熵与区域特征结合的图像匹配研究[J].激光与红外，2013(1)：98-103.

Medical image fusion of multimoding based on wavelet transformation

LI Jian, LUO Xiao, LUO Man

Objective:To fuse many non-homologous medical images based on wavelet transformation, and integrate and stand out complementation information, and strengthen image quality, and reduce redundancy so as to enhance the precision of clinically auxiliary diagnosis and treatment for medical image.Methods:Through studied and researched the relevant knowledge of wavelet theory in the application of image fusion to proposed a improved fusion algorithm by mutual combination for maximum low frequency energy and maximum high frequency variance. The fusion experiment of non-homologous standard medical image, including CT, MRI and multi-focus images, were implemented, and their data were compared. And then, the performance of image fusion was compared and analyzed under different fusion rule and different fusion method.Results:In the two kinds of contrastive analysis experiments, the fusion image which depended on algorithm included more abundantly effective information amount of source image,and the luminance of image was reasonable enhanced. Besides, the mean value, mutual information and information entropy of fusion image were optimal.Conclusion:The fusion image which comes from multimoding medical image algorithm has better visual effects and quantization indicator, and it has strengthener fused performance. Therefore,it can reflect the effectiveness of the method.

Medical images fusion; Wavelet transformation; Fusion rule; Effectiveness evaluation

Center of Tumor Radiotherapy, Central Hospital of Agricultural Reclamation in Guangdong Province, Zhanjiang 524002, China.

1672-8270(2017)11-0022-05

R812

A

10.3969/J.ISSN.1672-8270.2017.11.007

李健,男,(1983- ),硕士，工程师。广东省农垦中心医院肿瘤放射治疗中心，从事肿瘤放射物理工作，研究方向：多模态医学图像处理在放射治疗中的应用。

①广东省农垦中心医院肿瘤放射治疗中心 广东 湛江 524002

China Medical Equipment,2017,14(11):22-26.

2017-06-23