基于目标形状特征和纹理特征的迭代配准方法在颈动脉血管中的应用

， ，

(浙江工业大学 计算机科学与技术学院，浙江 杭州 310014)

图像配准是图像处理研究领域中的一个典型问题和技术难点，其目的在于对同一对象在不同条件下(不同的采集设备、不同的拍摄视角和不同的时间)获取的图像进行对比、融合和拼接，图像配准是图像融合的基础，图像配准和图像融合又是图像拼接的关键技术.例如，车牌识别，视频全景拼接[1]，等等.具体地说，对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两幅图像中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的.其在医学图像处理、计算机视觉、计算机图形学、运动分析和目标检测中都有着广泛的应用，Szeliski对其作了一定的回顾[2].本研究关注的是其在医学图像处理中的应用.为了提高医学诊断和治疗水平，医生需要对不同的医学图像进行定性和定量分析，从而获得更全面的信息，其中就会用到图像配准技术，图像质量也将影响到医疗诊断的准确性[3].在医学领域，诸多问题都会涉及到颈动脉血管，其中一个典型的问题就是颈动脉血管位移场的计算.在一个心动周期内，颈动脉血管会随着心脏的收缩和舒张发生细微的形变，由于形变量很小，其位移场很难被准确计算出来.然而，通过配准可以实现位移场的计算，但是已有的配准方法鲜有针对颈动脉血管的，其精度难以达到理想的效果，这就需要寻求新的方法来满足要求.通过将颈动脉血管图像的形状特征和纹理特征相结合，并进行迭代运算，可以将配准精度提升到一个更高的层次，从而完成位移场的计算工作.这在医学诊疗上具有很重要的现实意义，例如，动脉粥样硬化是很多心脑血管疾病中的主要诱因，其形成过程较为复杂，随着年龄的增加或其他诱因，血管壁会逐渐增厚，这是动脉粥样硬化的早期表现，进一步发展就有可能形成斑块，斑块严重到一定程度，就会导致血管腔狭窄，斑块破裂也会导致血栓的形成.由此可见，本研究提出的方法具有较高的医学价值.

1 相关工作

在图像配准过程中，主要涉及以下几个方面：首先是特征空间，即图像的特征提取；其次是搜索空间，即图像变换的范围和方式；第三是相似性度量；最后是搜索策略，即目标函数的优化.

在最初阶段，研究人员们采用灰度不变性这一假设来建立图像间的对应关系，但是他们很快意识到，由于光照、视角和噪声等因素的存在，图像的匹配结果并不可靠.后来，互信息[4]、梯度[5]被用来进行图像匹配，但其在面对图像剧烈变化时的表现并不是很好.之后，SIFT[6],shape context[7],HOG[8]等被应用到图像匹配当中，并广为流传.

进一步地，图像间对应关系可以分为稀疏表示和稠密表示.仅仅利用图像的特征点，可以获得一幅图像的稀疏表示，通常情况下，基于稀疏表示的算法是比较有效的.本研究也可以利用图像中每一个像素点的信息获得一个图像的稠密表示，利用图像间的稠密对应关系，可以很容易地将一幅图像变形到另一幅图像.

在图像配准领域，研究人员们提出了多种多样的方法.Belongie等[7]提出了shape context描述符，其为利用目标的形状轮廓特征进行配准提供了可能；Liu等[9]提出了SIFT Flow，可以使用目标图像逐像素的SIFT特征进行配准；Ying等[10]提出了一种利用图像的分布指导配准的方法；Ye等[11]提出了一种基于流形的可变形的配准方法；Seiler等[12]利用多尺度的局部仿射变换进行配准，其在仿射变换中引入先验知识，避免了局部极小值，并用生成的统计模型来重新表示仿射变换，通过最优化后验概率的最大值来找到最佳变换；Wachinger等[13]提出了一种解决多幅图像同时配准问题的方法；Cordero-Grande等[14]提出了一个针对时间序列图像联合对齐的方法理论，该理论基于一个群组配准过程，该过程使用预期的稀疏的时间强度曲线来匹配被对齐的点，该方法已经被应用在了强对比度的初次灌注的心脏磁共振图像的运动校正中.本研究旨在寻求一种适合于颈动脉血管的高精度的配准方法.

2 基于形状特征和纹理特征的配准方法

对于颈动脉血管，其内壁和外壁具有可见的轮廓，因此可以提取其形状特征，利用形状上下文信息进行匹配和配准.同时，由于组织结构的不同，其成像后具有区别于周围组织的纹理特征，我们可以基于逐像素的SIFT特征对其进行配准.

首先把一个目标的形状用其轮廓上的一组离散的点集来表示.对于一个含有n个点的集合P，当n越大时，可以获得越好的形状估计，即

P={p1,p2,…,pn}pi∈IR2

(1)

对于轮廓上的任意一点pi，其形状上下文信息被定义为一个点其关于其余n-1个点相关位置的直方图hi.通过在极坐标中表示其相互间的位置关系可以使其对距离关系更敏感，即

hi(k)=#{q≠pi:(q-pi)∈bin(k)}

(2)

对于形状1的任意一点pi和形状2中的任意一点qj，定义这两个点的匹配代价Cij，即

(3)

式中：hi(k)，hj(k)分别为点pi和qj的K-bin归一化直方图.进而，对于所有的点对pi和qj，我们要最小化其总的匹配代价H(π)，即

(4)

式中π为一个排列.

Shape context作为一个描述符本身具有平移不变性，以n2对点的平均径向距离来归一化这n2对点可以使其具有尺度不变性，把每个点处的切向量看作是与x轴正向的切角可以使描述符具有旋转不变性.

SIFT作为一个局部描述符，可以描述局部梯度信息[6].图像中每一个像素的4×4×8=128维向量作为一个像素的SIFT描述，进而可以得到一幅逐像素SIFT描述符表示的图像.

利用两幅图像中逐像素的描述符，将这些描述符进行匹配并建立一个稠密对应关系，进而进行坐标变换，最后完成配准.

参数模型的选择是我们下面要解决的问题.首先需要估计一个平面变换T：IR2→IR，将一个点集映射到另一个点集.

在此选择薄板样条函数模型(TPS)[15-16].Bookstein[17]发现其在应对生物形态变化的建模上很有效.构建坐标变换模型T(x,y)，即

T(x,y)=(fx(x,y),fy(x,y))

(5)

其中f(x,y)表示薄板样条插值函数.

在得到了初步配准的图像之后，进一步用逐像素SIFT信息进行配准以达到更精确的结果.其能量函数定义为

(α|u(p)-u(q)|,d)+min(α|v(p)-

v(q)|,d)

(6)

式中：p=(x,y)为图像中p点的坐标；w(p)=(u(p)，v(p))为p点的流向量，u(p)为水平流，v(p)为垂直流；s1和s2分别为两幅待匹配的SIFT图像；ε为空间邻域；α,t,d分别为阈值.能量函数中包含了数据项，位移项和正则项.其中数据项用来约束SIFT描述符沿着流向量w(p)的方向进行匹配，位移项用来约束流向量尽可能的小，正则项用来约束邻接像素的流向量尽可能相似.

在优化目标函数时，使用了双层环路置信传播.因为目标函数中含有L1范数，可以使用距离变换函数[18]进一步降低复杂度，连续的置信传播(BP-S)[19]也可以使其更好地收敛.

最后将上述两部分进行迭代，通过手动设置迭代次数，使得配准结果达到最佳，从而进一步优化我们的配准结果，即

(7)

式中：Rij为参考图像对应位置像素的灰度值；Fij为浮动图像对应位置像素的灰度值；M·N为图像的大小.

通过式(7)计算参考图像和配准后图像的均方误差(Mean square error，MSE)，并以此来评估配准结果.本研究方法算法流程如图1所示.

图1 算法流程图Fig.1 The flowchart of algorithm

在本方法中，我们先采用形状上下文特征进行了初步的配准，之后采用逐像素SIFT特征进行精确的配准.选用这样的顺序是考虑到原始图像具有更为自然的形状特征，先采用形状上下文特征可以更充分地发挥目标形状特征在初步配准的效力，而这一步处理对后续利用逐像素SIFT特征进行精确配准影响较小.对于先采用形状上下文特征还是逐像素SIFT特征，通过实验对比发现先采用形状上下文特征要优于先采用逐像素SIFT特征.

3 实验及结果

在实验中，选取了心动周期内一个序列的人体颈部横切面图像(图2)，该序列图像包含16幅大小为512×512的图像.通过截取等处理，获得颈动脉血管的图像(图3).

图2 人体颈部横切面图像Fig.2 The image of human neck transection

图3 颈动脉横切面图像Fig.3 The image of carotid artery transection

在对颈动脉血管切面进行配准的过程当中，选取序列中第一幅图像作为参考图像，其余图像作为浮动图像进行配准.首先要得到的就是血管内外壁的轮廓，图像分割技术目前已经实现血管内腔的分割和建模[20-21].对于血管内壁轮廓来说，由于其与血管腔具有明显的灰度差异，正如图2中看到的那样，是可以进行边缘检测的.然而，血管外壁尽管具有可见的轮廓，一般的边缘检测方法却无能为力，因此选择手动标出血管内外壁轮廓，进而在其上进行点采样，从而获得一个边缘点集.为了更好地表示轮廓以及点与点之间的位置关系，应尽可能均匀的在轮廓线上进行点采样.最终在颈动脉血管内外壁边缘上选取了400个点(图4)，图4(a)为血管内外壁采样点在配准前的位置和匹配关系，图4(b)为血管内外壁采样点在配准后的位置关系.在比较配准结果时，为了更具说明性，选择一个圆形模板突出血管部分，并计算其均方误差来评估配准结果.本研究提出的方法对颈动脉血管的配准结果如图5(a)所示，图5(b)为使用sift flow进行配准后的结果，图5(c)为使用shape context进行配准后的结果.

图4 血管壁采样点配准前后图像Fig.4 The image of carotid artery wall samples before and after registration

图5 不同方法配准后图像Fig.5 The registered image of different method

表1比较了不同方法配准后的均方误差(MSE)，MSE(mRn)中m表示参考图像序号，n表示浮动图像序号，随着迭代次数的增加，整体看来，配准精度在增加，配准时间也随之增加，而在3～4次迭代后，配准结果趋于稳定并达到最优.从图6中可以直观地看出不同配准方法之间的比较，其中“·”表示配准之前两幅图像的均方误差；“*”表示利用SIFT Flow进行配准之后的均方误差；“×”表示利用shape context进行配准之后的均方误差；“■”表示应用本研究所提出的配准方法配准之后的均方误差.在单独使用SIFT Flow或shape context进行配准时，其表现并不稳定，会出现无法配准的情况，而本研究所提出的方法在颈动脉血管配准的应用中，相较于单一的配准方法，具有更高的配准精度.

表1 采用不同方法配准后图像的均方误差Table 1 The comparison of mean squared error after registration using different method

图6 不同方法配准后的MSEFig.6 The MSE of different method after registration

4 结 论

基于目标形状特征和纹理特征的迭代配准方法，为解决人体颈动脉血管的配准问题提供了一个有效途径，对于颈动脉血管位移场的计算也提供了重要的参考依据，这些对于医学诊断和医学治疗都具有非常重要的意义.通过利用图像的不同特征进行迭代配准，笔者方法达到了更精确的配准结果，具有较好的鲁棒性，在运行时间上也具有了可接受的水平.可以预见，对于处理形状特征和纹理特征明显的图像的配准问题，这也将是一个不错的选择.

致谢：剑桥大学放射系腾忠照老师研究团队为本研究提供了实验数据，在此表示衷心的感谢.

[1] 范菁，吴佳敏，叶阳，等.带显著性区域约束的高效视频全景拼接方法[J].浙江工业大学学报，2015，43(5)：479-486.

[2] SZELISKI R. Image alignment and stiching:a tutorial[J]. Foundations and trends in computer graphics and computer vision,2006,2(1):1-104.

[3] 张剑华，张自然，汪晓妍，等.基于结构显著性的医学图像质量评价[J].浙江工业大学学报，2015，43(6)：636-641.

[4] VIOLA P, WELLS W M I. Alignment by maximization of mutual information[J]. IEEE computer society,1995,24(2):16-23.

[5] BROX T, BRUHN A, PAPENBERG N, et al. High accuracy optical flow estimation based on a theory for warping[J]. Lecture notes in computer science,2004,3024(10):25-36.

[6] LOWE D G. Object recognition from local scale-invariant features[C]//ICCV. IEEE International Conference on Computer Vision. Kerkyra, Greece: IEEE,1999:1150-1157.

[7] BELONGIE S, MALIK J, PUZICHA J. Shape matching and object recognition using shape contexts[J]. IEEE transactions

on pattern analysis and machine intelligence,2002,24(4):509-522.

[8] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//CVPR. IEEE Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA: IEEE,2005:886-893.

[9] LIU C, YUEN J, TORRALBA A. SIFT flow: dense correspondence across scenes and its applications[J]. IEEE transcations on pattern analysis and machine intelligence,2011,33(5):978-994.

[10] YING S, WU G, WANG Q, et al. Groupwise registration via graph shrinkage on the image manifold[C]//CVPR. IEEE Conference on Computer Vision and Pattern Recognition. Oregon, Portland: IEEE,2013:2323-2330.

[11] YE D H, HAMM J, KWON D, et al. Regional manifold learning for deformable registration of brain MR images[C]//MICCAI. International Conference on Medical Image Computing and Computer-Assisted Intervention. Nice, France: Springer Berlin Heidelberg,2012:131-138.

[12] SEILER C, PENNEC X, REYES M. Simultaneous multiscale polyaffine registration by incorporating deformation statistics[C]//MICCAI. International Conference on Medical Image Computing and Computer-Assisted Intervention. Nice, France: Springer Berlin Heidelberg,2012:130-137.

[13] WACHINGER C, NAVAB N. Simultaneous registration of multiple images: similarity metrics and efficient optimization[J]. IEEE transactions on pattern analysis and machine intelligence,2013,35(5):1221-1233.

[14] CORDERO-GRANDE L, MERINO-CAVIEDES S, AJA-FERNNDEZ S, et al. Groupwise elastic registration by a new sparsity-promoting metric: application to the alignment of cardiac magnetic resonance perfusion images[J]. IEEE transactions on pattern analysis and machine intelligence,2013,35(11):2638-2650.

[15] DUCHON J. Splines minimizing rotation-invariant semi-norms in Sobolev spaces[J]. Lecture notes in mathematics,2006(571):85-100.

[16] MEINGUET J. Multivariate interpolation at arbitrary points made simple[J]. Zeitschrift für angewandte mathematik und physik ZAMP,1979,30(2):292-304.

[17] BOOKSTEIN F L. Morphometric tools for landmark data: geometry and biology[M]. Cambridge: Cambridge University Press,1997.

[18] FELZENSZWALB P F, HUTTENLOCHER D P. Efficient belief propagation for early vision[J]. International journal of computer vision,2006,1(1):41-54.

[19] SZELISKI R, ZABIH R, SCHARSTEIN D, et al. A comparative study of energy minimization methods for markov random fields with smoothness-based priors[J]. IEEE transactions on pattern analysis and machine intelligence,2008,30(6):1068-1080.

[20] 郑河荣，刘家好，何玲娜.脑血管计算机模型的建立与有限元分析[J].浙江工业大学学报，2014，42(3)：253-256.

[21] 尚岩峰，汪辉，汪宁，等.管状特性和主动轮廓的三位血管自动提取[J].中国图像图形学报，2013，18(3)：290-298.