序列血管内超声图像的管腔内膜自动分割算法

汪友生，王雨婷，夏章涛，叶红梅



序列血管内超声图像的管腔内膜自动分割算法

汪友生，王雨婷，夏章涛，叶红梅

(北京工业大学信息学部信息与通信工程学院，北京 100124)

针对序列血管内超声(IVUS)图像相邻两帧具有很大相似性的特点，提出一种基于序列IVUS图像配准的自动提取管腔内膜的方法。首先利用形态学运算以及连通分量法提取初始帧的大致管腔内膜边缘，然后采用前景和背景像素的颜色直方图特征对相邻两帧图像进行建模并进行配准：利用巴氏系数度量相邻两帧图像之间的相似性，建立仿射变换模型，优化模型并计算模型参数，从而将轮廓相对准确地定位到管腔内膜附近；最后通过变分法、最速上升法使目标轮廓曲线准确地收敛到管腔内膜处。以经验医师提取的管腔内膜作为评价标准，分别与文献[17]和[4]相比，该方法的均方根误差分别平均减少了0.124和0.063，相对差异度上分别平均减少了0.51%和0.16%。实验结果证明，该方法可以准确地提取到序列IVUS图像的管腔内膜。

血管内超声图像；图像分割；图像配准；仿射变换；管腔内膜

由于人们不健康的饮食习惯，大量的斑块会附着在血管壁上，如果不及时处理，可能会阻塞血管，阻止血液流动；如果心肌供氧减少，将会突发心脏病，从而危及生命。血管内超声(intravascular ultrasound image，IVUS)对管腔内膜和中外膜可进行分割，并能够定位感兴趣区域，是后续斑块提取与识别、弹性分析、三维重建、图像配准工作的基础，提取管腔内膜和中外膜的准确性直接影响到后续工作的成效。因此，IVUS管腔内膜的分割是一项重要的医学处理技术，传统的分割方式是医生手动分割，不仅效率低而且带有很强的主观性，之后很多分割管腔内膜的方法被提出。基于聚类算法的分割是提取IVUS图像管腔内膜的一种方法，文献[1]将模糊聚类算法应用到提取管腔内膜中，但是其模糊聚类的簇是先验的，不合理的取值可能会导致不良的结果；基于血管解剖和感兴趣区域先验知识的图搜索方法[2]进行边界检测，其效率依赖于提供全面的冠状动脉先验知识；动态规划算法[3]也被用于研究IVUS的分割；文献[4]对于管腔内膜采用图像梯度与模糊连通模型相结合的方法进行分割；文献[5]采用人工神经网络(artificial neutral network，ANN)方法作为特征学习算法对IVUS管腔内膜进行检测。除了上述方法，最常用的是采用主动轮廓模型的算法提取边缘，包括基于参数的主动轮廓模型，即Snake算法和几何主动轮廓模型以及各种改进型算法。如文献[6]应用短时自相关性计算轮廓像素，进而求得图像特征，并用其来定义活动轮廓的能量函数，通过对Snake算法的改进，相对准确地提取出了内膜边界；文献[7]考虑到分割图像为近似圆形的特点，在Snake算法的外部能量中引入了圆形约束的能量项，克服了由于图像灰度不均而导致的局部极小。几何主动轮廓模型用水平集函数的零水平集来表示轮廓曲线，按能量泛函的类型可以分为基于边缘的和基于区域的，前者利用图像梯度来引导水平集函数的演化，该方法对图像噪声和弱边缘很敏感；为了克服这些局限，后者利用全局或者区域信息引导水平集函数的演化。文献[8]首先提出基于区域的C-V模型，利用轮廓曲线内外的灰度平均值，能有效地对目标进行分割；文献[9]将局域化思想应用于多通道水平集分割，充分利用图像灰度信息和纹理信息，得到了较好的分割效果。

在针对IVUS边缘提取的各种方法中，大部分都是采用Snake模型(以弧长等参数显式地表达)或者是采用几何主动轮廓模型(用水平集函数的零水平集表达轮廓曲线)，而几何主动轮廓模型是基于边缘或者区域建立能量泛函，然后最小化能量泛函使轮廓曲线在自身内力和图像信息外力下发生形变，最后能量达到最小时实现目标和背景的分割。这些方法仅仅是利用单帧图像的灰度或纹理等特征信息来提取边缘，而IVUS序列图像相邻两帧之间的相关系数非常高，所以本文提出一种基于序列IVUS图像配准算法的内膜分割方法，包括：①为了避免医生手动分割的主观性，使用阈值分割、开闭运算以及连通分量法提取初始帧的大致管腔内膜轮廓边缘；②由于水平集函数能够有效地解决曲线的拓扑变化问题，所以本文使用水平集函数表示目标区域。针对序列IVUS图像相邻两帧相似性大的特点，利用颜色直方图进行建模，计算相似性度量，建立仿射变换模型；按照最大相关性原则，在后一帧图像中找到一个区域的前景和背景特征，能够分别最佳匹配前一帧图像的前景和背景特征，进而得到相对准确的内膜；最后通过变分法、最速上降法求解得到相似性最大时零水平集的位置，从而得到准确的管腔内膜。

1 IVUS图像初始轮廓的获取

本文利用图像灰度信息以及形态学方法[10]获取IVUS图像管腔内膜的初始轮廓(图1)，由于管腔膜内侧为血液散射噪声，像素灰度较暗，所以先进行直方图均衡处理，提取过程如下：

(1) 对IVUS图像进行直方图均衡化；

(2) 用IVUS图像外膜轮廓线对图像进行分割，得到血管腔部分，并使用大津阈值进行图像二值化分割；

(3) 对二值化后的图像进行腐蚀膨胀，采用参数为3×3的长方形数据元素；

(4) 采用形态学闭运算填充细小孔洞，连接管腔内膜断裂部分；

(5) 使用连通分量法找到二值图像中面积最大的区域，得到初始轮廓。

图1 管腔内膜初始轮廓图像

2 IVUS目标模型的表示

2.1 目标参考模型

IVUS图像由于内边缘内侧为血液散射噪声，像素灰度较暗，与外部的颜色差异较为明显，所以本文选择IVUS图像像素的颜色直方图特征，计算相邻两帧图像的相似性度量。颜色直方图[11]具有旋转不变性和缩放不变性、计算复杂性低等优点。

计算相邻两帧图像的归一化直方图，并计算其相关系数。表1是相邻两帧之间的相关性系数，由此可以看出IVUS图像序列之间具有很大的相似性。

表1 相邻两帧之间的相关性系数

计算归一化直方图，即

其中，为目标的特征空间；为目标特征的数量；前景部分特征为；背景部分特征为。

其中，为Kronecker Delta函数；归一化常数n和n为前景和背景区域像素的个数。

2.2 候选目标模型

其中，为区域像素的个数；Heaviside函数(·)用来选择前景区域；1–(·)用来选择背景区域；归一化因子A，A计算如下

3 基于序列IVUS图像配准的分割

3.1 配准

血管内超声诊断仪的导管探头在取像的过程中，其探头传感器与检测的目标区域存在距离、方向等的变化，再加上噪声的影响，使得到的序列与IVUS图像之间不能保证一成不变。本文将IVUS图像相邻两帧的运动建模为仿射变换[13]，并以仿射参数增量为待定量，建立起目标参考模型与候选目标模型之间的相似性度量。使用Bhattacharyya(巴氏)相似性度量[14]，当前一帧的目标模型和后一帧候选目标模型之间的巴氏系数越大，说明两者就越相似，定义相似性度量函数为

其中，加入背景模型能够减弱目标模型和候选目标模型中背景信息的影响，从而使得目标位置定位更加准确[15]，并对式(9)进行变形处理。

定义Φ0为当前帧中目标的初始位置，从该位置开始寻找最优匹配的目标。假设Φ (Φ>–)是目标的下一个位置，且与Φ0的位置较为接近，先计算在初始位置的目标候选模型p(Φ0)和v(Φ0)，然后在p(Φ0)和v(Φ0)处对式(9)进行泰勒展开，即

将式(5)，(6)代入式(10)得

其中，

(17)

其中，

所以得到

3.2 分割

设(x,y)是像素x的空间坐标，对式(24)进行离散化和线性化

可将式(25)写成

式(26)的收敛要满足CFL条件[16]，即

整个提取IVUS图像管腔内膜算法的流程图如图2所示。

4 实验与结果

图2 本文算法流程图

实验1.针对单帧图像提取管腔内膜的过程，如图3所示。任选一帧IVUS图像，提取过程包括初始轮廓位置、配准的迭代过程以及最终的分割结果。从图3中可以看出，随着算法迭代次数的增加，边缘线逐渐逼近真实管腔内膜，最后得到准确的结果。

图3 提取过程效果图

实验2. 从IVUS图像数据库中随机选择连续的50帧图像，由于篇幅原因，本文只展示了9帧图像的结果(图4)。

从图4可以看出，本文方法能够准确地得到序列IVUS图像的管腔内膜。

实验3.对比实验。为证明本文算法提取管腔内膜的准确性与时效性，分别与文献[17]和[4]中的方法(两种方法分别是在经典水平集算法上改进的算法和另外一种效果比较好的算法)进行对比，并展示对比效果图，还将本文方法与文献中的方法与经验医师手动提取的边缘作对比，从均方根误差(root mean squared error，RMSE)[18]和相对差异度(relative difference degree，RDD)[19]2个指数进行定量分析。

图4 连续9帧IVUS图像管腔内膜提取效果

(1) 本文方法与文献[17]的方法进行对比。文献[17]在提取管腔内膜方面采用的是改进的CV水平集模型，通过构造新的速度项并结合窄带法思想对IVUS图像管腔内膜进行提取。

(2) 本文方法与文献[4]的方法进行对比。文献[4]结合图像梯度与模糊连接度模型提取管腔内膜，实验中先将IVUS图像从直角坐标系转换为极坐标系，然后对管腔进行分割，最后再转换为直坐标系显示结果图像。

为了更加客观地对比各种提取方法，本实验从均方根误差和相对差异度2个方面进行对比。选用有经验的医师手动提取的IVUS图像管腔内膜作为评价标准。

均方根定义为

相对差异度定义为

其中，S为由评价标准计算得到的轮廓区域面积；S为由某算法得到的轮廓区域面积。

从图5、表2和表3中可以看出，与参考文献算法相比，本文方法更逼近评价标准。文献[17]的算法在管腔内膜轮廓比较清晰的情况下能够取得较好的结果，但是边缘一旦模糊，效果不好；文献[4]能够取得相对准确的分割结果，但是轮廓线不够平滑。通过定量比较，可知本文方法有良好地分割结果，与文献[17]相比，本文方法的均方根误差平均减少了0.124，相对差异度上也平均减少了0.51%；与文献[4]相比，本文方法的均方根误差平均减少了0.063，相对差异度上也平均减少了0.16%。实验结果表明，本文方法能够相对准确地得到IVUS图像管腔内膜。

图5 4帧IVUS图像管腔内膜分割

(a(1)~(4)是原图像；b (1)~(4)是文献[17]分割结果；c (1)~(4)是文献[4]分割结果； d (1)~(4)是本文分割结果；e (1)~(4)是医师手动分割结果)

表3 IVUS图像管腔内膜分割效果RDD定量比较(%)

5 结 论

本文对IVUS图像的基本特征进行了分析，提出了一种全自动分割序列IVUS图像管腔内膜的方法。首先，利用阈值分割、开闭运算以及连通分量法提取初始帧的大致管腔内膜轮廓边缘；然后通过计算相邻两帧图像之间的相似性度量，进行图像匹配，不断确定前一帧图像选定的感兴趣区域在后一帧图像上的位置，得到相对准确的管腔内膜；最后为了得到更为精确的结果，通过变分法、最速上升法使目标轮廓曲线准确地收敛到IVUS图像的管腔内膜处。本文方法的特点：第一，整个提取管腔内膜的过程是全自动的，减少了由于人为操作造成的主观性影响；第二，充分利用序列图像前后帧的相关性特点，增加了管腔内膜提取的准确性，同时，在较短的时间内能够提取出连续的若干帧图像的管腔内膜。实验结果验证了本文方法的有效性。

[1] DOS S E, YOSHIZAWA M, TANAKA A, et al. Detection of luminal contour using fuzzy clustering and mathematical morphology in intravascular ultrasound images [C]//2005, 27th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. New York: IEEE Press, 2005: 3471-3474.

[2] SUN S, SONKA M, BEICHEL R R. Graph-based IVUS segmentation with efficient computer-aided refinement [J]. IEEE Transactions on Medical Imaging, 2013, 32(8): 1536-1549.

[3] 曲怀敬, 孙丰荣, 张运楚, 等. 一种IVUS序列图像内外膜边缘的自动提取方法[J]. 山东大学学报: 工学版, 2011, 41(2): 5-11.

[4] YAN J Y, LV D, CUI Y Y. A novel segmentation approach for intravascular ultrasound images [J]. Journal of Medical & Biological Engineering, 2017, 37(4): 1-9.

[5] SU S R, HU Z H, LIN Q, et al. An artificial neural network method for lumen and media-adventitia border detection in IVUS [J]. Computerized Medical Imaging & Graphics the Official Journal of the Computerized Medical Imaging Society, 2016, 57: 29.

[6] VARD A, JAMSHIDI K, MOVAHHEDINIA N. An automated approach for segmentation of intravascular ultrasound images based on parametric active contour models [J]. Australasian Physical & Engineering Sciences in Medicine, 2012, 35(2): 135-150.

[7] 刘利雄, 马忠梅, 赵恒博, 等. 一种基于主动轮廓模型的心脏核磁共振图像分割方法[J]. 计算机学报, 2012, 35(1): 146-153.

[8] CHAN T, VESE L. Active contours without edges [J]. IEEE Transactions on Image Processing, 2001, 10(2): 266-277.

[9] 张立和, 朱莉莉, 米晓莉. 结合Gabor纹理特征的局域化多通道水平集分割方法[J]. 电子学报, 2011, 39(7): 1569-1574.

[10] SOFIAN H, THAN J C M, NOOR N M, et al. Segmentation and detection of media adventitia coronary artery boundary in medical imaging intravascular ultrasound using otsu thresholding [C]// 2015 International Conference on BioSignal Analysis, Processing and Systems (ICBAPS 2015). New York: IEEE Press, 2005: 72-76.

[11] 袁广林, 薛模根, 谢恺, 等. 多颜色直方图自适应组合Mean Shift跟踪[J]. 中国图象图形学报, 2011, 16(10): 1832-1840.

[12] NING J, ZHANG L, ZHANG D, et al. Robust mean-shift tracking with corrected background-weighted histogram [J]. IET Computer Vision, 2012, 6(1): 62-69.

[13] BAKER S, MATTHEWS I. Lucas-kanade 20 years on: A unifying framework [J]. International Journal of Computer Vision, 2004, 56(3): 221-255.

[14] NING J F, ZHANG L, ZHANG D, et al. Joint registration and active contour segmentation for object tracking [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2013, 23(9): 1589-1597.

[15] TSAGKATAKIS G, SAVAKIS A. Online distance metric learning for object tracking [J]. IEEE Transactions on Circuits and Systems for Video Technology, 2011, 21(12): 1810-1821.

[16] 张彬, 刘小民. 一种保持界面位置不动的水平集函数隐式重新初始化方法[J]. 计算物理, 2011, 28(5): 667-676.

[17] 王志东. 基于血管内超声图像的分割算法研究[D]. 北京: 北京工业大学, 2014.

[18] DE CLERCQ E M, DE WULF R. Estimating fuzzy membership function based on RMSE for the positional accuracy of historical maps [C]//2015 8th International Workshop on the Analysis of Multitemporal Remote Sensing Images (Multi-Temp 2015). New York: IEEE Press, 2007: 18-20.

[19] 许剑锋, 顾力栩. 基于射线距离误差的三维医学图像分割的新型评价方法[J].生物医学工程学杂志, 2007, 24(4): 742-747.

Automatic Segmentation Algorithm of Lumen in Sequence IVUS Images

WANG You-sheng, WANG Yu-ting, XIA Zhang-tao, YE Hong-mei

(College of Information and Communication Engineering, Information Department, Beijing University of Technology, Beijing 100124, China)

For the sequence intravascular ultrasound (IVUS) images, there are great similarities between two adjacent frames, and a new method based on sequential IVUS image registration for automatic extraction of lumen is proposed. Firstly, in order to realize the automation of extraction process, the morphological operation and the connected component method are used to extract the approximate lumen contour of the initial frame. Secondly, the target region, which includes both foreground and background pixels, is implicitly represented by a level set. The color histogram feature of target region foreground pixels and background pixels are modeled on two adjacent frames because of its merits such as independence of scaling and rotation, robustness to partial occlusions, low computational cost, etc. The Bhattacharyya coefficient measures the similarity between two adjacent frames. The higher the Bhattacharyya coefficient between target model and candidate target model is, the higher the similarity between them is. By establishing affine transformation model, the contour is more accurately located near the lumen. Finally, the segmentation procedure refines the affine transformation estimated in the registration stage, and computes the target’s true shape accurately. The target contour curve is accurately converged to the lumen of the IVUS image by the variational method and the steepest ascent method. Compared with the literature [17], the RMSE of this method is reduced by 0.124 on average, and the RDD is reduced by 0.51% on average. Compared with literature [4], the RMSE of this method is reduced by 0.063 on average, and the RDD is reduced on average by 0.16%. The experimental results show that the method can accurately extract the lumen of several consecutive frame IVUS images.

intravascular ultrasound image (IVUS); image segmentation; image registration; affine transformation; lumen

TP 391

10.11996/JG.j.2095-302X.2019010173

A

2095-302X(2019)01-0173-08

2018-05-14；

2018-09-11

汪友生(1965-)，男，安徽安庆人，副教授，博士，硕士生导师。主要研究方向为图像处理、模式识别等。E-mail：wangyousheng@bjut.edu.cn