基于DenseASPP模型的超声图像分割

李 頔， 王 艳, 马宗庆， 张 波， 罗 红， 周激流

(1.四川大学电子信息学院， 成都 610065； 2.四川大学计算机学院， 成都 610065； 3.四川大学华西第二医院超声科， 成都 610065)

1 引 言

超声成像是一种利用超声波的物理性能，通过不同的反射声波，转换成特殊图像的成像方式，其主要用于解剖结构的标准切面定位和生物学参数测量.超声成像具有时效性，廉价，对胎儿及孕妇无危害等特点.这种成像方式能诊断出胎儿是否发育异常，胎盘，脐带，羊水是否产生病变，因此被作为产前诊断的常用方法.为了检测胎儿健康发育状况，医师需要从超声图像中手动勾画以测量胎儿的股骨长度，头围周长和腹围周长等各项生物参数.然而人工的测量会导致测量结果存在不同程度的误差.人工测量的主要问题包括：(1) 获取标准切面及参数测量均依赖于超声医师的临床经验及专业水平；(2) 由于不同的超声医师的能力及经验不同，对胎儿的超声检查结果也有所不同；(3) 由于完整的产前超声检查需要获取胎儿多种标准切面，手动控制测量将导致效率低下；(4) 超声医师需要大量进行如移动探头、冻结图像等重复性工作，易使医师重复性工作压力并发症损害身体健康；(5) 超声图像通常存在模糊，伪影，边缘缺失等问题会导致测量难度加大.针对这些问题，迫切需要一种自动的分割算法以辅助医生获得更加精确的测量结果，减轻医生的工作量.

近年来，随着计算机视觉领域的发展，医学影像与计算机视觉的密切结合，相关研究人员开始结合计算机视觉技术开展产前超声图像自动分割技术的研究，以辅助进一步的准确测量.图像分割是将图像中的特定部位与其他区域分开，这些区域是不相互交叉的.图像分割一直是医学图像处理的重要研究方向，通过分割技术将医学图像中需要重点关注的部分分割出来，同时分割结果也要尽可能的还原原始图像的形状，才能确保的医学诊断的有效性，为重建测量等其他后续操作打下基础.

大量的研究人员在图像分割的方向上不断研究，提出了各种不同的分割方法[1-2].其中阈值化方法是一种最简单的分割算法.这种方法在灰度图像中得到了广泛的应用并取得了非常显著的效果.例如，Zheng等人[3]改进了传统的2D最大熵阈值分割方法，能够快速准确地获得分割阈值.为了获取更高精度的分割结果，研究人员进一步结合图像的边缘信息对模型进行改进.例如， Barghout等人[4]提出的基于边缘检测的图像分割方法，李晓宁等人[5]提出的基于分水岭变换及王丹等人[6]提出的基于边缘的水平集分割模型都有效地提取了边缘信息使结果更加精确.此外，机器学习方法也被广泛地运用于图像分割领域.例如，马尔可夫随机网络(Markov Random Network, MRF)[7]以及条件随机场[8]被在图像分割中有较好的表现.

近年来，随着深度学习技术的迅猛发展，各种深度神经网络模型被广泛应用于图像分割领域.例如，Shelhamer等人[9]首次将端对端的全卷积网络引入图像分割领域，其主要思想是利用全卷积层替代全连通层.Noh等人[10]利用转置卷积层将图像的每个像素点进行分类生成分割掩码.深受深度学习方法在自然图像处理中优越性的影响，其也在医学图像领域有突出成果.在医学图像处理领域，Zhang等人[11]提出的卷积神经网络在多模态图像分割方面取得了较好的结果.Ciresan等人[12]结合卷积神经网络完成了医学图像的分割任务.随着卷积神经网络的深入研究，相关的变体模型被提出.潘沛克等人[13]利用的U-net模型，它是利用收缩路径捕获上下文信息，扩张路径用于精确定位来实现鼻咽肿瘤MR图像分割并获得了显著的效果.

然而，上述模型中池化层的数量增加会导致特征图的尺寸减小，这对上采样恢复完整的分辨率图像是一个严峻的挑战.另一方面，如果从较浅的网络中获得分割结果精确度将大幅度下降.为了解决高分辨率特征图和较大感受野之间的矛盾，Chen等人[14]提出了扩张卷积算法.通过在卷积核内插入适当的零来得到扩张卷积核.与传统的卷积核相比，扩张卷积能在不改变核参数数目的情况下获得更大的感受野.为了提取不同感受野大小的特征，采用不同扩张率，并将不同扩张卷积生成的特征拼接起来，再编码多尺度信息以提高性能.然而随着扩张率的增加，扩张卷积变得越来越无效.DenseASPP模型[15]成功的解决了这一问题，它将前层所有的扩张卷积输出的特征图与普通卷积的特征图拼接在一起传输到下一层的扩张卷积层中，使得扩张卷积层的感受野逐层增加.然而DenseASPP模型对于分割超声图像还存在分割边缘不光滑的缺陷.

因此，我们将结合DenseASPP的缺陷及超声图像的特点对模型进一步修改.针对超声图像高分辨率的特点需要进一步增加感受野大小以获取全局信息，然而增大扩张率后参与计算的有效像素点之间的距离增大，之间的关联性减小.因此，根据以上问题对DenseASPP作以下改进：(1) 将原始扩张卷积模型的扩张率从3、6、12、18增加到6、12、18、24，增大每层扩张卷积的扩张率来增大感受野；(2)在通过扩张卷积后添加Attention机制[16]来增加特征的关联性.本文在胎儿的头臀径、头围、腹围的超声图像上对改进DenseASPP模型进行评估，实验结果显示，改进后的方法消除了原始模型分割不平滑的缺点，并且其性能优于其他对比方法.

2 相关知识

2.1 感受野

在卷积神经网络中，每一层神经网络输出的特征图的像素点与输入图像之间的映射区域称为感受野，其大小为输入层与输出层的卷积核大小.感受野越大表示参与计算的原始图像的像素点数量就越大，也就是说它可能包含更全局的特征；反之，感受野越小表示提取的特征更能反应局部的细节.

若将两个卷积层级联在一起，即前一层的输出作为后一层的输入，可以获得更大的感受野，假设两个卷积核尺寸分别为K1,K2，新的感受野R为

R=K1+K2-1

(1)

例如，一个卷积层的卷积核大小为3，级联另一个卷积层的卷积核大小为7将获得的感受野大小为9.

2.2 扩张卷积

为了获取图像的全局特征，使用最大池化的方法来实现更大的感受野.但是这导致了特征图分辨率严重下降，因此提出反向卷积[17]来解决这一问题.然而这种方法需要更多的时间与内存.针对这一问题，扩张卷积[14]被提出，它在保持特征图分辨率不变的情况下增加了感受野的范围.

以3×3的卷积为例来解释扩张卷积,如图1所示.图1(a)中，由于卷积核的扩张率为1，两个相邻滤波值之间添加0个0，因此卷积核保持大小不变；图1(b)中，卷积核的扩张率为2，两个相邻滤波值之间添加1个0，获得大小为5×5的扩张卷积；可以推导出，图1(c)中扩张卷积大小为7×7.

(a) 扩张率为1 (b) 扩张率为2 (c) 扩张率3图1 2D图像的扩张卷积核Fig.1 The extended convolution kernel of a 2D image

在使用了扩张卷积的神经网络，每层的输入与输出的感受野大小为扩张卷积核大小.对于扩张率为s，卷积核尺寸为K的扩张卷积，其感受野大小R表示为

R=(s-1)×(K-1)+K

(2)

例如，扩张率为2的3×3的卷积核实际尺寸为5×5，则对应感受野大小为5.因此，扩张能够增加卷积核的感受野.

2.3 Attention机制

为了增强特征图中两个任意位置之间的空间依赖性，Attention机制[17]被提出.它是利用两个位置之间的特征相似性来获取权重，再通过加权求和所有位置的特征来替代原始特征.总的来说，任意两个位置的相似特征相互促进，反之，相互抑制.图2为Attention机制的原理图.

如图2所示，以一系列卷积得到的特征图A(C*H*W)为例，其中C为通道数，H和W为特征图尺寸大小.首先将A分别通过3个卷积层得到3个特征图B、C、D, 将这三个特征图展开为C*N的大小,其中N=H*W,再将展开后的B的转置与展开后的C相乘通过softmax得到N*N大小的Attention 图S(N*N),再把S的转置与展开后的D相乘,将所得结果还原原来的形状(C*H*W).最后与A相加得到新的特征图E.E的每个位置的值是原始特征每个位置的加权求和得到的.

图2 Attention机制Fig.2 Attention mechanism

3 本文方法

在本文中， 设计改进DenseASPP模型，其结构如图3所示.设置比原始模型大的扩张卷积率，每层的扩张卷积以拼接的方式连接，并且每层的扩张率逐层增加.扩张率小的卷积层靠近输入，扩张率大的卷积层靠近输出.将前层所有扩张卷积的输出特征图与输入的特征图拼接在一起作为输入送入下一层扩张卷积.最终，DenseASPP输出一个由多扩张率、多尺度的扩张卷积生成的特征图.本文所提出的结构只需使用几个扩张卷积就可以组成一个更密集感受野范围更大的特征金字塔结构.

图3 改进的DenseASPP模型Fig.3 Improve DenseASPP model

该结构由3部分组成：预特征提取，密集扩张卷积和特征合并.接下来将详细介绍这3部分组成结构.

(1) 预特征提取.将原始图像直接传送到扩张卷积中，会出现图像中部分像素点未参与计算的情况，导致图像信息的丢失.因此，在原始图像进行扩张卷积之前，先简单提取原始图像的特征图.本文简要的设计了预特征提取的网络结构，该网络主要由7个卷积块组成，其中每个卷积块输出的特征图的通道数都比前一个卷积块的多8个，第一个卷积块的输出特征图的通道数为16.每个卷积块包括了3个卷积层，第一层卷积与第三层卷积参数一致，都是以步长为1大小为1×1的卷积核进行卷积;第二层卷积与其他两个卷积层不同，设置卷积核大小为3×3，步长为1，填充为1.卷积完成后，将特征图依次传入批量归一化层及ReLU激活函数层，其目的是削弱梯度爆炸及梯度消失的情况以提高网络的学习效果.最后，经过预特征提取，可以得到通道数为320，尺寸与原始图像一致的预特征图.

(2) 密集扩张卷积：为了获取全局特征，本文设计了密集扩张卷积模块.在DenseASPP结构中每层扩张卷积的输出可以表示为

yl=HK,sl([yl-1,yl-2,…，y0])

(3)

其中，sl表示第l层的扩张率;[…]表示拼接操作;[yl-1,yl-2,…，y0]表示拼接前层所有的输出产生的特征图及输入特征图.DenseASPP不仅保留了逐层增加扩张卷积率的金字塔特点，而且将所有扩张卷积的输出密集地拼接在一起使更多的像素参与计算.结合式(1)与式(2)可计算出经过密集拼接与级联的所有扩张卷积后感受野，表示为

Rmax=R3,6+R3,12+R3,18+R3,24-3

(4)

其中，Rmax表示最终感受野大小;R3,6…R3,24表示为卷积核大小为3，扩张率为6…24的感受野大小.经过计算得到本文模型的感受野大小为121，比原始模型的最大感受野扩大一倍，足以获得更全局的特征.

在本文中，每个DenseASPP结构均包含四个扩张卷积块，每个扩张卷积块具有相同的结构.每个扩张卷积块包含两层卷积，第一层卷积是普通卷积层，它们使用的都是步长为1，尺寸为1×1卷积核对输入进行卷积后得到通道数为512的特征图.无论输入通道数的大小，都能保持输出的通道数保持不变.该卷积层是用于控制模型大小，防止网络计算量过大.第二层卷积是扩张卷积层，采用步长为1，大小为3×3的卷积核得到通道数为128的特征图，特别需要注意的是，卷积核在扩张之后，它的实际大小比3×3的尺寸大，因此0填充参数设置为2显然不能得到与源图像一样尺度的特征图.因此,在本文中将0填充参数的大小设置为扩张率的大小，以保持与源图像一致的尺寸.在本文中，采用了扩张率为6，12，18，24的扩张卷积对图像提取特征.每个扩张卷积块的扩张率逐层增加.扩张率小的卷积块靠近输入，扩张率大的卷积块靠近输出.将前层所有扩张卷积块的输出特征图与预特征图拼接在一起作为输入送入下一个扩张卷积块.最终，本文模型输出一个由多扩张率，多尺度的扩张卷积生成的特征图.

(3) 特征合并.将预特征图与扩张卷积后的结构图堆叠起来作为输入经过一个1×1的普通卷积层，其输出的尺寸与输入尺寸一致，再将特征传入到2.3节所描述的Attention机制模型中，得到相关联的特征，并结合sigmoid激活函数对卷积后的输出进行处理，最终得到与源图像大小一样的概率图，每个像素点上对应的概率表示该点属于目标部分的概率.

4 评价指标与实验结果

本文所使用的实验数据来自于四川大学华西医院，包括胎儿头围、头臀径及腹围三种超声图像.为了训练模型并测试模型分割的准确度，将2 365张胎儿头围、3 270张头臀径、2 873张腹围图像分别进行随机角度翻转、随机平移等操作将每种图像扩充到4 000张图像，并将每种数据分为3 800张图像的训练集与200张图像的测试集，使用训练集训练模型，测试集测试模型的性能.为了定量地度量模型的性能，本文中采用了3种标准指标：DSC(Dice similarity coefficient), PM(Prevent match)和 CR(Correspondence ratio).DSC是衡量标签与预测值之间的相似程度的数量指标，取值范围在0～1之间，相似性指标的数值越大表示就越相似；PM是衡量图像被漏分割的情况，其值越高表示图像被漏分割的情况越少；CR衡量图像分割误分割的情况，其值越大则表示误分割的情况就越少. Dice similarity coefficient (DSC)如下式.

(5)

(2) Prevent match (PM)与Correspondence ratio (CR)如下.

(6)

(7)

其中，TPS代表被正确分割的区域；FPS代表被误分割的区域；GT代表医师手动分割出的区域.

为了验证本文所提出的算法的优势，在本文中选择如下三种当前常见的图像分割算法与本文算法(DenseASPP-A)进行比较：(1) DenseASPP模型[14]；(2) 全卷积神经网络(Fully Convolutional Networks, FCN)[9]；(3) U-net模型[13].并对结果进行了定性与定量分析，其中定量结果为所有测试用例的均值.

4.1 胎儿头臀径的超声图像分割

模型分割结果如图4所示.从图4中可以看出，本文提出的改进DenseASPP模型得到的分割图更接近医师手动的分割图，并且生成的边缘更为平滑，同时也不会产生多余的分割部分，较突出点边缘如箭头所示.测试集上相关定量分析结果如表1所示.从表1可以看出，4种模型都有较好的表现，其中，本文提出的改进DenseASPP模型除了在PM指标上的表现略微逊色DenseASPP模型外，在其他两种定量指标上都取得了最好的分割性能.

表1 胎儿头臀径超声图像指标

Tab.1 Ultrasonographic indicators of fetal head-buttock diameter

指标DenseASPP-ADenseASPPU-netFCNDSC0.9550.9540.9160.892PM0.9260.9270.9190.916CR0.9200.9180.8740.846

4.2 胎儿头围的超声图像分割

为进一步验证本文算法的有效性，采用胎儿头围超声图像数据集进行实验.首先利用4.1节中介绍的图像扩充方法对胎儿头围的超声图像进行处理以训练模型.比较了4种模型的分割结果，在部分测试样本上模型分割结果如图5所示.从图5中可以看出，4种方法得到的分割结果从可视化方面都取得了不错的结果.比较图5中箭头所指的分割边缘，本文提供的方法与DenseASPP模型更贴近医师勾画的头围，并且被分割区域不会出现误判的情况.而本文提供的方法分割的线条比DenseASPP模型分割的线条更为平滑.同时，我们也利用上述的,3种指标做了定量比较，如表2所示，在4种方法都获得了较高的评分的情况下，本文提出的方法在性能上均优于其他3种方法，在头围的数据中取得了最优的结果.

图4 胎儿头臀径的超声图像分割Fig.4 Ultrasound image segmentation of fetal head and hip diameters

图5 胎儿头围的超声分割图像Fig.5 Ultrasound image segmentation of fetal head circumference

4.3 胎儿腹围的超声图像分割

在本次实验中，还额外选取了胎儿腹围的超声图像作为数据.由于腹围的轮廓不明显，采用虚线大致勾画出腹围的范围，以便医生描绘精细的结果，因此图中的虚线不作为分割的依据.为了凸显本文模型的优势，将实验结果进行了可视化与定量比较.如图6所示，由于被分割区域接近圆形，各种模型分割结果相差不大，但还是存在细微差别，比如本文提供的模型分割的图形极少出现锯齿形状，如图6箭头所示的分割边缘.从表3中根据3种指标的定量结果可以看出，本文提供的模型在胎儿腹围的超声图像的数据上表现依然是最好的.

表2 胎儿头围超声图像指标

Tab.2 Ultrasonographic indicators of fetal head circumference

指标DenseASPP-ADenseASPPU-netFCNDSC0.9740.9720.9700.969PM0.9510.9500.9490.948CR0.9480.9460.9450.943

表3 胎儿腹围超声图像指标

图6 胎儿腹围的超声分割图像Fig.6 Ultrasound image segmentation of fetal abdominal circumference

4.4 有效部分的验证

为了研究所提出方法的关键组成部分的贡献，使用的胎儿腹围超声图像数据评估了两个关键部分：扩展卷积率的设置和Attention机制.

(1) 扩张卷积率的设置：为了验证扩张卷积率设置的合理性，在密集扩展卷积部分设置了3组不同的扩张卷积率，分别是3、6、12、18(D-ASPP,S=3)和6、12、18、24(D-ASPP,S=6)以及9、18、24、27(D-ASPP,S=9)的扩张卷积率，并在不添加Attention机制的情况下保持其他结构不变.实验结果如表4所示，表现最好的模型是D-ASPP,S=6.虽然D-ASPP,S=9模型的CR指标有一定提高，但PM指标降低.

(2) Attention机制的贡献：为了验证Attention机制的贡献，设计密集扩展卷积的扩展率为6、12、18、24，去掉Attention机制部分并保持其他结构不变.实验结果如表4所示，通过比较D-ASPP,S=6模型与本文所提供的模型，即在增加Attention机制后，3种指标都有所提高.

实验结果表示，在本文中对DenseASPP模型的扩展卷积率的改进及添加Attention机制均提高了模型的性能.

表4 改进模型的验证

5 结 论

本文针对高分辨率的胎儿超声图像精确分割问题，提出了一种基于密集连接、扩张卷积策略和Attention机制的DenseASPP模型用于实现对胎儿超声图像的自动分割.该模型利用普通卷积对原始图像提取预特征图，再将预特征图传输到扩张卷积层中并将前层所有扩张卷积的输出特征图与预特征图堆叠在一起传输到下一层扩张卷积以获得更大感受野的多尺度特征图，最终将所有的特征合并，再利用sigmoid函数获取分割结果.通过定性与定量分析，本文的模型均优于DenseASPP模型、U-net模型和FCN模型.本文的方法对目标区域的分割相对其他方法更平滑，并且分割更精确.然而，在分割任务中，不管是对比方法还是本文提出的方法，均存在分割结果的边缘不平滑的现象.今后的研究将针对这一问题对模型加以改进.