融合空洞卷积与注意模型的U型视盘分割

梁礼明，盛校棋，熊 文，郭 凯

(江西理工大学 电气工程与自动化学院，江西 赣州 341000)

0 引 言

青光眼一种慢性且不可逆的神经退行性眼科疾病，会使视神经逐渐受损，导致视力和生活质量下降[1-3]。眼科医生通过对视盘的形状、面积、大小和深度等参数的观察[4]，可以诊断视网膜眼底病变情况，但是存在主观性强和费时等缺陷，因此利用自动诊断技术准确迅速的分割视盘成为现代医学诊断疾病和特征识别的重要步骤[5]。

目前现有的主要分割技术包括基于视盘颜色和对比度阈值、边界检测和区域的分割方法、活动轮廓和可变模型、基于形状和匹配模板以及基于传统机器学习和深度学习方法等[6,7]。其中，文献[8]提出一种双阈值的方法提取视盘，一阈值用于去除血管和背景，另一阈值分割出视盘等包含的超像素；文献[9]利用主动轮廓方法将视盘分割问题转化为能量最小化问题的可变形模型，以不同的能量项来反映图像中的特征信息；文献[10]将视盘区域建模为圆形或椭圆形，并利用霍夫圆变换拟合圆进行视盘分割；文献[11]采用传统机器学习算法，该类方法高度依赖于所提取的特征类型，这些特征可能仅代表特定的数据集，泛化性较弱。

目前深度学习技术已被证实对医疗图像具有较高的分辨能力。Fu等[12]提出一种多标签卷积神经网络与极坐标变换的视盘与视杯同时提取的算法。Maninis等[13]利用基于VGG-16的全连接神经网络分割视盘，但存在参数冗余度高的特点。Al-Bander等[14]融合Dense Block与CNN结合的视盘分割方法，较好地解决了参数冗余度高的特点。

针对现有算法的经验和视盘分割存在的难点，提出一种融合注意门(attention gates，AGs)[15]与U型卷积神经网络的视盘分割方法，将底层特征信息和高层特征信息相结合，同时Attention模型根据金标准特征动态增加视盘部分的权重比，并且为了进一步提高网络的感受野而不增加算法复杂度，将部分卷积层替换为空洞卷积，从而降低编码部分的信息损失。

1 材 料

本文通过在DRIONS-DB公共彩色眼底图像数据集上进行视盘分割仿真实验。DRIONS-DB数据集包含110张600×400的眼底图像，每张图片均有由两位眼科专家标记的金标准视盘图像。

通过选取DRIONS-DB前90张眼底图片作为训练集，剩下20张眼底图片作为测试集。为了进一步防止实验过程发生过拟合，本文将DRIONS-DB数据集通过旋转180°、上下对换、左右对换的方法，将训练集扩充到原来的4倍，即将旋转后的图像与原图像合并后共计360张图像。通过翻转图像，可使得最终训练得到的模型具有更强的泛化性，能识别不同角度的实体。

2 预处理方法

考虑到采集的视网膜图像存在畸变和视盘周围血管噪音的影响，本文采用RGB三通道的线性组合转换成单个强度通道，相比其它文献仅采取单一颜色通道能更多地提取视盘的特征信息，其公式定义如下

Ipre=0.3Ig+0.12Ir+0.58Ib

(1)

其中，Ipre表示三通道转换为单个通道图像；Ig,Ir,Ib分别为图像绿色、红色以及蓝色通道。本文给蓝色通道更多的权重，由于视网膜图像蓝色通道信息有助于区分较深的黄斑区和明亮的视盘区，而且将一定比例分给其它两个通道解决了单一蓝色通道图像过暗的现象。

为了进一步移除视网膜图像的血管信息，利用尺寸与图像的宽度和高度之间的二次平均成比例的方形元素进行闭合形态学操作得到图像Ic。 最后，利用多尺度形态学滤波[16]，能在抑制噪声的同时提升局部像素极值，保证图像相位一致性信息。利用其图像边缘梯度信息控制因子控制血管像素与视盘像素差值，图像控制因子定义请参见文献[16]，预处理图像如图1所示。

图1 预处理效果

3 视盘分割模型

考虑到现有的基于编码器与解码器的全连接卷积神经网络(FCN)存在“权重分散”和解码结构不能充分地恢复图像细节信息等弊端，于是本文在U-Net[17]卷积神经网络的框架下，首先在编码部分引入了空洞卷积增大局部感受野，从而提取更多视盘特征图信息，然后在解码部分引入AGs使其在恢复图像信息时进一步提取视盘特征，并且降低背景等噪音的权重信息,从而去除孤立的假阳性，提高对目标边界的预测。

3.1 空洞卷积

现有图像分割方法在卷积神经网络编码部分采用池化操作降低图像尺寸同时增大局部感受野，由于在视盘分割结果是基于像素的输出，故在解码部分需经上采样恢复原始图像尺寸，但解码结构并不能较好地恢复图像细节信息，从而导致视网膜图像分辨率降低，以及图像中的细节和局部特征的丢失。为了降低这种图像信息损失，本文在U-Net编码部分，去掉部分池化层，并将卷积层替换为空洞卷积(dilated convolution)[18]，在预训练网络编码部分，采用空洞卷积方法提取局部区域的多尺度特征映射，而不使用池化操作。更重要的是空洞卷积能以不增加算法参数复杂度的情况下增大网络层的感受野。

设网络的扩张率r， 输入x[i] 与滤波器w[i] 的空洞卷积的输出y[i] 定义如下

(2)

其中，m是w[k] 的长度；k是卷积核的大小，扩大后的卷积核大小为k′=k+(k-1)(r-1)。 如图2所示，设一个卷积核为3×3即k=3， 当r=1时为3×3空洞卷积核；当r=4时为一个9×9空洞卷积核。当使用具有较大扩张率r来扩大感受野会导致空洞卷积在连续滤波器之间引入零的位置处丢失上下文信息，并且多层单一扩张率的空洞卷积存在空间信息不连续的现象，故本文采取小扩张率多尺度的策略，利用小空洞卷积提高对视盘特征定位性能，较大的空洞卷积能捕捉更大的上下文特征图信息。

图2 多尺度空洞卷积特征传播

3.2 Attention模型

(3)

其中，xi为输入视盘特征图，c为常数项，i为元素个数。

AGs的门注意系数ai包含上下层的视盘结构信息，用来修剪较低级别的特征响应，通过加性注意公式matt来得到门注意系数ai，matt定义如下

(4)

αi=σ2(matt(xi,gi;att))

(5)

其中，gi为选通信号，η为视盘特征学习参数；Wx,Wg分别为输入特征图和选通信号权重，bg和bη为偏置项；σ1和σ2(xi,c) 分别为ReLU激活函数和sigmoid激活函数；AGs提取的视盘特征包含在参数att中。通过对gi的分析决定AGs网络结构聚焦的感兴趣区域，剔除与视网膜图像病灶相关的噪音影响，AGs模型如图3所示。

图3 AGs原理

3.3 U-net视盘分割模型

U-net卷积神经网络(CNN)的核心思想是利用较少的训练集进行端对端的训练，并且能有较好的预测结果。U-net模型本身具有远程连接方式，能够同时结合底层信息和高层信息，底层信息有助于提高训练精度，高层信息用来提取复杂特征，使得较浅层网络可以完成深层网络的预测效果，且能更有效率的利用GPU内存，从而能够高效准确分割视网膜眼底视盘图像。本文将传统U-net网络的编码部分去掉部分池化层并将卷积层以空洞卷积替代，同时在编码结构部分输出层加入池化层，从而降低图片维数，提高解码计算效率；在解码部分引入AGs模型能够利用 U-net 结构的远程连接得到粗尺度特征映射，并突出前景对象的类别和位置，并将粗尺度中提取的视盘特征信息用于门限。由多尺度空洞卷积和远程连接提取的特征图，组成多尺度特征图；随后通过跳过连接合并特征信息，以结合粗级和细级特征图的进行预测，并消除无关的噪声响应，将背景区域的梯度经后向传播过程向下加权，使得较浅层的模型参数主要基于与给定任务相关的空间区域更新，从而可以抑制分割结果的假阳性率。本文U-net视盘分割模型如图4所示。

图4 集成的U-Net视盘分割模型

图4中，Cov为3×3卷积层；Maxpooling为2×2池化层，用来压缩特征图，降低复杂度；DC为空洞卷积，通过去掉池化层以降低像素损失，同时在同等参数复杂度情况下增加局部感受野；Upsampling为2×2上采样层；在每个AGs中通过跳过上采样层直接级联到下一卷积层以提取和融合互补信息，同时为了降低AGs的参数与计算的复杂度，利用1×1×1卷积进行线性变换，相应的线性变换将特征信息解耦并映射到低维空间以进行选通操作；每个卷积层均采用指数线性单元(exponential linear unit，ELU)[19]进行特征提取，其定义如下

(6)

其中， ∂为可变参数，控制ELU赋值部分饱和。ELU不仅可以解决ReLU梯度消失的问题，而且在负值部分还可以减少不必要的偏移效应，进而减少计算量。训练时通过随机梯度下降法(stochastic gradient descent，SGD)优化交叉验证最小化像素分割错误率，最终由SoftMax激活函数将背景与视盘进行二分类。

4 实验结果

4.1 仿真平台

本实验的仿真平台为PyCharm,使用keras及其TensorFlow端口，计算机配置为Intel®CoreTMi7-6700H CPU，16G内存，Nvidia GeForce GTX 2070 GPU，采用64-bit Win10 operating System。

4.2 性能评价指标

为了系统定量地分析本文算法视盘分割结果的性能，采取以下5个指标作为衡量标准

(7)

(8)

(9)

(10)

(11)

其中，Tp,Tn,Fp,Fn分别为真阳性、假阳性、真阴性和假阳性；敏感度(Sensitivity)，表示正确分类视盘像素占真实视盘像素的百分比；特异性(Specificity)表示正确分类的非血管像素占真实非血管像素的百分比；准确率(Accuracy)表示正确分类视盘和非视盘像素占整个图像总像素的百分比；Dice又称精确率，即F-measurement；相似系数(Jaccard)用于比较分割结果与专家分割结果之间的相似性与差异性，即视盘重合率。

4.3 视盘分割结果

图5展示了本文算法与传统U-net模型在DRIONS-DB数据集上的部分图像视盘分割效果图。其中图5中分别给出病变视网膜图像与健康视网膜图的视盘分割图。图5(a)为视网膜原始图像，图5(b)是专家金标准图像，图5(c) 为文献[20]采用深度卷积神经网络框架的DRIVE算法，图5(d)为本文算法视盘分割结果，图5(e)为传统U-net网络的分割结果。

图5 不同算法视盘分割图像

观察图5第1行与第2行的病变图像可知，本文算法与传统U-net模型都能较好地定位视盘基本位置信息，但从第1行分割效果可以看出，由于视盘位于主血管较突出处，传统U-net出现视盘分割失败的现象。然而，本文算法在第1行与第2行视网膜图像中均得到较成功的分割结果，分割的视盘边界较清晰，同时未出现由血管与病理信息等因素的影响导致视盘分割断裂的现象。

由图5第3行健康视网膜图像可知，传统U-net模型内部出现少许视盘分割断裂的情况，说明传统U-net模型无论是病变视网膜图像还是健康视网膜图像的视盘分割结果均易受到周围血管影响，同时文献[20]的算法同样出现视盘分割不均匀的现象，但本文算法在健康视网膜图上视盘分割结果与金标准接近一致。又由图5第4行图像可知，该视网膜图像总体亮度较高，存在伪影的干扰，文献[20] 和U-net方法视盘周围出现过分割的现象，然而本文算法在视盘边界处较圆滑，并没有出现传统U-net网络的锯齿和缺口现象。

综上，本文算法不仅能在健康视网膜图像上具有较好的分割性能，而且不易受到光照、病理信息和血管等噪音的影响，故本文视盘分割算法具有较强的鲁棒性和泛化能力。对于周围存在病灶和血管突出的图像分割结果具有很好的完整性与连通性，进而可以提高专家对青光眼等眼科疾病分析的效率，具有良好的临床应用价值。

4.4 视盘分割结果

为了定量地表现出本文算法视盘分割性能，给出如表1所示与不同文献算法在灵敏度、特异性、准确率、精确率和重合率之间的性能对比表，其中加粗部分为本文算法视盘分割数据。

表1 不同算法在DRIONS-DB数据集视盘分割性能

由表1数据可知现有的算法在DRIONS-DB数据集上视盘分割结果所得到的灵敏度、精确率和重合率均低于本文算法，说明本文在此数据集上具有较强的鲁棒性。其中，文献[9，10]为传统活动轮廓模型与霍夫变换椭圆区域拟合的方法，文献[11]为传统机器学习算法，该类算法的分割结果在本文评估的5个方面均未超过文献[14]与本文算法所使用的深度学习方法，即使文献[20]利用霍夫圆变换构造多圆视盘分割方法在视盘覆盖率、精确度和特异性等方面达到了较好的分割效果，但Dice系数偏低且存在过多的人为干预因素。文献[14]使用DenseNet全连接神经网络在特异性与准确率方面略高于本文算法，但差距甚微。然而，本文算法在精确率和重合率上均高于文献[14] 1%左右，说明本文引入AGs与空洞卷积网络的有效性。

为了更好地体现本文算法总体性能的稳定性，给出测试集每个图片的精确率曲线，如图6所示。本文分割结果的精确率曲线非常平滑，且平均精确率高达97.35%，而文献[14]算法精确率曲线抖动较大，说明本文算法泛化性能优越，基本能达到可以辅助医疗诊断的水平。

图6 算法精确率曲线

4.5 时间复杂度

从上述实验结果与数据已经表明，本研究提出的算法已经超过或者达到竞争方法的结果，同时也反映了融合空洞卷积与AGs的U型卷积神经网络对视盘分割的有效性与实用性，得到的结果精确率和重合率达97.35%和94.84%，并且该方法在特征提取与分割阶段不需要人工干预，算法本身可自动从视网膜图像中提取复杂的视盘特征，来实现视盘分割。

此外，本研究的整个过程适合GPU并行化处理，并且已经达到令人满意的计算效率。为了体现本文算法的高效性，给出时间复杂度对比见表2。

表2 时间复杂度

由表2可知，深度学习在训练阶段总体耗时较长，但测试阶段效率相比传统机器学习方法具有显著提升，文献[14]与本文算法分割视盘均低于1 s，且本文算法平均每张图仅用时0.3 s左右，说明本文的深度学习方法不仅分割效果优越，在时间复杂度方面控制良好。

4.6 网络结构

为了说明本研究引入空洞卷积与注意门的有效性，对网络分别进行以下调整：①去除空洞卷积层，保留Attention模型与U-net模型,该网络记为Net1；②去除Attention模块保留空洞卷积模块与U-net模块，该网络记为Net2；③去除空洞卷积与Attention模块,仅保留原始U-net网络，该网络记为Net3。

将上述改动网络与本文算法在灵敏度、精确率、重合率3个指标上进行对比，见表3。

由表3知，仅保留注意模型与U-net网络结构和空洞卷积与U-net网络结构，均比传统U-net模型总体分割效果优越，尤其是引入的Attention模型对原始U-net网络总体性能提升约1%；使用注意模型可解决卷积神经网络“权重分散”现象，在精确率方面和视盘重合率方面均高于仅引入空洞卷积方法，但灵敏度方面由于空洞卷积增大局部感受野，降低眼底图像像素损失率，略高于引入的注意模型，说明空洞卷积可提高网络泛化性；本文所提出的算法将空洞卷积与Attention同时引入到U-net模型中，均比单独引入或未引入效果优越，而且比原始U-Net网络总体性能均高出1%到2%，从而说明本文在U-Net网络中融合空洞卷积和注意模型的有效性和实用性。

表3 不同网络结构性能对比

5 结束语

为了解决现有算法由于光照不均匀、血管信息和相关的病理信息导致视盘分割断裂和视盘边界误分割的现象，本文提出一种融合空洞卷积与注意模型的U型卷积神经网络。在预处理阶段，通过RGB三通道以不同比例的线性组合来解决单一通道信息丢失等问题，并利用新型多尺度滤波算法在抑制噪声，同时增强视盘边界纹理信息。在视盘特征提取与分割阶段，本文引入空洞卷积扩大感受野同时降低池化层带来的图片损失，引入AGs解决传统卷积神经网络“注意分散”的现象，提高最终视盘分割的准确率。本文算法在DRIONS-DB数据集上仿真，其测试阶段仅耗时0.3 s，视盘精确率和重合率97.35%和94.84%，从而说明本文算法具有模型简单、分割高效和结果性能优越的特点，但本文算法在训练阶段的耗时和数据库规模上仍需进一步改进。