采用DoubleUNet网络的结直肠息肉分割算法

2022-04-28 04:18徐昌佳易见兵方旺盛
光学精密工程 2022年8期
关键词:集上后处理息肉

徐昌佳,易见兵,曹 锋,方旺盛

(江西理工大学 信息工程学院,江西 赣州 341000)

1 引 言

结直肠癌(Colorectal Cancer,CRC)发病率多年来位居癌症发病率的世界第三[1]。因此,如何预防结直肠癌已成为世界范围内的公共卫生问题。有研究指出,95%的结直肠癌是由结直肠息肉病变引起的,及时发现并切除结直肠息肉可大大降低结直肠癌的发病率,当前预防结直肠癌最有效的方式就是定期进行结肠镜检查并及时进行息肉切除手术。随着无痛结肠镜的出现和普及,人们对这项检查的接受度越来越高。然而,过去息肉的检测都是通过内窥镜医生人工观察判断的,很大程度上依赖于医生的经验和能力并且需要大量时间和精力,且许多肠道息肉在结肠镜检查时因医生长时间工作时视觉疲劳导致误诊或漏诊。计算机辅助检测系统可以实时地在结肠镜视频中显示息肉的位置,辅助内窥镜医师进行判断[2],从而可以减少息肉被漏诊或误诊的概率。

传统的分割方法是通过提取颜色、形状和纹理等特征,然后使用分类器将息肉与其周围非息肉区域进行区分。2014年,Mamonov等人[3]提出依据从结肠镜视频帧中提取到的形状和纹理特征,使用二值分类器将视频帧标记为包含或不包含息肉,并假定息肉的特征是突出且大部分为圆形的,再选择合适的球半径作为分类器的决策参数。2015年,Tajbakhsh等人[4]提出一种利用上下文信息来移除非息肉结构信息从而定位息肉的方法,该方法首先采用Canny边缘检测算法获得粗糙的边缘特征,再通过特殊的特征提取和边缘分类方法去除其中不是息肉的边缘,然后定位息肉。但是息肉的形状、大小、颜色和纹理各异,所以使用传统方法仍然有很高的漏检率,难以准确地将息肉分割出来。

近年来,利用深度学习进行医学图像分割[5]和语义分割任务[6-7]取得很大进展,其中基于深度学习的结直肠息肉分割方法也屡见不鲜[8-9]。虽然这些方法已经取得了优于传统方法的效果,但它们大多使用边界框来检测息肉,因此不能准确定位息肉的边界。为了解决这个问题,Brandao等人[10]使用带有预训练模型的全卷积网络[11]来检测和分割息肉。Ronneberger等人[12]提出一种完全对称的编码器-解码器结构的UNet网络,受UNet网络成功应用于生物医学图像分割的启发,越来越多人使用UNet的变体结构来进行息肉分割。Zhang等人[13]提出了深度残差结构的U型网络ResUNet,将残差连接引入UNet的每一个卷积模块,可以提取到更深层次的图像特征,从而输出更精准的分割结果。Zhou等人[14]提出了UNet++,通过减少未知的网络深度,重新设计跳跃连接,并且设计了一个对网络进行剪枝的方案来提高UNet++的性能。Fan等人[15]提出了一种平行反向注意力网络PraNet用于息肉的精确分割。Jha等人[16]提出了DoubleUNet网络,通过将两个变体UNet结构级联组成双网结构,使整个网络具有更强的特征提取能力,更大的接收域,并将squeeze-and-excite(SE)、空间卷积池化金字塔(Atrous Spatial Pyramid Pooling,ASPP)等附加模块插入到网络中以产生边界更加清晰的息肉分割结果。

与传统方法比较,利用深度学习进行息肉分割的效果有了大幅提升,但是针对实际应用场景还存在一些问题:医疗图像的获取相对比较困难,训练时的数据量偏小导致训练得到的模型过拟合,分割效果欠佳;在通过结肠镜检查拍摄息肉图片时,息肉周围的粘膜及肠道粘液会形成反光从而影响最后的分割结果[17];息肉图像背景复杂,息肉很容易受其它正常区域影响,导致因编码器提取特征能力不够,无法提取出有效的特征;部分息肉图像类别不均衡,息肉区域像素在图像中比例较小,网络训练较为困难导致出现漏检的情况。针对以上问题,本文提出了一种改进的DoubleUNet网络的结直肠息肉分割算法,主要包括以下几点工作:

(1)在数据预处理和后处理阶段,首先对结直肠息肉图像进行去反光处理,消除图像反光区域对分割结果产生的影响;并通过数据扩增方法将训练数据集进行扩大,以解决本算法中训练图片数据量小的问题;最后采用条件随机场方法和测试时数据扩增的推理方式精细化最后的分割结果。

(2)通过在DoubleUNet网络两个子网的解码器部分引入注意力模块,使网络在提取特征时更集中关注于息肉区域,并将低层次的信息与高层次的信息进行有效融合;将网络中的ASPP模块替换为DenseASPP模块并移除扩张率为24的空洞卷积层,以提高网络提取图像特征的能力。

(3)针对本文分割的目标在图像中比例较小的问题,提出利用Focal Tversky Loss作为算法的损失函数以降低简单样本的权重,提高小目标样本的分割精度。

2 基于DoubleUNet网络的结直肠息肉分割算法

2.1 DoubleUNet网络

医学图像分割是对医学图像中感兴趣的目标部分进行像素级分类,大量基于深度学习的图像分割算法已被证明其有效性,其中基于编码器-解码器的方法,例如Unet及其变体是解决当前医疗图像分割问题的流行策略。DoubleUNet是近期提出的用于医疗图像分割任务的网络,也属于Unet网络的一种变体,它是一个双网结构,由两个U型结构相互叠加组合而成,具有两个编码器和两个解码器。如图1所示,DoubleUNet的第一个子网以带预训练的VGG19作为编码器提取图像的特征,然后通过ASPP模块中不同扩张率的并行空洞卷积捕获该特征空间信息,最后通过解码器得到第一个子网的输出。然后将输入图像与第一个子网产生的掩模(Output1)相乘,作为第二个子网的输入产生另一个掩模(Output2),第二个子网和UNet的区别仅仅在于使用了ASPP和SE模块,所有其它组成部分保持不变,其中SE模块[18]添加在第一个子网的编码器和第二个子网的编码器和解码器的卷积操作之后。

图1 DoubleUNet算法网络结构Fig.1 Network architecture of DoubleUNet algorithm

2.2 本文算法的网络结构

本文提出了一种改进的DoubleUNet网络的结直肠息肉分割算法,该算法的网络结构如图2所示,算法在网络结构中引入DenseASPP模块,以密集连接的方式连接一组不同扩张率的空洞卷积,从而获得了更大范围的感受野,上述工作在没有显著增加模型大小的情况下提高了网络提取特征的能力。在子网1和子网2的解码阶段引入注意力机制,并且结合UNet结构的跳跃连接,将肠道息肉图像的浅层特征与深层特征进行特征融合,降低了噪声带来的影响,使网络在进行特征提取时更关注于病变的息肉区域,提升了结直肠息肉分割精度。

图2 改进的DoubleUNet算法网络结构Fig.2 Network architecture of improved DoubleUNet algorithm

本文提出的算法由两个级联的变体UNet结构子网络1和子网络2组成,两个子网络又分别包含编码阶段、DenseASPP和解码阶段。将经过数据预处理后的结直肠息肉数据输入子网1的编码部分(该部分是在ImageNet数据集上预训练的VGG19),该部分的架构和UNet类似;上述步骤提取到深层次结直肠息肉特征之后接入一个DenseASPP模块,该模块以密集连接一组扩张率分别为3、6、12、18的空洞卷积,从而获取多尺度信息并进行融合,在增大感受野的同时不损失信息,使网络能够提取更多目标和更小的息肉特征。解码部分由注意力机制、上采样层、卷积层和SE模块组成,其结构如图3所示。

图3 解码器结构Fig.3 Architecture of the decoder

为了恢复在编码阶段丢失的特征并使网络特征提取时更关注于息肉区域,本文在上采样操作前引入注意力机制,上采样层是一个2×2双线性上采样模块,能够使输入特征映射的维数加倍,再通过跳跃连接与编码部分的特征进行连接,不仅保持了空间分辨率而且还提高了输出特征映射的质量,连接后再进行2次3×3的卷积操作,每次卷积后都进行批处理归一化且连接Re-LU激活函数,之后使用SE模块显式建模通道之间的关系以增强重要特征,最后应用一个具有sigmoid激活函数的1×1卷积层生成相应的掩模。子网1的输出与原始输入逐元素相乘作为子网2的输入,子网2与子网1的区别仅仅在于编码器部分,经过级联的子网2后输出最终结直肠息肉的分割结果。

2.3 注意力机制

注意力机制[19]最早在自然语言处理领域中广泛应用,随后在计算机视觉领域中进一步发展,当前在图像分类和语义分割任务中应用较多,在语义分割任务中可以对图像进行像素级预测[20]。注意力机制决定了在神经网络中哪些部分需要更多的关注则分配更大的权重,降低将每个结直肠息肉图像中的信息编码为一个固定维数向量所需要的计算成本,其结构简单,可以应用于任何大小的输入,并能提高网络特征提取性能。计算机视觉中的注意力机制包括空间注意力和通道注意力,SE模块能够显示各建模通道之间的关系,增强重要特征,抑制无用的特征。在基础网络中SE模块已经应用于第一个子网的编码器和第二个子网的编码器与解码器。为使网络在提取特征时更集中关注于息肉区域,并将低层次的信息与高层次的信息进行有效融合,减少在编码阶段连续下采样所导致的息肉信息丢失,同时抑制上采样带来的噪声影响,提升最后肠道息肉分割的准确率,本文在两个子网的解码器部分都加入了注意力模块[21]。

本文提出的注意力机制内部结构如图4所示,图中g表示与解码器对应的同级编码器输出的低层次信息,x表示上一层解码器的输出信息。g信号首先进行批处理归一化且连接ReLU激活函数,然后经过一个3×3的卷积操作,之后连接一个大小为2×2,步长为2的最大池化层并输出gpool信号,以上操作的目的是将结直肠息肉的特征图缩小一半的尺寸,从而匹配x信号经过相同卷积操作得到的特征图大小。之后gpool再与xconv逐元素相加,输出的gxsum信号融合了浅层和深层特征。最后,gxsum信号再通过一个与之前相同的3×3的卷积层,得到的特征图与初始x信号逐元素相乘得到特征图f。

图4 注意力机制内部结构Fig.4 Internal architecture of attention mechanism

2.4 DenseASPP模块

谷歌团队在DeepLab[22]系列工作中结合多尺度信息和扩张卷积的特点提出了ASPP模块,该模块将不同扩张率的空洞卷积特征结合到一起。在DoubleUNet网络中引入ASPP结构连接两个子网络的编码器和解码器来获取多尺度的卷积特征,但是息肉图片背景复杂,ASPP模块在尺度轴上特征分辨率还不够密集,获取的感受野还不够大,因此本文引入DenseASPP模块[23]来代替ASPP模块。该模块的网络结构如图5所示,其能够以更密集的方式连接一组空洞卷积,获得更大范围的扩张率,在没有显著增加模型大小的情况下提高了网络提取特征的能力。由于使用扩张率过大的空洞卷积会导致卷积退化,造成特征提取性能的降低,因此本文移除了扩张率为24的空洞卷积层。

图5 DenseASPP网络结构Fig.5 Network architecture of DenseASPP

2.5 损失函数

在研究基于深度学习的图像分割问题时,常采用交叉熵损失函数来刻画该类问题,但在医学领域中,检测和分割目标通常只占据整个图像中的很小一部分病变区域,这种不平衡的数据可能导致训练效果不佳,而Focal Tversky Loss函数[24]在小目标的检测中效果较好,因此本文采用Focal Tversky Loss代替交叉熵损失函数,该函数表达式如式(1):

其中:TIc表示tversky指数,γ的取值范围是[1,3]。TIc的计算公式如式(2):

其中:pic为像素i属于病变类别c的概率,为像素i属于非病变类别的概率,gic为标签中像素i对应的值,为标签中像素i对应1-gic的值,在二分类任务中gic只有0和1两种取值,0表示像素i属于非病变类别,1表示像素i属于病变类别c,ε为光滑因子。通过调节超参数α和β,可以在类别不均衡的情况下改变权重以提高召回率,本文分别设置α=0.7,β=0.3,γ=1.33。

3 数据预处理及后处理

3.1 数据集

为验证算法的有效性、泛化性和普适性,本文算法在五个公共数据集上进行了相关实验,第一个数据集是Kvasir-SEG数据集[25],由挪威奥斯陆大学医院的内窥镜专家采集并标注,该数据集包含1 000张息肉图片和其对应的标签,图片像素大小为256×256;第二个数据集是CVC-ClinicDB数据集[26],由医学图像计算与计算机辅助干预国际会议(MedicalImage Computing and Computer-Assisted Intervention,MICCAI)于2015年发布,该数据集包含31个结肠镜序列的612张图片和其对应的标签,图片像素大小为384×288;第三个数据集是ETIS-Larib数据集[27],由MICCAI息肉自动检测子挑战赛[28]在2017年发布,该数据集包含196张从结肠镜视频中提取的息肉图片和其对应的标签,图片像素大小为1 255×966;第四个数据集ISIC数据集[29]是由国际皮肤成像协作组织(International Skin Imaging Collaboration,ISIC)提供的皮肤镜图像数据集,该数据集包括2 594张图片,图片有多种不同尺寸;第五个数据集是DSB数据集,由数据科学碗(Data Science Bowl)挑战赛在2018年发布,该数据集包含670张细胞核图片及其对应的标签,图片有多种不同尺寸。

3.2 数据预处理

在进行结肠镜检查拍摄息肉图片的过程中,由于光源被反射,息肉周围的粘膜以及肠道的黏液处在图片中会显示出高光,这些图像特征会对感知图像质量产生负面影响[30]。此外,对于进行图像分割任务的算法来说,息肉表面的高光会影响从息肉表面获得的纹理特征,严重干扰算法的有效性。为降低图片高光区域对算法的影响,本文在数据预处理阶段对原息肉图像进行去反光处理。首先对图片进行反光检测:第一步使用颜色平衡自适应阈值来确定图片中很明显的高光区域,若某部分显示强度过强,则属于高光。然而颜色通道可能因颜色平衡而产生强度偏移,同时高光的实际强度可能高于所有三个颜色通道的饱和点,因此将图像的绿色和蓝色通道cG和cB进行归一化,计算灰度强度cE,具体为cE=0.2989·cR+0.5870·cG+0.1140·cB,其中cR为 红色通道。之所以使用灰度强度作为参考,而不是主要的红色通道,是因为在结肠镜图像中,接近饱和的红色通道强度不仅出现在反光区域,图像大部分区域都显示为较强的红色。按如下方法计算颜色平衡比:

其中,P95(·)表示颜色强度值超过95%的数值。当息肉图像中像素x0满足以下条件时,则被标记为高光:

其中,T1=240,表示灰度阈值。第二步对这些高光区域用其周围一圈半径为2和4像素的圆形区域像素平均值进行填充,得到填充图像;第三步对填充后的图像做中值滤波(中值滤波器窗口大小w=30),得到“平滑非反光区域颜色像素”,中值滤波后的图像称为“平滑非反光区域颜色图像”,将图片中的每个像素与之进行比较,得到反光区域。确定图片中被判定为反光的区域后,立即对其进行反光修复,即用反光检测中的填充方法将反光区域进行填充,然后对填充图片进行高斯模糊(高斯核σ=8)得到一副非反光强平滑的图像,最后结合原图和高斯模糊的图像进行修复得到去反光图像,如图6所示去反光前后图像。由于医学数据集的获取和标注比较困难,现有数据集包含的样本数较少,这使得在该数据集上训练出来的模型容易过拟合且效果欠佳。针对训练样本较少的问题,本文提出利用数据扩增的方法来增加样本数量。首先分别将Kvasir-SEG、CVC-ClinicDB、ISIC和DSB四个数据集进行训练集、验证集、测试集的划分,在数据集中的所有数据中随机选取80%的数据作为训练集,10%的数据作为验证集,10%的数据作为测试集,ETIS-Larib数据集仅作为测试集不参与数据集划分;接着对训练集数据采用数据扩增的方法增加样本数量,包括中心裁剪、随机旋转、高斯模糊、弹性变换和RGB平移等,单张图片可以扩增成26张不同的图片,Kvasir-SEG、CVC-ClinicDB、ISIC和DSB四个数据集的训练集扩增后样本数依次为20 800、12 740、53 976和13 936张图片;最后对数据集中的所有图片,包括扩增图片进行尺寸调整,将ETIS-Larib数据集中的图片调整为384×288,ISIC和DSB数据集中的图片调整为256×256,Kvasir-SEG和CVC-ClinicDB数据集中的图片保持不变。

图6 去反光前后图像Fig.6 Image before and after de-reflective

3.3 后处理

经过分割模型预测得到的分割息肉图片经常会包含一些噪声,比如边缘不够光滑和病变息肉区域不连通等问题。本文采取了两种后处理方法:一是条件随机场(CRF)模型方法[31],条件随机场为基于概率的无向图模型,常用于像素级的图像分割中,具有相似位置和颜色特征的两个像素,其大概率被赋予相同类别标签,其被分割的可能性小,对应了条件随机场中的概率模型。目标图像的像素为图的顶点,顶点作为状态特征,将图中顶点进行连接作为边,边作为转移特征,求解像素标签时考虑图像中其余像素对该像素的影响,精细化分割和标记,使分割结果在边缘处更加准确平滑[32];二是测试时数据扩增的推理预测方法,该方法在进行推理预测时首先将输入图片进行水平翻转和垂直翻转的数据扩增,再将三张图片一起进行预测,得到的中间结果进行翻转逆处理后输出最后的预测结果,最后取三个预测结果的平均值作为分割的最终结果。

在表1和表2中,方法a表示完成图像预处理后的改进DoubleUNet网络方法;方法b表示同时采用方法a与条件随机场方法;方法c表示同时采用方法a与测试时数据扩增推理方法;方法d表示同时采用方法a与两种后处理方法。表1展示了在Kvasir-SEG数据集上各种方法的实验结果,可以看出采用条件随机场模型方法和测试时数据扩增的推理预测方法都能够进一步提高分割精度。表2展示了在DSB数据集上各方法的实验结果,可以看出采用条件随机场模型方法会降低在该数据集上的分割精度,这是由于该数据集的图片样本分割目标较多且分割目标间有堆叠情况,加入条件随机场方法进行后处理会将多个堆叠的分割目标连通为一个整体,从而影响分割精度;而测试时数据扩增的推理预测方法能够进一步提高分割精度。

表1 Kvasir-SEG数据集上各处理方法性能Tab.1 Performance of different processing methods on the Kvasir-SEG dataset

表2 DSB数据集上各处理方法性能Tab.2 Performance of different processing methods on the DSB dataset

图7和图8分别为Kvasir-SEG数据集无后处理分割结果和进行后处理操作,图9和图10分别为DSB数据集无后处理分割结果和进行后处理操作。在图7和图9中,金标准表示专家标注的分割结果,输出图为无后处理结果。在图8和图10中,(a)图表示单独采用条件随机场后处理方法的输出结果,(b)图表示单独采用测试时数据扩增方法的输出结果,(c)图表示同时采用条件随机场和测试时数据扩增方法的输出结果。如图8所示,加入条件随机场方法进行后处理将原始输出图中一些不连通的区域和边缘部分被错误预测的像素进行修正,精细化了分割结果;而采用测试时数据扩增的推理预测方法将原始图及其经过多种变换后的图共同输入模型进行预测,可以避免因原始图中的某些重要特征被忽略而导致错误分割,提高了算法的鲁棒性和防止过拟合的能力,但可能会略微增加模型推理的时间,降低算法的实时性。如图10所示,在细胞核这类分割目标较多且分割目标间有堆叠情况的数据集上,加入条件随机场方法进行后处理会将多个堆叠的细胞核连通为一个整体,从而影响分割的准确性;而采用测试时数据扩增的推理预测方法依然能够提高分割精度,因此针对该数据集本文仅采用测试时数据扩增的后处理方法。

图7 Kvasir-SEG无后处理分割结果Fig.7 Segmentation results without post-processing on Kvasir-SEG dataset

图8 Kvasir-SEG数据集上进行后处理操作Fig.8 Post-processing on Kvasir-SEG dataset

图10 DSB数据集上进行后处理操作Fig.10 Post-processing on DSB dataset

4 实验结果与分析

4.1 参数设置

本文算法运行环境的硬件设备参数为:CPU主频为3.6 GHz,显卡为英伟达2080ti,内存为32 GHz;软件环境为:操作系统为Windows 10,深度学习框架为TensorFlow+Keras。为方便与DoubleUNet[16]原始算法模型性能进行对比,本文采用的实验参数基本与DoubleUNet算法相同:所有实验采用的初始学习率均为0.000 01,连续20个批次验证集损失不再上升时把学习率降低到原来的0.1倍,采用Nadam优化器,其中ISIC数据集和DSB数据集使用Adam优化器。开始训练时的批处理大小(batch size)设置为4,训练总轮次为300,当验证集精度连续50轮不再变好,则提前终止训练。

4.2 评价指标

本文采用四个评价指标对息肉分割的性能进行评估,分别是Dice系数(Dice)、平均交并比(MIoU)、召回率(Recall)、准确率(Precision)。

其中:X为预测得到的分割结果中息肉区域的像素集合,Y为原息肉图片金标准息肉区域的像素集合,TP为分割结果中被正确分割的像素数目,FP为分割结果中被错误分割的背景像素数目,FN为分割结果中被错误预测为背景的息肉像素数目。

4.3 算法在结直肠息肉数据集上的实验

4.3.1 算法中每个改进步骤的作用

为了验证算法中每个改进步骤的有效性,本文分别在Kvasir-SEG和CVC-ClinicDB数据集上对每个改进步骤的性能效果进行了测试。分别验证本文算法在DoubleUNet算法基础上完成改进网络结构、替换损失函数、完成图像预处理及后处理时对分割结果的影响。表3为在Kvasir-SEG数据集上的测试结果,表4为在CVCClinicDB数据集上的测试结果。在表3和4中,“改进网络”步骤是在“DoubleUNet”算法的基础上完成的相应操作;“损失函数”步骤是在“改进网络”步骤基础上完成的相应操作;“图像预处理”步骤是在“损失函数”步骤基础上完成的相应操作;本文方法即“后处理”步骤,是在“图像预处理”步骤基础上完成的后处理过程。从表3和4中可以发现,在DoubleUNet算法基础上,每个改进步骤对算法的Dice系数,平均交并比,召回率的性能都有一定程度的提升;且算法模型改进(包括“改进网络”和“损失函数”步骤)和“后处理”步骤对准确率的提升明显。

表3 Kvasir-SEG数据集上各改进步骤的分割结果Tab.3 Segmentation results of each improvd step on the Kvasir-SEG dataset

表4 CVC-ClinicDB数据集上各改进步骤的分割结果Tab.4 Segmentation results of each improved step on the CVC-ClinicDB dataset

图11为CVC-ClinicDB数据集和Kvasir-SEG数据集的验证集部分息肉图片的分割结果,其中第1、2行为CVC-ClinicDB数据集的分割结果,第3、4行为Kvasir-SEG数据集的分割结果。从分割结果来看,本文算法能够在背景复杂的息肉图片中提取到重要特征,并且对于图片中的小目标分割结果也十分理想,极少出现漏分割和错误分割的情况。

图11 CVC-ClinicDB和Kvasir-SEG数据集上的分割结果Fig.11 Segmentation results on CVC-ClinicDB and Kvasir-SEG datasets

4.3.2 不同算法分割性能对比实验

为了检验本文算法在Kvasir-SEG、CVCClinicDB数据集上的分割性能,本文在两个数据集上分别和五个经典算法进行了对比实验,具体为UNet[11]、ResUNet[12]、ResUNet-Mod[12]、UNet++[13]、ParNet[14]算法。实验结果分别如表5和表6所示。

表5 Kvasir-SEG数据集上不同算法分割结果Tab.5 Segmentation results of different algorithms on the Kvasir-SEG dataset

表6 CVC-Clinic DB数据集上不同算法分割结果Tab.6 Segmentation results of different algorithms on the CVC-ClinicDB dataset

由表5和表6可以发现,本文算法在Kvasir-SEG数据集的测试中Dice系数、平均交并比、召回率和准确率分别为0.919 6、0.853 8、0.853 7、0.953 0;在CVC-ClinicDB数据集的测试中Dice系数、平均交并比、召回率、准确率分别为0.954 3、0.913 0、0.899 0、0.964 2;并且从表中可以看出本文算法在四个评价指标上相对于其它5个算法都有较大提高。实验结果表明本文算法的分割效果较好,准确率较高,在医学影像方面,对肠道息肉图像处理有一定的应用价值。

4.3.3 不同算法模型的泛化性能对比实验

为进一步验证本文算法模型的泛化性能,本文在CVC-ClinicDB和ETIS-Larib数据集上进行了相关实验。在实验中,本文将CVC-ClinicDB数据集按9∶1分成两部分,分别作为训练集和验证集,ETIS-Larib数据集作为测试集,对网络进行训练并得到相应模型,并与FCN-VGG[10]、Mask RCNN[33]、UNet[11]、DoubleUNet[16]四 种 算法进行了对比。图12为算法在ETIS-Larib数据集上的部分分割结果,从图中可以看到,本文算法在小目标样本上的分割效果较好,但在某些复杂场景下会出现小范围误分割。

图12 ETIS-Larib数据集上的分割结果Fig.12 Segmentation results on ETIS-Larib datasets

表7为在ETIS-Larib数据集上的测试结果,与其它方法的对比,从中可以看到本文算法的平均交并比、召回率和准确率依次为0.632 7、0.723 5、0.815 7高于其它算法,而在Dice系数指标上与DoubleUNet算法基本相当。以上实验表明本文算法的泛化性能较好,在未知数据集上的适应能力较强。

表7 ETIS-Larib数据集上不同算法分割结果对比Tab.7 Comparison of segmentation results of different algorithms on the ETIS-Larib dataset

4.4 算法在通用医学图像中的应用

为验证本文算法在通用医学图像分割任务上的有效性,本文在ISIC和DSB数据集上分别做 了 相 应 实 验 验 证,并 与UNet[11]、Multi-ResUNet[34]、DoubleUNet[16]、UNet++[14]深 度 学 习 基准模型进行了对比实验。由于ISIC和DSB数据集上的图片没有反光的影响,本文算法在上述数据集中没有进行去反光处理。DSB数据集中图片包含多个分割目标且分割目标有堆叠情况,采用条件随机场的后处理方法时会导致分割精度下降,所以该数据集只采用测试时数据扩增的预测推理方法进行后处理,而在ISIC数据集上使用了两种后处理方法。图13和图14分别表示在ISIC数据集和DSB数据集上的分割结果,从中可以看出本文算法在通用医学图像公开数据集的分割效果也较好。

图13 ISIC数据集上的分割结果Fig.13 Segmentation results on ISIC datasets

图14 DSB数据集上的分割结果Fig.14 Segmentation results on DSB datasets

表8表示在ISIC数据集上本文算法与其它算法的实验结果,从表中可以看到本文算法的Dice系数、平均交并比、召回率和准确率分别为0.909 5、0.847 3、0.903 7、0.950 3,其中四个指标分别比DoubleUNet算法提高了0.013 3、0.026 1、0.025 7和0.004 4。表9表示在DSB数据集上本文算法与其它算法的实验结果,本文算法的Dice系数、平均交并比、召回率和准确率分别为0.919 6、0.852 4、0.665 5、0.964 1,本文算法在Dice系数、召回率和准确率三个指标上达到对比算法中的最佳。

从表8和表9的实验结果可以发现本文提出的算法在ISIC和DSB两个数据集上的分割精度对比其它分割算法整体上都有一定的提升。以上实验结果表明本文算法能够较好地完成通用医学图像的分割任务,能够适应较多的医学应用场景。

表8 ISIC数据集上不同算法分割结果Tab.8 Segmentation results of different algorithms on the ISIC dataset

表9 DSB数据集上不同算法分割结果Tab.9 Segmentation results of different algorithms on the DSB dataset

5 结 论

本文针对结直肠息肉的大小、颜色和质地各异,息肉与周围粘膜的边界不清晰,且息肉区域像素在图像中比例较小导致出现分割准确率低等问题,提出了一种改进的DoubleUNet网络结直肠息肉分割算法。本文算法在Kvasir-SEG和CVC-ClinicDB数据集的测试中,Dice系数、平均交并比、召回率和准确率相对于其它经典算法都有较大提升,其中在CVC-ClinicDB数据集上的实验结果相较于基准网络,四个评价指标分别提升了0.030 4、0.051 9、0.053 3、0.005 0。表明本文算法在结直肠息肉图像上分割精度较高,能够辅助医生对结直肠息肉进行诊断,减少临床时的漏诊和误诊,对结直肠息肉图像的处理和分析具有借鉴意义。为验证算法的泛化性和普适性,本文在ETIS-Larib、ISIC、DSB数据集上进行了相关实验,实验结果验证了本文算法在未知数据集上的适应能力较强,且算法在通用医学图像上的分割效果也较好。

猜你喜欢
集上后处理息肉
车身接附点动刚度后处理方法对比
GCD封闭集上的幂矩阵行列式间的整除性
胃息肉会发展成胃癌吗?
果树防冻措施及冻后处理
你真的了解子宫内膜息肉吗
R语言在统计学教学中的运用
乏燃料后处理的大厂梦
师如明灯,清凉温润
ER、PR、Ki-67在绝经后子宫内膜息肉中的表达
息肉样黑素瘤一例