基于GDL损失函数U-net神经网络在放疗定位CT图像上对甲状腺分割的初步研究

文晓博,袁美芳,赵 彪,孙梦真,胡晓庆,杨 毅

(昆明医科大学第三附属医院,云南省肿瘤医院放射治疗科,昆明 650118;*通讯作者,E-mail:yiyangrt@126.com)

2018年全球癌症统计数据显示,乳腺癌和鼻咽癌的发病率和死亡率均处于较高水平[1]。由于甲状腺的毗邻位置与解剖学结构,使其在放射治疗过程中容易造成不可避免的损伤,可能会引发甲状腺功能衰退和甲状腺炎等不良反应[2-6]。有研究表明,甲状腺功能衰退的发病率与甲状腺在放射治疗中的受照剂量有关[3],因此,在放射治疗方案的实施中,需要将甲状腺作为危及器官勾画出来,严格限制剂量,从而有效地减少甲状腺不良反应的发生[4-6]。但目前危及器官的勾画大多是由医师手动勾画,这种方式费时、费力且主观性较大,对甲状腺的保护效果存在差异,因此甲状腺的自动分割有着重要的临床意义。

传统的医学图像分割通常使用基于阈值、区域生长、聚类、分水岭等分割方式来对医学灰度图像进行分割[7-10],这些方法虽然能够有效地分割图像上的目标物体,但都存在部分缺陷且需要大量的实验和经验才能够得到较好的结果。随着人工智能的发展,基于神经网络的图像分割方式逐渐应用于医学图像分割领域且在图像上能得到很好分割效果[11,12]。在甲状腺的自动分割中,主要面对的问题是:①甲状腺是小体积目标,在整幅影像图中所占像素较小,属于极度不平衡类分割,使用传统的交叉熵损失函数不一定能获得较好的结果;②甲状腺周围存在较多灰度相近的血管,使得模型在分割甲状腺时容易将血管归为甲状腺或者甲状腺分割不全;③不同病人的甲状腺之间存在个体差异,而且不同切片的甲状腺体积差异也可能较大,使得模型训练难度加大。目前的研究中,甲状腺神经网络方面的研究主要是基于B超图像对甲状腺结节进行诊断和对肿瘤进行分割[13],而对于放射治疗中大孔径模拟定位CT上甲状腺分割未见有相关报道。大孔径CT由于其孔径大和排数小且图像质量相对较差,需要进一步研究来观察神经网络的分割效果。本研究选用了基于GDL损失函数的U-net神经网络在放疗定位CT上对甲状腺进行分割,以期为临床自动勾画甲状腺提供帮助。

1 材料与方法

1.1 数据集获取

本实验数据集来自于2014年6月至2019年4月在云南省肿瘤医院放射治疗科同一主诊组收治的鼻咽癌和乳腺癌患者76例,每位患者均已行西门子大孔径CT模拟定位,层厚为5 mm或3 mm,数据格式为DICOM文件。为了保证U-net网络模型能够正确学习甲状腺的解剖学结构并对测试集做出正确的分割,需要制作标签图。标签图由3位高年资影像学医师通过3D slicer勾画软件对甲状腺勾画并导出为DICOM格式,再由Matlab进行图像平滑等处理后将格式转换为PNG格式,得到训练集、验证集及测试集标准标签图,将定位CT与标签图一一对应制作标准数据集(见图1)。

A.放疗定位CT图像 B.对应标签图图1 甲状腺标准数据集示意图Figure 1 Standard data set of thyroid

1.2 数据预处理

由于3D slicer导出的图像为灰度图像,因此我们将图像进行HU值转换操作,将其转变为CT值后进行图像预处理。在本文的研究中,我们采用了HU值转换、窗口化操作、直方图均衡化和图像归一化操作。

由于需要观察模型的运行情况以及结果,甲状腺的数据集被划分为3个子数据集,分别为训练集、验证集、测试集。其中训练集用于模型学习甲状腺的特征结构,验证集用于验证模型训练过程中的准确性以及是否过拟合,测试集用于测试模型的泛化能力并评价模型的性能与分割能力。

U-net模型具有层数少、深度浅、参数少的特点,容易导致过拟合现象,因此为了增加网络的泛化性和鲁棒性,同时防止模型过拟合,我们对数据进行了扩充。本研究调用了Keras中ImageDataGenerator类来对数据集进行旋转、平移和缩放等操作,最终扩充后的训练集数据为2 157张。

1.3 U-net网络架构

U-net网络结构因其对称结构与英文字母“U”相似而得此名，主要由下采样、上采样以及“桥”连接三部分组成,其网络结构见图2[14]。左边称为下采样，也叫压缩路径或编码器(encoder)，主要作用是提取图像的浅层特征，如图像的位置信息；右边称为上采样，也叫扩展路径或解码器(decoder)，主要作用是提取图像的深层特征，如图像中像素的类别信息；中间的箭头表示“桥”连接，也叫跳跃连接(skip connection, SC)，主要作用是把下采样得到的特征图与上采样得到的特征图进行复制拼接，形成一个同时具有深层次和浅层次信息的特征图，实现更为有效的分割。除此之外，上、下采样和“桥”连接部分由卷积层、池化层、反卷积层以及激励层组成。其中卷积层用于提取甲状腺图像的特征；池化层用于下采样部分，其将获取的特征数据和参数进行压缩，减少模型过拟合；反卷积层用来还原特征图的尺寸大小，使得最后输出大小与原图大小一致；激励层是将卷积所得的输出进行一个非线性映射，来保证模型能够更好地拟合图像。本研究所使用的激活函数为ReLU，最后输出层使用Sigmoid函数对像素点进行分类。

在本文中，输入是甲状腺CT图像，大小为512×512×1(512×512表示CT图像的长和宽，1表示CT图像的通道数)；先经过左侧4个block进行编码(1个block包括2个3×3卷积核和1个2×2的最大池化层)，作用是提取CT图像中甲状腺像素的位置信息；再经过右侧4个block进行解码(1个block包括2个3×3的卷积核和1个2×2的反卷积核)，作用是提取CT图像中甲状腺像素的类别信息；中间的“桥”将编码路径中的位置特征裁剪复制到右侧的解码路径，进行特征融合，提高分割精度；最后的输出层是通过1×1的卷积和Sigmoid函数将CT图像中概率值大于0.5的像素识别为甲状腺，即分割出CT图像中的甲状腺。

蓝色方框代表获取甲状腺特征后的特征图;白色方框代表复制的特征融合部分;深蓝色箭头代表一个3×3的卷积和一个ReLU激活函数;灰色箭头代表剪切复制操作;红色箭头代表2×2的最大池化层;绿色箭头代表2×2的反卷积;浅蓝色箭头代表1×1的卷积图2 U-net神经网络架构Figure 2 U-net neural network architecture

其中rln为类别l在第n个像素的标准值,Pln为预测的像素概率值,ωl为每个类别的权重。GDL能够有效地平衡病灶和Dice系数之间的关系。

1.4 评价指标

本研究从深度学习传统评价指标和医学常用指标中分别选取几个评价指标对模型预测结果进行评价。

1.4.1 Dice系数 Dice系数是一种集合相似度度量函数,其一般用来比较两样本的相似程度,值域为[0,1],公式如下:

其中X表示由医生勾画的标准分割图,Y为神经网络模型分割出的预测图,|X∩Y|表示医生所勾画的标准图与模型所预测图的相同部分。Dice系数的值越接近于1,表明模型训练结果越好,反之越差。

1.4.2 Jaccard系数 Jaccard系数(Jaccard similarity coefficient)与Dice系数相似,其为标准分割图与模型预测图的交集与两者的并集的比值,公式如下:

其中X和Y的表示与Dice系数相同,其值越接近与1,模型结果越好,反之亦然。

1.4.3 箱型图 箱型图可以直观地显示数据的分布情况,能有效地反映数据中地异常值与离散程度(见图3)。

1.5 模型运行环境与参数

模型搭建使用TensorFlow封装的Keras,采用Python3进行模型的编程,操作系统为Windows10,CPU为Intelcorei7-8750H,GPU为NVIDIA GTX1060 6G。模型的训练参数:批量大小(Batch size)为2、训练批次(Epoch)为80、图像大小(Image size)为512×512像素(Pixel)、学习率(Learning rate)为0.000 01。

图3 箱型图示意图Figure 3 Sketch map of box plot

2 实验结果与分析

2.1 测试集影像图以及实验结果分析

为了测试模型的泛化性与鲁棒性,我们选取了9个病人,共123张含有甲状腺的CT切片组成测试集,分别使用基于Dice和GDL损失函数的U-net网络模型来分割测试集甲状腺,并挑取两张分割结果图进行直观对比(见图4,5)。由图4可以看出,在两模型的分割中,与基于Dice损失函数的U-net模型相比,基于GDL损失函数的U-net模型,甲状腺右叶欠分割现象有所改善。由图5可以看出,虽然基于GDL损失函数的U-net模型所分割的甲状腺仍存在部分过分割现象,但相较于基于Dice损失函数的U-net模型,基于GDL损失函数的U-net模型在甲状腺右叶的预测分割中很好地将甲状腺与周围血管组织等分割开来。因此,在甲状腺结构分割预测中,基于GDL损失函数U-net模型预测与专家差异较小,且边缘较光滑。虽然细微处仍出现部分过、欠分割现象,但与之前基于Dice损失函数的U-net网络模型预测相比,边缘较光滑,过、欠分割效果有所改善,结果更接近甲状腺的结构。

A.包含甲状腺的原始CT图 B.专家勾画的相应的甲状腺标签图 C.基于Dice损失函数模型预测图 D.基于GDL损失函数预测图图4 基于Dice和GDL损失函数U-net模型测试集欠分割结果改善对比图Figure 4 Comparison of under-segmentation of thyroid between Dice-based U-net network and GDL-based U-net network in the test set

A.包含甲状腺的原始CT图 B.专家勾画的相应的甲状腺标签图 C.基于Dice损失函数模型预测图 D.基于GDL损失函数预测图图5 基于Dice和GDL损失函数U-net模型测试集过分割结果改善对比图Figure 5 Comparison of over-segmentation of thyroid between Dice-based U-net network and GDL-based U-net network in the test set

测试集基于GDL损失函数的U-net网络分割Dice评价指标为0.81±0.15,Jaccard评价指标为0.70±0.17(见表1),Dice和Jaccard的结果越接近1,表示模型预测结果与专家标准勾画越接近,模型效果越好。测试集评价指标结果表明相较于基于Dice损失函数的U-net模型,Dice和Jaccard均分别上升3.0%(0.78±0.16vs0.81±0.15;0.67±0.17vs0.70±0.17)。

表1 不同神经网络模型测试集Dice和Jaccard评价指标比较

2.2 测试集箱型图实验结果

为了更加直观地反映数据的分布情况,我们将测试集的两个评价指标结果进行箱型图绘制,结果见图6,7。从图中可以看出,虽然基于GDL损失函数的U-net模型有较多的异常值,但异常值都更接近于中位线,而且基于GDL损失函数的U-net模型Dice箱型图和Jaccard箱型图均值和中位线均高于基于Dice损失函数的U-net模型且Dice箱型图的上下四分位数差值较小,这说明GDL有效改进了模型分割甲状腺的能力。对于存在的异常值,可能的原因是甲状腺体积过小,导致模型误分割影响较为明显。因此,如何再进一步提升模型对甲状腺体积过小部分的分割能力是改进模型的要点。

图6 基于Dice损失函数U-net模型与基于GDL损失函数U-net模型测试集Dice箱型图Figure 6 Box plot of Dice in the test set of Dice-based U-net and GDL-based U-net

图7 基于Dice损失函数U-net模型与基于GDL损失函数U-net模型测试集Jaccard箱型图Figure 7 Box plot of Jaccard in the test set of Dice-based U-net and GDL-based U-net

3 讨论

随着人工智能的发展以及放射治疗领域劳动力缺乏,基于深度学习神经网络的靶区和危及器官的分割被广泛应用。Zhe等[16]使用3D卷积和密集连接(dense net,DNN)的模型在PET/CT图像上对头颈部肿瘤GTV(gross tumor volume)轮廓自动分割,其中多模态DNN的Dice系数可以达到0.73为一个较为精确的值。Ibragimov等[17]使用卷积神经网络对头颈部的危及器官进行了预测分割,其中除视交叉外,其余危及器官的Dice系数均值均大于0.6。杨鑫等[18]采用了自适应U-net对鼻咽癌放疗危及器官进行预测分割,结果显示,在12个危及器官中最低的Dice系数为0.73,平均值为0.86,其中甲状腺的Dice系数为0.83略低于平均值。

在本文中,我们采用了基于GDL损失函数的U-net神经网络模型对放疗定位CT中的甲状腺进行自动分割,由于甲状腺较小的解剖学结构和毗邻关系,使得精准分割甲状腺的边缘十分困难。U-net模型虽然采用了反卷积以及跳远连接特征融合的方式来避免信息的丢失,但由于存在多个卷积和池化步骤,在训练过程中仍容易丢失甲状腺的特征信息,一般通过增加数据集和改进损失函数的方式来减少损失。在研究中,我们使用了基于Dice损失函数和GDL损失函数的U-net的神经网络分别对同一数据集进行训练和模型预测,测试集评价指标结果表明,基于GDL损失函数U-net模型分割的甲状腺与专家标准分割的甲状腺结构更加相似,能够达到临床的基本要求,相较于基于Dice损失函数的U-net模型过、欠分割现象有所改善,同时Dice系数和Jaccard系数两个评价指标均上升了3.0%(0.78±0.16vs0.81±0.15;0.67±0.17vs0.70±0.17),这与Hashemi等[15]的研究结果一致。Zijdenbos等[19]提出Dice>0.7则分割结果达到基本标准,基于GDL损失函数的U-net深度学习模型的Dice值可达到0.81,要高于此标准,表明该模型对甲状腺的分割有着较好的效果。同时,影像学结果表明,相较于基于Dice损失函数的U-net模型,基于GDL损失函数的U-net模型预测的甲状腺边缘更光滑更接近于真实解剖结构,但其结果仍存在部分甲状腺过、欠分割现象。如何进一步精准分割甲状腺和消除过、欠分割现象是下一步研究的主要方向。