多尺度特征融合全卷积神经网络脑肿瘤MR图像分割

席欢欢，贺 松，黄 旭，张 硕，张 慧

(1贵州大学 大数据与信息工程学院，贵阳550025；2贵州大学 医学院，贵阳550025)

0 引 言

脑肿瘤（又称为颅内肿瘤），常发病于中枢神经系统。据统计，2015年中国新发恶性肿瘤患者高达392.9万例，发病率为285.83／10万，恶性肿瘤死亡病例为233.8万，死亡率为170.5／10万。其中，恶性脑肿瘤患者占新发病例的2.7%，占死亡病例的2.4%，是国内目前发病率和死亡率较高的恶性肿瘤之一［1］。核磁共振成像（MRI）技术可以生成高质量的颅内影像，并且具有很强的软组织分辨能力，是辅助脑肿瘤诊断与治疗的重要技术手段。中国每年可以产生大量的医学影像数据，这其中就包括脑肿瘤影像；脑肿瘤影像虽然可以为疾病的诊断与治疗提供支撑，但需要阅片医师有着丰富的经验。由于中国医疗资源的紧缺以及分布不均衡，因此，利用现有技术手段精准定位与分割脑肿瘤病变组织，可以有效减少医师工作量和提高患者治愈机会。近年来，为了提高脑肿瘤检测和分割的精准度，利用计算机技术自动分割脑肿瘤MR图像病变区域，成为当前研究热点之一。由于MR图像的复杂特性，要精准分离正常组织与病变组织十分困难，因此高效的病变区域特征提取方法显得尤为重要。

传统的脑肿瘤MR图像分割方法，如阈值法、像素分类法、模型法等，因分割边界不清晰、精度过低、鲁棒性差等原因，逐渐被其它算法所替代，或者成为其它分割算法的一部分。近几年，基于卷积神经网络的分割方法已经逐渐实现了脑肿瘤MR图像的自动分割。Pereira等人［2］使用强归一化对MR图像进行预处理，并搭建以3*3小卷积核为主的卷积神经网络，以此来降低过拟合现象的影响和减少参数权值数量；Jonathan等人［3］提出的全卷积神经网络，将以往神经网络常用的全连接层全部替换为卷积层，使之可以接受任意尺寸的输入，从而解决了语义级的图像分割问题；Myronenko等人［4］提出一个编码器-解码器架构，并且为网络添加变分自动编码器分支，以重建原始输入图像与特征聚类结果的优化，为编码器输出结果增加额外的导向与正则化，该算法获得了Brats2018挑战赛的第一名；顾军华等人［5］提出一种多尺度特征融合网络，引入SEResNet模块，有效解决特征提取不全面、信息丢失等问题，以此达到肺结节良恶性分类，在LIDC-IDRI（肺图像联合数据库）上取得了很好的准确率。

现有方法中，大多虽然对脑肿瘤MR图像分割取得了很好的结果，但有的算法模型可能随着网络层数的增加，导致无法提取图像一些浅层的原始特征，造成分割结果的边界模糊、不够精确；而过多的网络层数也导致训练参数量过大，训练费时费力和出现梯度消失问题，若层数过少，浅层的特征无法表达出来［6］。

针对上述问题，本文提出一种多尺度特征融合全卷积神经网络（MFF-FCN）模型，来实现脑肿瘤MR图像的分割。该网络主要完成以下工作:

（1）为了更好的利用MR图像的特征信息，采用多通道输入，对不同通道输入的图像采用大小不同的卷积核，以此达到提取不同尺度特征信息的目的。将提取到的不同尺度的特征信息进行融合，可以有效降低因网络层数增多等造成的特征提取不全、信息丢失等问题。

（2）由于全卷积神经网络（FCN）可以实现任意尺寸图像的输入，并且利用反卷积将最后一层的特征图进行上采样实现同样尺寸的输出，该算法主要应用全卷积神经网络，并将其它输入通道的卷积结果融合后添加到主线网络，以实现监督的作用，加强特征信息的提取。

本文算法在国际医学图像计算和计算机辅助干预协会（MICCAI）的BraTS2018数据集上进行了实验。实验结果表明，相比一些算法，MFF-FCN网络在特征提取和分割精度上都有较好的表现。

1 网络模型与算法理论

本文提出的MFF-FCN网络模型，旨在获得更多层次的特征信息以及更全面的细节特征。该网络模型主要采用多个输入通道的网络架构，对于不同输入通道使用大小不同的三种卷积核，每个输入通道主要使用全卷积神经网络（FCN）来进行特征提取，最终将得到的MR图像卷积结果进行融合。采用跳跃连接，将不同输入通道的某层卷积输出结果作为其它通道卷积的输入，以此加强特征信息的提取。为了获得更加精准的分割结果，将多个通道的不同卷积层的结果融合，作为最终的结果。本文提出的多尺度特征融合脑肿瘤MR图像分割模型如图1所示。

图1 MFF-FCN网络模型结构图Fig.1 Structure diagram of MFF-FCN network model

1.1 多尺度特征提取

卷积神经网络的提出可以追溯到上世纪末期。1998年，LeCun等人提出的LeNet［7］，是现代卷积神经网络的雏形，因其局部感受野、权值共享、下采样等优点，使卷积神经网络成为当时的研究热点，之后各种各样的变种卷积网络层出不穷。通用的深度学习网络模型大多采用单通路结构，这种单通路结构有着难以兼顾对局部特征与全局特征学习的缺点［8］。在卷积神经网络中，卷积核的尺寸大小决定了感受野的大小。当卷积核尺寸越大，感受野就越大，过大的卷积核容易提取图像的全局信息，有助于分割尺寸较大的目标。但过大的卷积核，也会导致学习的参数增多，并且目标的局部信息容易丢失；反之，当卷积核过小时，会使网络忽略输入图像的全局信息，易使分割区域的边界不够清晰等。因此，为了加强图像全局与局部特征信息的提取，本文采用3条通路的网络架构，对于不同的输入通路采用不同尺寸的卷积核，其依次为3×3、5×5、7×7。这样不同的卷积核会提取不同层次的特征信息，如图1前半部分所示。多尺度的特征提取可以学习不同感受野的尺度特征，从而有效提取脑肿瘤MR图像的病变区域边缘信息等细节；另一方面，也可以作为监督，将不同通道的多尺度特征提取过程的卷积结果作为其它通道卷积的输入，这样可避免因网络层数增多导致的过拟合现象，以及信息丢失等问题，有助于特征的提取。

文献［9］中研究表明，在第三次卷积后，进行第四次卷积，网路模型的Dice（相似系数）没有发生太大的变化，但卷积层数的增加，反而导致了更多的训练时间和更慢的收敛速度，并且网络参数也会增多。因此，在本文提出的MFF-FCN网络模型中，为了加强特征信息的提取，减少不必要的参数以及模型训练时间，其中2条通路只进行3次卷积操作；之后网络模型使用跳跃结构，将不同通路的卷积结果进行融合，并将融合后的结果作为其它通路的卷积输入和最终结果的一部分。融合方法详见1.3节。

1.2 改进的全卷积神经网络(FCN)

1998年LeCun等人提出LeNet，2012年Alex Krizhevsky、Ilya Sutskever和Geoffrey E.Hinton等人提出了一种非常重要的卷积神经网络模型AlexNet［10］，获得了ILSVRC图像分类的冠军。通常，卷积神经网络都是由卷积层、池化层、全连接层组成。然而，2015年，Long等人［3］提出的全卷积神经网 络（Fully Convolutional Network，FCN）却 将AlexNet网络的全连接层改为卷积层，还引入包含上采样层和反卷积层等其它具有空间平移不变形式的层，实现端对端的像素分类。

传统的全卷积神经网络模型是将卷积神经网络中的全连接层改为卷积层，使输入与输出尺寸保持一致。

但是，传统的全卷积神经网络也存在存储开销大、大量冗余计算、感受野被限制等缺点。FCN可以接受任意尺寸图像的输入，为使网络的输出和输入尺寸保持一致，利用反卷积对特征图进行上采样恢复到原图大小，并且采用跳跃结构（skip architecture），可以融合多层的卷积结果，使得分类的预测结果更为精确。FCN虽然通过全卷积、跳跃结构等方式提高了图像分类的预测准确率，仍然存在一些问题:一是得到的结果不够精确，8倍上采样的结果虽然比32倍上采样的结果好一些，结果依然存在比较模糊和平滑，对图像中的细节不够敏感；二是没有考虑像素之间的关联性，缺乏空间一致性。因此，为了提高脑肿瘤MR图像的分割精准度，邢波涛等人［11］将脑肿瘤3种模态的MR图像，经灰度归一化后，利用灰度图像融合技术得到的融合图像进行预处理，将预处理得到的图像经过改进的全卷积神经网络进行粗分割，最后融合全链接条件，随机细化粗分割结果中的脑肿瘤边界。该结果在BraTS2015数据集上取得了很好的验证，平均相似系数（Dice）达到了91.29%；Zhou等人［12］为了克服深度卷积神经网络在脑肿瘤全自动分割中存在的2个问题，（一是为克服重复的池化（pooling）和步幅（striding），采用3D单步稀疏卷积来替代传统卷积中的池化（pooling）和步幅（striding），作为特征学习的主要方式，二是为克服多尺度病灶处理能力薄弱造成的空间信息丢失问题。）提出了一个3D稀疏卷积特征金字塔，添加到卷积网络的末端。该结构可以结合上下文的特征，提高模型的分辨能力，最后利用3D全连接条件随机处理网络的输出，得到外观和空间上结构的一致性，该算法在BraTS2013、2015、2018数据集上进行了验证；Shen等人［9］提出一种改进的全卷积神经网络（FCN），该网络主要由一个下采样路径和3个上采样路径构成，通过连接每个上采样路径的层次特征来提取多层次的上下文信息，同时提出了利用对称差分图像实现对称驱动的FCN，该算法在BraTS2013数据集上取得了很好的效果。

本文所用的卷积网络则是在FCN的基础上进行了一定的改进。在FCN网络的主体结构中，卷积层的结构参数为3×3的卷积（conv）核、步长（stride）为1、填充（pad）为1；池化层的结构参数为2×2的池化（pool）核、填充（pad）为0、步长（stride）为2。本文的网络模型主要存在3个通路:第一通路的网络结构参数与传统的FCN相同；第二通路的卷积层采用大小为5×5的卷积核；第三通路的卷积层采用大小为7×7的卷积核。因为3个通路使用大小不同的卷积核，在边缘填充Pad不变的情况下，卷积块的输出尺寸就会不同。为了方便最后网络的特征融合以及结果显示等，本文以3×3卷积核通路的卷积块输出尺寸为基准，在第二、三通路中使用不同大小的填充（pad）和步长（stride），使得每一次卷积、池化的输出与第一通路的卷积、池化保持一致。MFFFCN网络模型的具体结构参数见表1。其中，Layer为每一层的名字；Conv表示卷积层；Pool表示池化层；Kernal表示卷积核或者池化核的尺寸；Stride表示卷积运算过程中滑动窗口的步长；Pad表示卷积计算前后对输入矩阵进行边缘填充的大小。在原FCN网络中，共有放大8倍、16倍、32倍上采样的预测结果。本文所提出的MFF-FCN网络中，为与最终输出的分割结果进行对比，第一通路即原FCN网络只输出8倍上采样的结果。但仅仅使用尺寸大小不一的卷积核来加强特征信息的提取，效果还不够明显；尺寸较大的卷积核可以提取输入图像的全局信息，但对于图像的局部信息就很容易丢失，导致分割结果不够精准；而尺寸较小的卷积核可以提取输入图像的局部信息，但对图像的全局信息不够敏感，容易造成分割轮廓边界模糊。为了补充3个通路因卷积核大小不一所造成的特征信息缺失，MFF-FCN网络模型使用跳跃结构（skip architecture），加强不同通路所缺失的特征信息。将第二、三通路的第三次卷积输出结果进行融合后，与第一通路第三次卷积输出融合，作为第一通路第四次卷积的输入；同时，第二、三通路第三次卷积融合的结果也是模型最终结果的输入之一。并且，第二、三通路的输入输出尺寸都与第一通路保持一致，这样有助于减少计算量、特征融合以及最后的分割结果。最后的脑肿瘤MR图像分割结果输出也是采用跳跃结构。使用反卷积、上采样使得输出达到相互融合的尺寸，并且得到类似FCN网络几种不同的分割结果，并将结果经过裁剪统一尺寸。

表1 MFF-FCN网络模型结构参数Tab.1 Structural parameters of MFF-FCN network model

1.3 特征融合

在计算机视觉研究领域，特征融合是常用的方法之一，尤其是在图像分割方面，融合不同尺度的特征是提高分割效果的一种重要手段。底层特征分辨率更高，包含更多的位置、细节信息，但是由于经过的卷积少，其语义性更低，噪声更多；而高层特征具有更强的语义信息，物体轮廓更分明，但是分辨率较低，对细节的感知能力较差。因此，利用一定的方法将两者进行融合，有利于改善和提高分割模型的性能。

在全卷积神经网络中，本文融合多层卷积的结果取得的预测结果是最好的。在卷积过程中使用的跳跃结构以及为得到最终的分割结果，都是用add特征融合方法；在通道数不变的情况下，add方法使描述图像特征的信息量增加了，计算量更小。其计算方式如下:

式中，Z表示单通道输出结果；i表示通道数；X、Y表示2个通道的输入；K表示系数。其中K的取值范围为［0，1］，K值大小代表不同通道的输入特征在特征融合过程中所占的权重有所区别，K值越大代表该部分特征所占权重越大，一般在分割的边缘区域K值越大。

1.4 反卷积(上采样)

为了使最终输出结果与输入保持相同尺寸，本文使用FCN网络中提出的反卷积（即上采样），对最后卷积的输出进行放大，维度计算方法如下:

式中，nout表示反卷积输出的尺寸大小；nin表示反卷积的输入尺寸大小；s表示步长（stride）；k表示卷积核尺寸大小；p表示填充（padding）。

2 实验结果与分析

2.1 实验环境与数据集

本文提出的MFF-FCN网络模型是基于Pytorch的深度学习框架，实验所用硬件配置为Intel Core i7-9700KF＠3.60 GHz八核CPU，以及NVIDIA GeForce RTX 2070 SUPER GPU；系统环境为Windows 10专业版64位操作系统。实验数据来自国际医学图像计算和计算机辅助干预协会（MICCAI）BraTS2018挑战赛的训练集，而BraTs2019训练集则在BraTS2018训练集的基础上增加了50例。因此，本文将BraTs2019训练集增加的50例作为网络模型的测试集，避免了拆分BraTS2018训练集造成的数据过少。试验中训练集共有285例脑肿瘤患者的MR影像，其中210例为HGG（高级别神经胶质瘤）患者MR影像，75例为LGG（低级别神经胶质瘤）患者MR影像；测试集共有50例脑肿瘤患者MR图像，其中49例为HGG患者，1例为LGG患者。每一例脑肿瘤患者都有FLAIR、T1、T2和T1C 4种模态的MR图像，并且都已配准，并且每一例脑肿瘤患者的MR图像都包含已经分割好的真实标签。数据集中数据类型为XX.nii.gz，分别对应flair、t1、t2、t1ce、seg，其中seg是分割图像。

2.2 评价标准

按照常规脑肿瘤MR图像分割标准，需将图像分 割 为 全 肿 瘤（whole tumor，WT）、增 强 肿 瘤（enhance tumor，ET）、肿瘤核心（tumor core，TC）。对于每种肿瘤区域，将采用相似系数（Dice Similarity Coefficient，DSC）、灵敏度（Sensitivity）以及阳性预测值（Positive Predictive Value，PPV）3种指标来评价脑肿瘤MR图像分割结果。其中，相似系数用来描述模型分割结果与标签分割结果之间的重叠（相似）程度，即:

灵敏度描述的是模型分割后，正确肿瘤点占真值肿瘤点的比例，即:

阳性预测值描述的是模型分割后，正确肿瘤点占分割结果为肿瘤点的比例，即:

式（5）中，P表示模型分割结果，T表示脑肿瘤分割的真实标签。

2.3 预处理

考虑到脑肿瘤MR图像的特殊性，卷积神经网络仅通过单一模态图像提取的特征，不足以精确分割脑肿瘤不同病变组织，并且BraTs数据集中MR图像4个序列分别代表不同的模态，对比度存在差异。因此，本文利用Z-Score来对每个模态的图像进行归一化处理，即对不同模态的图像标准化为零均值和单位标准差，对每个MR图像进行裁剪，并抛除没有病灶的切片，以减少背景对单幅图像最终分割结果的影响，降低数据背景区域造成的无效计算，最终将4个不同模态合并成4个通道，可以使MFFFCN网络模型学习到不同模态的特征。

2.4 模型训练与调参

2.4.1 模型训练

在模型训练中，使用VGG-19对模型进行初始化。考虑到Sigmoid等激活函数容易造成梯度消失，MFF-FCN网络模型选择ReLU作为激活函数，并采用常规的损失函数SoftMax计算损失；同时，在网络模型中加入模型训练时，学习率的选取对网络模型的性能有着至关重要的作用。MFF-FCN模型综合考虑训练时长和收敛情况等因素，选取并比较了不同学习率下模型收敛情况。当学习率为0.000 03时，模型训练时的损失变化情况如图2所示。此时，模型的训练时长以及损失程度达到最佳。

图2 MFF-FCN最优模型训练损失程度Fig.2 Degree of training loss in the optimal MFF-FCN mode

2.4.2 调参

Adam优化在权值和偏值更新中，传统的梯度下降算法需要遍历所有的训练样本，当训练样本很大时，需要耗费巨大的计算资源和时间；而随机梯度下降算法（SGD）则是计算单个训练样本的损失来近似平均损失，大大加快了模型参数的更新效率和训练速度。本文在比较几种优化算法的基础上，选用小批量随机梯度下降法和Adam［13］优化算法，来对网络模型进行优化。模型中batch＿size大小为18，基准学习率为3e-5，权重衰减系数0.000 1，最佳迭代次数为180次。

2.5 结果分析

为了验证本文所提算法的性能，MFF-FCN给出2种输出结果:原始FCN融合多尺度特征信息的输出结果FCN-8s，以及改进的FCN模型MFF-FCN模型的输出结果。同时，为了更充分对比模型的分割性能，将文献［2，9，15］等提出的方法在Dice、Sensitivity、PPV等指标上进行比较，具体结果见表2。从表2中可见:

表2 不同算法的分割性能评估Tab.2 Segmentation performance evaluation of different algorithms

（1）就相似系数（Dice）指标来看，MFF-FCN网络模型对全肿瘤（WT）的分割效果比改进的FCN-8s算法有一定的提升；尽管最终结果比其它算法效果低，但MFF-FCN网络模型对增强肿瘤（ET）和核心肿瘤（TC）的分割效果更优。图3为各算法Dice对比折线图。

图3 各算法Dice对比折线图Fig.3 DICE comparison line chart of each algorithm

（2）从灵敏度（Sensitivity）指标来看，MFF-FCN网络模型对全肿瘤（WT）以及增强肿瘤（ET）的分割效果相比其它算法好，但对核心肿瘤（TC）的分割效果却低于改进的FCN-8s算法。图4为各算法Sensitivity对比折线图。

图4 各算法Sensitivity对比折线图Fig.4 Broken line diagram of Sensitivity comparison among algorithms

（3）就阳性预测值（PPV）指标来看，MFF-FCN网络模型相比改进的FCN-8s算法对全肿瘤（WT）以及增强肿瘤（ET）的分割效果都有一定的提升，并且优于其它文献提出的算法；但对核心肿瘤（TC）的分割效果却不尽人意。图5为各算法PPV对比折线图。

图5 各算法PPV对比折线图Fig.5 PPV comparison line diagram of each algorithm

为对本文所提算法的分割性能有直观的感受，选取5例脑肿瘤患者的MR图像，将本文算法的分割结果与专家分割结果进行展示对比，结果如图6所示。从图6可以看出，MFF-FCN网络模型的分割结果和专家分割结果相比还是有一定的差距，虽然MFFFCN网络融合了多尺度的特征信息，在分割各组织边缘有了很大的改进，准确率等有一定的提升，但是在不同病变区域分割结果还是存在一定的混淆。

图6 5例脑肿瘤MR图像MFF-FCN网络模型及专家分割结果Fig.6 MFF-FCN network model and expert segmentation results of MR images of five cases of brain tumors

综上所述，经过不同分割算法性能指标结果的比较展示，验证了本文所提算法在不同病变区域都具有一定的效果，尤其是对不同组织边缘区域的分割，表现更优。

3 结束语

针对传统分割算法特征信息提取不全、准确率过低等情况，提出一种多尺度特征融合全卷积神经网络的脑肿瘤MR图像分割算法，在FCN的基础上，引入卷积核大小不同的卷积通路以及跳跃连接，融合多尺度的特征信息，已达到更佳的分割效果。实验结果表明，本文算法能够在节省资源和时间的基础上，提升算法的分割性能；相比其它算法，在不同病变组织区域以及边缘分割上有更出色的变现。但是该算法存在分割结果混淆、分割不够精确以及个别图像分割效果更差等情况，这些都将是接下来工作的重点，并进一步完善。