深度学习在医学图像分割中的应用

王如磊 李翔宇 王 强 朱广正 彭 磊

山东第一医科大学(山东省医学科学院)医学信息工程学院 山东 泰安 271016

1 引言

医学图像分割是计算机视觉的一个重要应用领域,其目的是从医学图像中将目标区域划分出来,为后续的疾病诊断提供服务。基于深度学习的医学图像分割方法能够具有自动提取特征能力,能够充分利用图像丰富的语义信息,克服了传统分割算法过多依赖医学领域专家先验认知的弊端。本文主要介绍FCN、U-Net、U-Net++、Seg Net等基于深度学习图像分割方法,以及在医学图像分割中的应用[1]。

2 深度学习的图像分割方法

2.1 FCN 针对卷积神经网络(Convolutional Neural Networks,CNN)在图像分割精细度上存在的局限性,2015年Long等人在其论文中提出了全卷积网络(Fully Convolutional Networks,FCN)的概念,用于图像的分割。其解决的核心问题就是要达到像素级别的图像分类。FCN整体结构包括两部分：全卷积部分和反卷积部分。其中全卷积部分用于提取特征,类似传统的CNN网络,与传统CNN的主要区别在于FCN将最后的全连接层替换为卷积层。由于不再受全连接层输入神经元个数的限制,FCN的输入就能够接受任意大小尺寸的图像。反卷积部分在最后一个卷积层之后进行上采样,即进行反卷积操作,使得输出图像与输入图像具有相同的分辨率。但是FCN仍存在一些缺点,其对图像的细节不够敏感,分类结果不够精细,另外没有考虑到像素与像素之间的关联关系,丢失了部分空间信息,缺乏空间一致性。

2.2 U-Net U-Net和FCN非常相似,即网络中没有全连接操作[2]。U-Net网络同样是编码器-解码器(encoder-decoder)结构,整个网络通过四次下采样和四次上采样形成一个“U”型结构。编码器部分对图像进行下采样,其主要作用是经过卷积层和池化层对图像进行空间维度降低,提取图像特征。解码器部分是对输出图像进行上采样,将编码阶段的抽象特征图像恢复到与输入图像相同的尺寸,同时将提取的高维特征映射到特征图的每个像素,从而实现像素级别的图像分割。而解码过程在下采样恢复图像时,特征尺寸会发生变化,丢失信息,因此采用跳跃连接(skip connention)将下采样结构中的底层信息与上采样结构中的高层信息融合起来,相互补偿,以此来提高分割精度。U-Net与FCN的区别在于,一是U-Net是左右完全对称的,而FCN的解码过程只用了一个反卷积操作；二是跳跃连接部分FCN用的是求和操作,U-Net用的是叠加操作。U-Net结合了下采样时的低分辨率信息和上采样时的高分辨率信息,以及通过跳跃连接补充底层信息提高了分割精度,同时U-Net模型规模较小、参数较少,因此比较适合用于医学图像处理。

2.3 U-Net++ U-Net++是在U-Net基础上进行的改进。原始U-Net的结构经过四次下采样和四次上采样,得到图像的分割结果。但是不同深度的U-Net的表现也不相同,并非越深越好。不同层次特征的重要性对于不同的数据集是不一样的。因此,U-Net++将原始U-Net结构中的跳跃连接用的长连接变更为一系列的短连接。让网络自己去学习不同深度特征的有效性。通过抓取不同层次的特征,以叠加的方式进行特征整合,从而提升了精度。这种结构共享了一个特征提取器,只训练一个编码器,而不同层次的特征由不同的解码器路径来还原。另外U-Net++还在训练过程的各个子网络中加入了深监督,在测试时进行剪枝。即在深监督的过程中,如果每个子网络的输出结果已经足够好了,就可以剪掉那些对输出完全没有影响的多余部分,从而让深度网络在可接受的精度范围内大幅度的减少参数量。

2.4 Seg Net Seg Net和FCN思路基本相同,也是编码器-解码器结构。Seg Net的设计目标是实现一种存储空间小、速度快、适合于实时应用的深度网络模型。编码器部分使用VGG16的前13层卷积网络,同样不含全连接层,主要作用是进行特征提取。在进行2×2最大池化时,存储相应的最大池化索引位置。解码器部分与FCN有所不同,其使用从编码器传递过来的较大池化索引位置,对输入进行非线性上采样,从而使上采样生成稀疏特征映射,之后通过卷积操作生成密集的特征图。上采样过程不需要再进行学习,避免了FCN中学习上采样带来的额外空间消耗。最后的解码器输出特征映射被送入soft-max分类器,独立的为每个像素进行分类。上采样使用池化层索引的好处是提升了图像边缘刻画度,减少了训练参数,从而使Seg Net更加高效。

3 在医学领域中的应用

医学图像分割是医学影像处理过程中的一个重要环节[3]。有效分割出医学图像中的组织、结构或异常区域,是对病人进行合理评估,以及给予适当治疗方案的基本条件。医学图像分割可以应用于多种医疗场合,包括脑组织分割、心脏结构分割、肺结构分割、肝结构分割、血管分割、以及肿瘤检测、病变组织定位、手术导航等方面。基于深度学习的医学图像分割方法大大提高了分割的准确率,在医学领域拥有巨大的发展潜力,必将会在医学界产生更为深远的影响。

4 结束语

医学图像分割技术已经是医学图像处理以及临床医疗辅助诊断方面不可或缺的一部分。深度学习技术在医学图像分割方面已经取得了巨大的进展。随着新理论和新技术的不断发展,深度学习技术将会在医学图像分割方面取得更大的突破,对医疗信息领域的发展做出更大的贡献。