基于可变形卷积神经网络的肺结节假阳性识别

王梦南，赵涓涓+，肖 宁，郝 瑞

(1.太原理工大学 信息与计算机学院，山西 晋中 030600；2.山西财经大学 信息学院，山西 太原 030001)

0 引 言

目前肺结节检测系统通常包括两个阶段：候选结节检测和假阳性降低[1-3]。候选结节检测阶段的目标是采用高灵敏度，不考虑特异性的方法尽可能多提取候选结节。也就是说，超过99%的候选结节并非真结节[4,5]。因此大量粗选候选结节交由假阳性降低阶段处理。

图1中第一层为结节的二维切片图，第二层为结节的三维图。可以看出结节在大小、形状、强度、体积等形态学特征方面存在很大的差异。此外，胸部还有许多形态特征与结节相似的其它组织(如血管、气管、淋巴结等)。这些因素导致候选结节检测出现高假阳性。因此如何有降低假阳性是目前计算机辅助诊断系统(computer-aided detection，CAD)研究的重点和难点[5-7]。在早期的CAD工作中，主要是利用结节的病理知识提取形态学特征，并应用相对简单的线性分类器完成检测工作。但是手工制作的特征不能检测到复杂类型的结节(如部分实性结节或磨玻璃结节)，导致检测结果中假阳性较高。最近，深度神经网络(deep neural networks，DNNs)开始用于医学图像分析[8-10]。在各种深度模型中，卷积神经网络(convolutional neural networks，CNNs)在CT图像中用于肺结节的检测和分类最为成功[5，11]。

图1 不同肺结节的二维形态和三维结构

如Roth等[12]从3个正交视图中的感兴趣点获取淋巴结切片图像，用于训练2.5D CNN模型。Setio等[4]使用2D CNN网络进行肺结节检测。但是，基于2D CNN的深度模型不能充分利用CT图像的三维空间信息，导致假阳性难以降低。Ding等[13]提出了以单尺度三维图像作为输入的3D CNN，使检测性能有所提升，但是由于肺结节自身尺度不一样，单个尺度输入的3D CNN很难获取肺结节全面的邻近背景信息，导致检测性能的提升较为不易。基于此，Shen等[14]提出了多尺度CNN，Dou等[5]、高慧明等[15]设计了一个多尺度3D CNN应对肺结节间差异大的挑战，有效降低了假阳性。但是最终的分类结果是通过加权3个网络的预测概率得出，每个网络的权重是人工设置的，而不是在训练过程中学习的。这种方式既麻烦又很难达到假阳性降低最优效果。

此外，上述方法都采用了传统的卷积神经网络，采样点不能随着候选结节的形状变化，难以高效全面地提取候选结节的特征。受上述研究启发，本文提出了一种多尺度渐进集成可变形卷积神经网络来降低肺结节检测中的假阳性。

1 方 法

本文提出的渐进集成可变形卷积神经网络用于肺结节假阳性降低的新方法主要包括3个部分：输入设置、渐进特征提取和多流特征集成。

1.1 输入设置

本文根据Dou等[5]提出的方法，根据医师标注的结节中心坐标切割了20×20×6体素、30×30×10体素、40×40×26体素，3个不同尺度的结节块，分别覆盖了数据集中58%、85%、99%的结节。其中，小尺度的结节块能为中小结节提供精确的形态信息；中尺度的结节块能为大结节保留边缘信息，弥补在小尺度结节块中丢失的边缘信息；大尺度的结节块能为结节提供丰富的邻近信息，但是会给部分小结节带来附近组织或者器官的噪声。

然后将3个结节立方块通过最近邻插值调整为30×30×10体素，分别表示为V1、V2和V3，作为渐进特征提取模块的输入(图2)。V1、V2和V3的结节立方块具有相同的中心坐标，但是每个结节立方块中的像素分辨率不同。

图2 渐进特征提取

1.2 渐进特征提取

人类视觉神经系统是通过改变视野大小从所在场景中获取有价值的上下文信息。因此，为了融合不同尺度结节的形态或结构特征，本文通过可变形卷积神经网络根据候选结节形状来提取特征，然后根据输入顺序渐进分层地融合不同尺度结节的信息，框架结构如图2所示。

1.2.1 卷积方式的改进

可变形卷积神经网络[16,17]通过添加一个分支网络来获取偏移量，并通过训练来学习的偏移量。采样点不再是原来的方形，而是随着目标的形状而变化。如图3所示，如果目标的形状是细长的，通过在输入特征图上的采样点上增加偏移量，使得原始的方形采样位置与该形状类似，特征提取过程更加符合目标本身的特征，避免了无用信息的提取。

图3 可变形卷积结构

在可变形卷积层中，前一层的输出特征图与一个3×3的卷积核进行可变形卷积运算，然后通过RELU激活函数，得到输出特征图。卷积过程使用零填充来保持输出特征图的大小与输入结节立方块的大小相等，从而可以有效地将特征图与下一个不同尺度的输入结节立方块拼接。

1.2.2 渐进分层融合特征

渐进特征提取能够通过改变输入顺序来缩放特征图纹理。本文是将3个不同尺度的结节立方块按尺度大小顺序渐进地融合特征。有两种渐进输入方式，分别为V1-V2-V3(放大特征流输入)和V3-V2-V1(缩小特征流输入)。当渐进输入方式为放大特征流输入时，首先对V1尺度下的结节立方块添加两个卷积核为3×3的可变形卷积层，生成64通道的特征图F1，将F1与下一个V2尺度下的结节立方块进行拼接，即F1+V2。然后，将F1+V2张量添加两个卷积核为3×3的可变形卷积层，生成128通道的特征图F12，F12融合了V1和V2的综合上下文信息。然后将F12与下一个V3尺度下的结节立方块拼接，将F12+V3张量添加两个卷积核为3×3的可变形卷积层，一个3×3的最大池化层，生成192通道的特征图F123，F123融合了V1、V2和V3各个尺度的综合上下文信息。对于缩小特征流输入的渐进输入方式，执行相同的操作。

在渐进特征提取网络中，随着输入的切片数量越来越多，融合的结节特征越来越丰富。其中，放大特征流输入的网络的视野逐渐缩小，意味着网络逐渐聚焦于一个结节区域。同理，缩小特征流输入的渐进特征提取网络中采用一种类似但相反的融合方式使网络视野逐渐扩大，网络通过逐渐聚焦邻近区域，结合结节邻近的上下文信息，可以融合更多的结节深层特征。两种不同的渐进输入方式会融合两种相反的深层抽象特征。

1.3 多流特征集成

由于放大特征流和缩小特征流以不同的输入顺序聚焦于围绕候选结节不同尺度的形态和上下文信息，因此从不同流中学习到的特征可以相互补充来减少假阳性。

本文设计了一个如图4所示的网络来融合来自两个流的特征信息，称之为多流特征集成网络。该模块由输入层、卷积层、池化层、全连接层、输出层组成。在每个隐藏层之后插入批量归一化层，来确保更高的学习速度和降低过拟合，并添加dropout层，进一步降低过拟合，最后在全连接层使用sigmoid激活函数，生成0到1之间的结节预测概率值。

图4 多流特征集成

(1)

综上所述，本文提出的网络由渐进特征提取模块以及多流特征集成模块组成。在不同流输入的渐进特征提取模块中，连续的两尺度结节立方块输入之间插入两个可变形卷积层，在相同大小卷积核的情况下，特征图的数量增加了18倍。为了简化从卷积层输出的信息，在特征图F123后添加一个池化核为3×3，步长为2的最大池化层。池化处理以后添加两个卷积核为3×3的卷积层得到一个256通道的特征图。对不同流输入的渐进特征提取图进行元素级相加得到多流特征集成图F，在F添加一个最大池化层，两个卷积层以及两个全连接层。最终输出一个0到1之间的结节预测概率值，当预测值介于0.5和1之间时，该候选结节被检测为真结节；介于0和0.5之间时，该候选结节被检测为非结节。

2 实验与分析

2.1 实验数据集

本文在LUNA16[10]数据集和合作医院数据集上进行了实验评估。LUNA16数据集包含888张CT扫描图像。经放射学专家标注筛选后获得1186个结节。

合作医院提供了267位病人的DICOM格式的肺部CT图像，经放射学专家标注后共计356张CT扫描图像，包括266个结节。由于CT扫描是在医院各部门之间以复杂的程序进行流转，并且只有一位放射学专家仅标注了肺结节的中心坐标，没有标注结节直径等其它特征，因此仅用来验证模型的泛化能力和扩展数据集(已与医院签署数据隐私处理相关协议)。

LUNA16数据集和合作医院数据集采用文献[1,2,12]的肺结节检测方法来提取候选结节。如表1所示，LUNA16数据集获得了548 652个候选结节，其中有1291个和547 631个候选结节分别被标记为结节和非结节。对比放射学医师的标注，1291个结节中有1120个结节是真结节；合作医院数据集获得了123 593个候选结节，其中有303个和123 290个候选结节分别被标记为结节和非结节。对比放射学医师的标注，303个结节中有255个结节是真结节。

表1 候选结节统计数据

2.2 实验细节

本文模型的实验环境基于Windows10操作系统，硬件环境CPU为2.90 GHz Intel(R) Xeon(R)W-2102(8 G内存)，GPU为NVIDIA GTX Titan XP(12 G显存)，编程开发环境为CUDA Toolkit 10.0，编程语言为Python 3.6，深度学习框架为keras。

2.3 结果与分析

2.3.1 对比实验结果分析

实验过程中使用竞争性能指标(competition perfor-mance metric，CPM)和受试者操作特征自由响应曲线(free-response receiver operating characteristic，FROC)来评估所提出框架的性能。CPM定义为每次扫描7个预先确定的假阳性率(0.125、0.25、0.5、1、2、4和8 FP/scan)下灵敏度的平均值。灵敏度为检测到的候选结节中真结节的个数在标准结节个数中的比例，定义为

(2)

式中：TP为本身是结节最后也被预测为结节的个数；FN为本身是结节但被预测为非结节的个数。FROC的横坐标为灵敏度，纵坐标为每个扫描中平均假阳性的个数。此外，在消融实验中统计了正确分类的结节和假阳性结节的数量，从而清晰展现假阳性降低的效果。

Setio等[4]使用输入为9个不同方向的一组2D平面来训练多个2D CNN网络进行肺结节检测。Ding等[13]使用输入为三维结节块的3D CNN网络用于肺结节检测。Dou等[5]使用输入为多个尺度的三维结节块来训练多个3DNN网络来降低肺结节检测中的假阳性。如表2、图5所示，在LUNA16测试集上，本文框架的CPM评分为0.940，明显高于文献[4,5,13,19]中提出的方法。与同样使用多尺度结节块输入的Dou等[5]提出的方法相比，CPM评分提高了0.032。此外，本文的方法在假阳性率为0.125、0.25和0.5的情况下灵敏度最高。由于文献[5,13]中使用三维卷积神经网络，能对结节信息进行较全面的编码，所以在假阳性率为2、4、8的情况下灵敏度略低。但是三维卷积神经网络的输入需要保证切片厚度相同，会造成预处理更加复杂，增加了时间成本和训练成本。如表3、图6所示，在合作医院测试集上，本文框架在所有假阳性率条件下，灵敏度最高。与其它4种提出的方法相比，CPM评分分别提高了0.078、0.081、0.07和0.062，表明本文的方法能渐进集成的提取更多的特征信息来区分真正的结节，减少误检。

图5 不同方法在LUNA16数据集上的FROC曲线对比

图6 不同方法在合作医院数据集上的FROC曲线对比

表2 不同方法在LUNA16数据集上的实验结果对比及CPM评分

表3 不同方法在合作医院数据集上的实验结果对比及CPM评分

2.3.2 消融实验结果分析

为了检验该框架中每个组件的效果，本文进行了消融实验，共设计了5组多尺度卷积神经网络(multi-scale convolutional neural network，MCNN)对比实验，结果见表4。第一组是如图7所示的将多尺度的三维结节块在输入级拼接的基本集成多尺度卷积神经网络(MCNNs1)，最终输出一个0到1之间的结节预测概率值pi；第二组是如图8所示的将多尺度三维结节块使用可变形卷积神经网络进行特征提取后，对3个特征图进行元素级相加集成作为输入的多尺度卷积神经网络(MCNNs2)，最终输出一个0到1之间的结节预测概率值pi；第三组是如图4上层网络所示的将多尺度的三维结节块按照V1-V2-V3的顺序渐进融合各尺度特征信息作为输入的渐进多尺度可变形卷积神经网络(MCNNs3)；第四组是如图4下层网络所示的将多尺度的三维结节块按照V3-V2-V1的顺序渐进融合各尺度特征信息作为输入的渐进多尺度可变形卷积神经网络(MCNNs4)；第五组是本文提出的渐进集成可变形卷积神经网络。

为了设计一个泛化能力比较强的网络，所以本文在合作医院数据集上做消融实验。从表4、图9中可以看出，渐进特征提取实验MCNNs3和MCNNs4的CPM评分和检测出的真结节数量均高于MCNNs1和MCNNs2；多流特征集成实验MCNNs1和MCNNs2的假阳性结节数量高于MCNNs3和MCNNs4；说明了渐进特征提取能更好地降低假阳性。

其次，在多流特征在集成的效果上，本文提出的方法具有最高的CPM评分、最高的结节检出数量和最低的假阳性结节数量，说明了多流特征集成能有效地降低假阳性。此外，这5种方法的CPM评分均高于已提出的方法[4,5,13,19]。综合表中5组实验结果可以看出通过结合这些组件，所提出框架性能得到了提高。

图7 基本集成多尺度卷积神经网络

图8 元素级相加集成多尺度卷积神经网络

图9 消融实验在合作医院数据集上的FROC曲线对比

2.3.3 检测结果

本文框架可以准确地识别多种大小、形状和位置的结节。图10为成功检测出的结节，结节下方是预测值。图中第一行结节半径大、边缘清晰、形状各异，能以高于0.90的预测值被成功检出。第二行结节为实性结节，形态不规则或边缘不清。然而，本文框架能够以高于0.70的预测值检测这些具有挑战性的样本。第三行结节是检测可信度不高但预测成功的结节，它们的密度与周围肺实质密度非常接近，体积小，有些还具有复杂的周围冗余信息，可能是预处理过程中对CT图片进行了归一化导致检测效果不好。

表4 消融实验结果对比

图10 肺结节检测结果

这些样本在数据集中的数量较少，代表性不足，因此对其分类效果有限，预测值在0.50到0.60之间。

3 结束语

本文提出了一种多尺度渐进集成可变形卷积神经网络用于肺结节检测中降低假阳性的方法，主要采用了4种策略：①使用三维多尺度候选结节块作为输入；②按照输入顺序渐进融合不同尺度的候选结节特征信息；③通过端到端的学习方式集成多流特征，有效降低了假阳性；④通过在合作医院数据集上对模型进行验证和优化，提高了模型的泛化能力。实验结果表明，本文方法能有效降低结节检测的假阳性，并适用于真实的临床数据。在现有候选结节假阳性降低模型中取得了最优的效果。但是对于极少量与周围肺实质密度接近，体积小，背景复杂的候选真结节，本文方法的预测结果虽然正确，但是预测概率值接近于0.5，可信度不高，这是因为此类结节的数量极少，导致框架性能存在偏差。

从系统的角度来看，本研究并不是开发一个完整的肺结节检测系统，而主要是针对假阳性降低部分的改进。由于所提出的方法独立于候选结节检测，本文的方法可以与更好的候选结节检测方法结合来提高结节检测结果。