基于难样本挖掘和深度学习的乳腺癌检测方法

张永梅，陈 彤，马健喆，胡 蕾

(1.北方工业大学 信息学院，北京 100144；2.香港理工大学 电子与信息工程系，中国 香港 999077； 3.江西师范大学 计算机信息工程学院，江西 南昌 330022)

0 引 言

早期的乳腺癌检测方法[1]主要结合医学专业知识分析病灶特征，手工设计特征标准检测图像，其中大多基于传统特征提取方法。如Tomislav M. STOJIC提出了一种基于多重分形图像的增强方法，结合组织病变区域边缘局部对比度进一步提高了乳腺肿块的区分度[2]。Suhail Z等提出一种特定鳞片化斑点的检测方法，对乳腺X光影像中小尺寸的钙化亮点检测效果较好[3]。Wang等结合多尺度区域增长和小波分解进行感兴趣区域定位，使乳腺癌病理图像的检测精度达到96.19%[4]。Spanhol等通过将组织学图像编码为Grassmann流形上的局部聚集描述符向量表示形式来解决浸润性乳腺癌的自动分级问题，检测准确率达到85%[5]。然而，传统特征提取算法通常基于小规模数据集开展，算法检测结果评判标准不一，实验结果难以客观比较。此外，设计特征提取标准耗时费力，要掌握一定医学领域知识，且泛化提取算法难度较大，实际应用受限。

近年来，深度学习中卷积神经网络(convolutional neural networks，CNN)在目标检测、图像分割等领域已得到了广泛应用，为乳腺图像检测奠定了基础[6]。其中，一阶段检测算法如YOLO[7]、SSD[8]等实时检测框架，二阶段检测算法如Fast R-CNN[9]、提出区域建议网络的Faster R-CNN[10]、通过全卷积网络对目标进行分割的Mask R-CNN[11]等，这类算法在自然图像中检测效果很好，乳腺癌检测也可充分利用算法提高检测精度。

基于深度学习的目标检测方法能够学习到人为设计特征以外的高层抽象特征来提升检测结果的准确性。Spanhol等提出了一种乳腺癌特征评估方法，在乳腺癌切片图像检测上达到了较高的检测精度[12]。LIU Xiaoming等有效结合Gabor的毛刺特征、灰度共生矩阵特征及熵特征，利用迁移学习方法解决了结构紊乱检测困难的问题[13]。Al-Masni MA等结合YOLO检测框架优化算法成功检测出肌肉下的病变组织[14]。Samala RK等提出了一种分层路径演化方法来压缩深度卷积神经网络，提升了乳腺图像检测精度[15]。但基于深度学习的目标检测方法在着重提取纹理特征信息或语义特征信息时，易出现误检漏检。针对以上问题，本文提出了一种基于改进Mask R-CNN的乳腺癌检测方法，并结合难样本挖掘以及网络模型融合提取特征的多尺度信息，有效提高了乳腺癌检测精度。

1 Mask R-CNN框架

Mask R-CNN由何恺明等在Faster R-CNN基础上变化而来，通过改进并引入一层全卷积分割分支，得到一种目标检测及图像分割相结合的模型，可以高效地检测图像中的目标，同时为每个目标生成高质量的分割结果。

网络模型主体是以Faster R-CNN为基础添加一个以全卷积网络预测语义分割的部分，首先使用残差网络(ResNet)作为特征提取骨架网络，结合特征金字塔网络(feature pyramid network，FPN)更好地利用提取图像中多尺度信息的高层语义特征和低层纹理特征。同时在原始兴趣感知域池化层(region of interesting Pooling，ROI Pooling)的基础上，使用双线性插值法解决候选框提取过程中，采样点张量只能取整的问题。感兴趣区域可以与原图像中的对应特征区域完整对齐，保留了感兴趣区域边界张量的小数部分，解决了在ROI Pooling筛选候选框与原始目标不匹配的问题，提高了候选框检测结果的精度。

Mask R-CNN处理图像的流程为：以残差网络作为特征提取网络，将预处理图像输入，提取并生成多尺度特征图。FPN对特征图进行不同尺度采样，其中自顶向下采样路径是从最高层开始进行最近邻上采样替代功能，该做法一方面操作较为简便，另外一方面可以减少训练参数；横向连接则是将上采样获取到的特征图和自底向上生成的相同大小的特征图进行融合，再对已融合的特征进行一次3×3的卷积，以消除图像混叠效应；将结果输入区域建议网络(region proposal network，RPN)，采用3种不同尺度的横纵比，在每个像素点上生成不同尺寸的候选框(anchor)，根据图像交并比，对比预测框和真实框重复率，得出对应比值。随后将其与特征图输入兴趣区域对齐层(region of interesting Align，ROI Align)，在这一层Mask R-CNN用ROI Align替换了Faster R-CNN中的ROI Pooling层，即不使用特征映射上四舍五入的方式，对ROI Align过程中目标位置信息标定更加明确。最后分别计算检测、定位和分割3部分的损失函数，同时生成目标检测所映射的高质量目标分割结果。Mask R-CNN检测流程如图1所示。

图1 Mask R-CNN检测流程

2 基于改进FPN结构的Mask R-CNN框架

Mask R-CNN是现阶段功能强大的目标检测与分割网络之一，其在自然图像的检测分割任务中表现十分出色，但将Mask R-CNN直接用于乳腺癌图像检测仍存在以下几个问题。

(1)难以准确定位面积较大的目标信息，易产生位置偏差，且对于中、小范围的病灶区域易产生误检漏检；

(2)在预测过程中由于病灶区域过小或不易检测，以及正负样本不均衡等问题，区域建议网络产生较多的负样本特征图集合，对网络整体学习率有一定影响，易降低网络模型整体检测精度；

(3)由于病灶图像和部分隐患区域的纹理特征及颜色特征易出现相似现象，网络检测模型可能会将未患病的区域误检为癌症隐患区域。

为解决以上问题，本文在Mask R-CNN模型基础上，改进其FPN网络结构、融合难样本挖掘算法优化训练过程，对训练过程中产生的难负样本及不易训练的多尺度特征信息进行分析，提高不同目标图像的检测精度、解决正负样本不均衡等问题，提升易误检区域的检测准确率。

2.1 改进FPN结构

FPN结构在融合特征图上有较好的效果。但其中特征融合过程中，侧边连接路径是自顶向下构成，因此导致特征映射结果输入到RPN层中只利用了上一层尺寸信息，利用信息过于单一，未能充分利用其它层次信息，进而影响后续的检测回归任务。该结构主要存在如下两个弊端。

(1)低层特征的位置信息和高层的语义信息结合不紧密，易出现检测位置与目标信息不匹配问题；

(2)在FPN输入到RPN的特征映射图中，只包含本层和前一层特征融合信息，缺少对于其余层上特征信息的利用，没能将其充分融合，从而导致最终检测结果不理想。

为解决上述问题，充分利用特征金字塔结构对于低层位置信息特征和高层语义信息特征的融合。本文基于Mask R-CNN的前端特征金字塔结构改进，增加多尺度特征融合路径。

首先采用自底向上的反向侧边连接路径改进FPN，对所有层次的特征映射图进行1×1卷积增强特征的非线性特性，将连接后的特征图分别输入ROI Align和RPN中，对ROI Align的输出结果进行检测和回归，充分融合目标的空间位置和语义信息，使检测模型可以更好地对输入图像进行分类定位。

如图2所示，改进后的FPN增加反向侧边下采样连接的路径。其中P2、P3、P4、P5和N2、N3、N4、N5为FPN的改进特征映射层。在新路径产生的特征图Ni基础上，使原始FPN结构产生的特征图Pi+1与之进一步融合，生成新路径上的特征图Ni+1。

图2 反向侧边下采样融合连接

具体操作如图3所示。Ni经过步长为2的3×3卷积层得到与Pi+1相同尺寸的特征映射图，利用侧边连接将特征映射图Pi+1中的每一层和下采样特征层相加，相加后再由步长为1的3×3卷积层处理新的特征融合图，生成新的特征映射Ni+1，再对Ni+1进行1×1的卷积得到Nii+1，使融合后的特征图进一步增强其非线性特性，以此提高网络模型的训练效果。

图3 特征融合具体流程

2.2 网络结构设计

为适应特征提取网络，首先对初始输入图像预处理，尺寸调整为1024×1024，在第一层输入网络后进行一次卷积核大小为3×3卷积操作，输出图像尺寸为128×128，通道数为32；从第二层开始经由带有残差块的卷积核，输出特征图尺寸为128×128，通道数量为128，之后同样进行残差网络的特征提取，输出特征图尺寸为64×64，通道数量为256；最终将图像特征图转换为16×16×1024尺寸，具体参数见表1。Mask R-CNN在前5层卷积层的输出分别对应于每个阶段的最后一个残差网络特征图输出。随后在产生特征图基础上，构建自顶向下的路径，其中较高层特征进行2倍上采样，左侧对应的前一层进行一次1×1的卷积，生成和后一层相同的通道数，之后对两层特征映射进行像素级融合。由于融合后特征图上采样部分和横向连接特征图叠加造成了特征不连续，生成特征混乱而产生混叠效应，对融合特征进行一次3×3卷积，即特征再提取，进而保证特征稳定性，因此，自顶向下的路径中生成特征图P2-P5，特征图尺寸由16×16变为64×64，特征通道数不变。

表1 网络模型参数

本文在原始特征金字塔基础上提出一种在模型内部利用特征图进一步融合多尺度特征的改进方法，即在自顶向下生成的P2-P5特征基础上，结合当前特征图进行3×3下采样卷积操作，与前一层特征图采用相同横向连接特征融合方法生成高层特征。模型在下采样过程中，生成了N2-N5的特征图，尺寸为64×64到16×16，通道数仍为256，其作为下一个卷积层组的输入，为增强其特征图非线性特性，在此基础上，对每一层特征采用1×1卷积生成新特征图Ni2-Ni5

。

相比原Mask R-CNN检测模型，本文改进方法基于原有模型中的网络层，生成新的特征映射图，主要特征还是融合高层语义特征和低层位置信息特征。因此，本文主要进行两部分改进，首先是对第一次自顶向下特征融合产生的特征图采用自底向上的下采样方法进一步对特征进行融合，然后，在新生成的特征基础上增强非线性特性，将进一步优化的特征输入RPN及ROI Align等后续网络。该结构充分融合了上下层特征，使网络模型对图像特征充分学习。

2.3 难样本挖掘方法

在Mask R-CNN训练之前，特征提取网络会产生大量候选框，每个样本都进行了一次测试，选择结果中图像特征近似，但带有较大检测误差的不同样本添加到训练中，重新对难样本训练，增加了训练强度。

难样本的评判需要考虑两个因素：物体分类误差和边框位置误差。如果两个样本间具有较大分类误差，则训练结果中的位置检测概率会更高，但目标语义分割精度可能也会降低，出现误检。因此，在判别目标样本时，首先选择特征近似率高的正负样本进行判别，减少误检率。近似率采取样本之间目标的位置相交率和类别相交率，对于位置相交率高的样本，更多倾向于类别信息的预测，对于类别相交率高的样本，更倾向于位置信息的预测。判别函数见式(1)～式(4)

L(o,p)=LIoU(o)+Lscore(p)

(1)

(2)

Lscore=1-p

(3)

(4)

在式(1)中，LIoU为位置误差，Lscore为类别误差，在式(3)中，p为类别置信度，Lscore取总置信度与类别置信度差值。在式(4)中，o为样本与检测物体真实目标区域的交并比(IoU)，通常作为判断候选框与真实目标区域的近似度标准，阈值一般设为0.5，在此基础上引入k作为敏感系数对IoU阈值偏差进一步优化，通过调整对于正负样本的敏感程度，可以使误差的判定更为明显。同时，根据取值范围大小设定目标近似度，目标交并比o和类别置信度p的取值范围一般为0-1之间。根据判别函数计算相应判别值，L(o,p)作为最终近似度结果取类别误差及位置误差代数和，该值基于预设的阈值区间判定当前输入样本是否为难样本，算法整体流程如图4所示。

图4 难样本挖掘流程

该方法引入主要是在ROI Align生成样本类别和位置等损失值后，根据当前损失值计算整体误差，并根据阈值判定，当判定当前样本为难样本，则将其返回至ROI Align中进一步参与训练，其主要解决在训练过程中损失值较大样本对训练结果产生的影响。结合难样本挖掘可以有效解决医学影像数据正负样本不均衡，数据量较少等问题。

3 实验结果及分析

实验硬件环境配置为采用GTX 2060显卡预测结果，结合GTX 2080ti显卡训练模型、软件环境配置为：CUDA10及CUDNN7.3基础深度神经网络库，同时基于Tensorflow1.x版本深度学习框架，并使用python3.5编程语言编写软件功能及界面模块，实验效果及软件界面如图5所示。

图5 实验效果

3.1 实验数据

乳腺癌检测数据选取自Digital Database for Screening Mammography(DDSM)数据库，DDSM数据库是美国医学机构建立的专门存放大量乳腺病理标注图像的数据库，包含有cancer、normal、benign等类型数据。目前乳腺癌检测的大量研究都采用该数据库。该数据库包含大约2500项研究，每项研究包括每个乳腺的两幅图像，包含病灶区域的图像提供了关于病灶区域的位置和类型的像素级标注信息，还提供了用于访问乳腺X光影像和原图像以及计算自动图像分析算法性能数据的软件。

DDSM数据集单个病例文件包含左侧头尾位、左侧斜侧位、右侧头尾位、右侧斜侧位4个方位的乳腺X光影像。每个方位的图像若包含有病灶区域信息，则会对应含有医生手工标注的患病区域形状、轮廓和病情描述等信息的标注文件。其中，病灶区域标注大多为癌变肿块，除此之外，可以进行癌症预测的信息还包含有钙化点、增生结节等类型区域。

本文实验中，针对乳腺肿块形状结合病症不同严重程度对数据进行分类，同时加入小部分正常范围的影像数据，以及含有钙化点的数据作为辅助类别，用以和肿块区域区分开。乳腺肿块按形状可分为圆形、针叶形和不规则结构形等，按边界轮廓可分为毛刺状、结构扭曲状和边界模糊状等，按肿块密度分可分为紧密型和稀疏型。

通过DDSM数据库提供的标注分割实例，对原图像中病灶区域进行部分标注，共包含1100个含标记正样本和400个含伪标记负样本。数据中包含有真实患病区域的图像为正样本，未患病区域图像为负样本，经图像几何变化与数据增强之后训练集与测试集分别分配80%和20%。如图6所示为部分样本，图6(a)为明显含有病灶样本，图6(b)为含有病灶的不明显样本，图6(c)为无病灶的伪正样本。

图6 部分乳腺样本图像

3.2 实验参数设置

结合实验数据训练改进Mask R-CNN网络模型，在参数选择上，卷积层采用随机梯度下降法优化模型，并分别选取常用激活函数relu、tanh、elu与sigmoid进行对比。训练阶段，权重衰减设为0.0003，初始迭代学习率设为0.0003，迭代次数10 000时暂停训练，下调学习率为0.000 01，进一步收敛损失值。批处理参数初步设为1，步长系数为8，动量因子设为0.9，最大迭代次数为20 000次，参数设置见表2。

表2 实验参数设置

根据选择不同激活函数训练的实验结果，sigmoid，tanh效果不佳；收敛速度上elu较relu稍快，在损失值很接近的情况下，elu融合了sigmoid和relu的特点，具有左侧软饱性，能够使elu对输入变化或噪声更具鲁棒性，右侧线性部分与relu基本相同使得elu能够缓解梯度消失，而elu的输出均值接近于零，相当于relu的左侧输出全零，收敛效果更好；因此本文使用elu作为激活函数。

选取Mask R-CNN特征提取网络时，分别使用ResNet-50和ResNet-101作为骨架网络测试特征提取网络中的检测及训练结果，初步检测结果上ResNet-101平均检测精度相对较高，模型复杂度最为合适，同时将改进模型与初始Mask R-CNN模型进行对比。

3.3 乳腺癌检测结果分析

实验结果检测选取了1500幅尺寸为350×640大小的png格式数据，对原始网络模型、改进特征金字塔与难样本挖掘算法的模型训练，模型测试阶段选取300幅包含病灶区域及无病灶区域的数据作为正负样本。实验结果评判标准采用平均准确率均值(mean Average Precision，mAP)来衡量测试样本的整体精确度。

mAP的计算涉及到很多计算参数，是深度学习中物体检测算法准确率的一个重要衡量指标。关于mAP中的参数，在物体检测中只有那些交并比处于阈值区间的才被认为是正样本，其余样本均为负样本。TP表示预测结果与实际标注框保持一致的部分。FP表示预测结果与实际不符合。FN表示有多少个实际标注框没有被检测到，TN表示检测到的实际标注。目标精确率、预测召回率和平均准确率均值的计算方法见式(5)～式(7)，其中n为计算样本总量

(5)

(6)

(7)

首先，针对网络模型是否可以区分患病及未患病图像，实验选取两组分别含有标记和未含有标记图像进行测试。图7和图8给出了正负样本在检测中的结果对比，图7中对含有病灶区域图像进行检测，图7(a)为图像目标区域检测为正样本图像及其分割结果，图7(b)为加载原始数据集标记后图像。在图8中对疑似患病但未含有病灶区域图像进行检测，图8(a)表示图像检测结果为负样本图像，图8(b)显示原图像在数据集中不存在病灶标记。实验结果表明，本文方法具有在区分检测样本是否含有明确癌症隐患上的功能。

图7 正样本检测结果对比

图8 负样本检测结果对比

然后，对不同骨架网络下的检测模型及本文方法进行对比，同样选取两组分别含有标记和未含有标记图像进行测试。图9为两个包含有病灶标记及无病灶标记的原图。图9(a)为含病灶图像，并加载原数据集病灶标记，图9(b)为不含病灶图像，表示作为模糊标记的负样本。图10给出了本文方法对比不同检测方法的对比结果，图10(a)为骨架网络为ResNet-50的结果，图10(b)为骨架网络是ResNet-101的结果，图10(c)为本文方法的检测结果。根据检测结果，3种模型在大部分数据中都可区分检测图像是否为患病图像，但本文方法对于含病灶区域图像检测精度更高，分割结果更贴近原始数据集中标记，可以更好地对患病区域检测并对纹理进行分割。

图9 正负样本输入图像对比

图10 不同方法检测结果对比

表3给出了结合不同骨架网络实验方法的对比结果，实验结果表明，本文改进方法与两个原始检测模型相比，含病灶图像和病灶模糊图像的平均检测准确率提升2.18%-3.4%，与ResNet-101相比在运行时间上相差2 s-3 s，速度有了一定提升。

表3 不同实验方法的对比结果

结合难样本挖掘方法后，相同检测模型下，检测精度有了一定提升，如表4所示，与未采用难样本挖掘和改进FPN结构相比，平均准确率均值提升约3%左右，说明引入难样本挖掘方法可以提升检测模型对正负样本的检测精度。

表4 是否采用难样本挖掘精度对比

4 结束语

本文针对乳腺癌医学影像数据正负样本不均衡及图像特征信息不充分的问题，将特征金字塔结构改进后的Mask R-CNN模型与难样本挖掘方法结合，使用DDSM数据集对模型训练。本文分别通过在FPN网络结构中进一步融合高低层特征，并在样本分类阶段对难样本进行判定，对该部分样本进一步训练。实验结果表明，本文方法对乳腺癌病理图像中的患病区域和疑似患病区域检测效果得到了较好提升，并对未含有病灶区域的模糊样本图像具有一定区分能力。在下一步的研究中，将会展开其它诸如MRI乳腺癌图像的检测和识别工作。