基于改进U-Net的细胞核分割方法

孔德凤 贾伟

摘要：细胞核的形状、纹理和空间分布等信息能够为各类疾病诊断提供重要的参考信息，对细胞核的准确分割是疾病诊断中的关键步骤。针对细胞核形状多样、边界模糊和重叠等问题，提出一种基于改进U-Net的细胞核分割方法。首先，利用并联空洞卷积模块和串联空洞卷积模块改进Inception-ResNet的性能，扩大U-Net卷积核的感受野；其次，提出一种采用全局最大池化和全局平均池化的残差注意力机制，同时获得局部特征和全局特征。实验结果表明，与现有细胞核分割方法相比，所提出的细胞核分割方法能够对细胞核进行准确分割。

关键词：Inception-ResNet;残差注意力; U-net; 细胞核分割

中图分类号：TP391      文献标识码：A

文章编号：1009-3044（2022）30-0004-03

开放科学（资源服务）标识码（OSID）：

1 概述

病理图像中的细胞核包含着大量的重要信息，准确获取细胞核的大小、形状、纹理和空间分布等信息能够为多种疾病提供重要的参考指标[1]。因此，对细胞核的准确分割对于各种疾病的准确诊断和预后判断具有重要意义[2]。大量的研究表明[3]，由于U-Net[4]的网络结构能够有效利用病理图像中的低分辨率信息和高分辨率信息，在训练样本较少的情况下获得较好的分割效果，使得基于U-Net的分割方法成为近年来细胞核分割的研究热点，例如，IBTEHAZ等[5]提出一种可用于细胞核分割的多残差块U-Net （Multi-Residual U-Net，MU-Net） 的分割方法，該方法在U-Net中使用残差块，用于融合多尺度病理图像特征，并增强编码器和解码器之间的联系。ZHOU等[6]提出利用U-Net++分割细胞核，通过增强病理图像的特征融合，提高分割准确性。Li等[7]提出双U-Net （Dual U-Net，DU-Net），并将该结构应用到细胞核分割中，用于提高重叠细胞核的分割效果。

由于病理切片制作技术的差异和细胞分布不均匀的影响，病理图像中经常出现细胞核边界模糊和细胞核重叠的情况。此外，病理图像中的细胞核存在圆形和梭形等多种形状，这些因素导致现有的U-Net及其改进方法无法获取理想的分割结果。为解决上述问题，本文提出一种基于改进U-Net的细胞核分割方法（Improved U-Net，IU-Net），该方法在U-Net中引入Inception-ResNet结构[8]和注意力机制[9]，并利用空洞卷积[10]增强Inception-ResNet特征融合程度，获取更多的细胞核特征信息。将残差块引入注意力机制的同时，使用最大池化和平均池化获取更多的深层特征和浅层特征信息，进一步提高细胞核分割的效果。

2 基于IU-Net的细胞核分割

2.1基于IU-Net的分割方法

用于细胞核分割的IRAU的结构如图1所示， 将改进的Inception-ResNet（Improved Inception-ResNet，IIRN）模块分别应用到U-Net的编码器、瓶颈层和解码器中，并将基于双池化的残差注意力 （Residual Attention based on Double Pooling，RABD）模块嵌入U-Net的跳连接中。此外，为了更有效地提取细胞核特征和减少计算量，在瓶颈层中，先使用1×1卷积核进行降维，再使用1×1卷积核进行升维，并把降维前和升维后的特征信息进行融合，把融合结果作为瓶颈层的输出。

2.2 IIRN模块

为扩大U-Net的卷积层感受野和获取更精细的细胞核图像特征，对Inception-ResNet进行改进，使用并联空洞卷积模块和串联空洞卷积模块分别代替Inception-ResNet-A模块的两个分支中的3×3卷积，在每次卷积计算之后使用激活函数Leaky ReLU防止梯度消失并获得更好的泛化能力，并利用批归一化（Batch Normalization，BN）进行归一化处理，提高训练速度和精度。如图2所示，并联空洞卷积包括4个3×3卷积核，这4个卷积核的空洞率分别设置为1、2、4和8，并联方式在提取到不同尺度的细胞核特征后，再进行特征融合，有利于获得与细胞核相关的更准确的全局特征信息和局部特征信息。串联空洞卷积包括4个3×3卷积核，这4个卷积核的空洞率分别设置为1、2、4和8，按照空洞率由小到大的顺序排列，前一层提取的特征信息作为后一层的输入，逐步提高感受野范围，通过串联空洞卷积具有多层不同尺度的感受野，可以获得更多与细胞核大小和形状相关的特征信息。

2.3 RABD模块

为提高注意力机制的性能，获得更准确地融合细胞核的浅层特征和深层特征信息，提出使用RABD将注意力机制与残差网络相结合，并在残差注意力机制中同时使用全局最大池化（Global Max Pooling，GMP）和全局平均池化（Global Average Pooling，GAP）对细胞核特征进行压缩，在使用全局最大池化获取重要的局部特征信息的同时，使用全局平均池化获取全局特征信息。

RABD的结构如图3所示，GMP和GAP分别对应1个分支，每个分支都将U-Net在下采样过程中获取的病理图像信息分别作为输入，在得到2个分支的池化结果后，首先都要经过1个全连接（Fully Connected，FC）层，在通过BN和激活函数Leaky ReLU之后，再经过1个FC层和激活函数Sigmoid，随后对2个分支的结果进行加运算，通过加运算能够在强调深层特征的同时，也强调浅层特征。最后将U-Net在下采样过程中获取的病理图像信息与加运算的结果进行乘运算，使注意力权重叠加到由编码器输出的病理图像信息上。

3 实验分析

3.1实验数据与评价指标

选用公共数据集Data Science Bowl 2018（https：//www.kaggle.com/c/data-science-bowl-2018/overview）对本文提出方法的有效性和准确性进行验证。为避免过度拟合，提高泛化能力，对图像进行预处理，通过剪裁将所有病理图像调整为256×256×3，并利用数据增强技术对数据集中的数据进行扩充。

实验中使用像素准确率（Pixel Accuracy，PA）、平均交并比（Mean Intersection over Union，MIoU） 、F1-Score和Dice相似系数（Dice similarity coefficient，DSC）对分割细胞核的效果进行评估。PA和MIoU的计算公式分别为：

[PA=e=0vpeee=0vj=0vpej]                           （1）

[MIoU=1v+1e=0vpeej=0vpej+j=0vpje-pee]                  （2）

其中，[pee]是真实像素类别为[e]的像素被预测为类别[e]的总数量，[pej]是真实像素类别为[e]的像素被预测为类别[j]的总数量，[v]是类别总数。

F1-Score的计算公式为：

[F1=2TP2TP+FP+FN]                         （3）

其中，[TP]是真陽性数量，[FP]是假阳性数量，[FN]是假阴性数量。

DSC的计算公式为：

[DSC=2A?BA+B]                           （4）

其中，[A]是使用分割方法得到的分割结果，[B]是真实分割结果，[A?B]是两种分割结果的交集部分。

3.2结果与分析

将IU-Net与现有的细胞核分割方法MU-Net[5]、U-Net++[6]和DU-Net[7]进行比较。图4是细胞核分割结果的比较，第一列是病理图像原图，第二列是细胞核分割的真实标签，从第三列到第七列分别是细胞核分割方法MU-Net、U-Net++、DU-Net和IU-Net的细胞核分割结果。从图4中可以看出，在细胞核较大且细胞核不重叠的情况下，MU-Net具有较好的分割效果，但是当细胞核较小且出现重叠情况时，MU-Net无法进行准确分割。U-Net++对细胞核边界模糊的细胞核分割效果较好，但是无法在较小细胞核重叠时进行准确分割。DU-Net对大部分重叠细胞核的分割效果较好，但是对梭形细胞核和部分较小重叠细胞核的分割效果不够好。IU-Net能够对各种形状和各种情况下的细胞核进行有效分割，其对细胞核分割的效果优于现有的细胞核分割方法。

为客观评价分割结果，各细胞核分割方法分别独立执行25次，在所有扩充后的数据中，每次随机选取80%的数据作为训练集，剩下20%的数据作为测试集，获得的四项评价指标PA、MIoU、F1-Score和DCS的平均值如表1所示。

从表1的比较结果可以看出，IU-Net在四项评价指标PA、MIoU、F1-Score和DCS中的值都高于现有细胞核分割方法，说明IRAU在细胞核分割的整体表现优于现有细胞核分割方法，能够准确分割细胞核。这是因为IU-Net中的IIRN 利用空洞卷积扩大了感受野，能够提取更多的细胞核的浅层和深层特征信息，通过RABD将浅层特征信息与深层信息有效地融合在一起，更好地描述细胞核特征。

4 结论

本文提出的细胞核分割方法IU-Net，其通过改进Inception-ResNet，扩大U-Net的卷积层感受野，在提出的RABD中，将注意力机制与残差网络相结合，并采用GMP和GAP对细胞核特征进行压缩，从而更有效地利用细胞核的浅层特征和深层特征，使得IU-Net能够提高分割细胞核的有效性和准确性。

参考文献：

[1] Nir G，Hor S，Karimi D，et al.Automatic grading of prostate cancer in digitized histopathology images：learning from multiple experts[J].Medical Image Analysis，2018，50：167-180.

[2] Veta M，Pluim J P W，van Diest P J，et al.Breast cancer histopathology image analysis：a review[J].IEEE Transactions on Biomedical Engineering，2014，61（5）：1400-1411.

[3] Liu L L，Cheng J H，Quan Q，et al.A survey on U-shaped networks in medical image segmentations[J].Neurocomputing，2020，409：244-258.

[4] Ronneberger O，Fischer P，Brox T.U-net：convolutional networks for biomedical image segmentation[M]//Lecture Notes in Computer Science.Cham：Springer International Publishing，2015：234-241.

[5] Ibtehaz N，Rahman M S.MultiResUNet：Rethinking the U-Net architecture for multimodal biomedical image segmentation[J].Neural Networks，2020，121：74-87.

[6] Zhou Z，Siddiquee M M R，Tajbakhsh N，et al.UNet++：redesigning skip connections to exploit multiscale features in image segmentation[J].IEEE Transactions on Medical Imaging，2020，39（6）：1856-1867.

[7] Li X L，Wang Y Y，Tang Q S，et al.Dual U-net for the segmentation of overlapping glioma nuclei[J].IEEE Access，2019（7）：84040-84052.

[8] Szegedy C，Ioffe S，Vanhoucke V，et al.Inception-v4，inception-ResNet and the impact of residual connections on learning[C]//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence.New York：ACM，2017：4278-4284.

[9] Chen L C，Yang Y，Wang J，et al.Attention to scale：scale-aware semantic image segmentation[C]∥Proceedings of the IEEE conference on computer vision and pattern recognition， Las Vegas， USA， 2016：3640-3649.

[10] Chen L C，Papandreou G，Kokkinos I，et al.DeepLab：semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

【通聯编辑：唐一东】