基于MSR-UNet的煤岩显微组分分割与定量分析算法

季菁菁，奚峥皓*，李忠峰

1.上海工程技术大学，电子电气工程学院，上海 201620

2.营口理工学院，电气工程学院，辽宁 营口 115000

引 言

煤岩利用率主要由煤岩的质量决定，煤岩组分的分析是判断煤炭质量的重要手段。提高对煤岩组分的分割准确度，是进行煤岩质量判断的关键[1-3]。煤岩显微组分特征具有复杂多样性，在工业生产应用中主要利用分光光度计和偏光显微镜等共同组成的煤岩显微组分分析系统对煤岩组分进行分割。虽然该方法分割准确度相对较高，但整套系统结构复杂，易受人为因素干扰，自动化程度差。文献[4]对不同组分的阈值进行人为设定，严格意义上该方法也没有达到完全的自动化。

随着机器视觉的发展，诸多将机器视觉和图像处理应用于煤岩组分进行分割的方法被提出。文献[5]提出用改进的K-means算法分割煤岩组分。Mlynarczuk 等人[6]通过多层感知器实现惰质组的识别，然而该方法无法识别镜质组、壳质组等其他组分。为解决该问题，Wang等人[7]用聚类法结合随机森林对显微图像进行分割，平均准确率可达到90.44%。尽管上述基于机器学习的方法取得了显著的性能改进，但现有分类器仍依赖于专业人员手动设计特征[8]。

随着深度学习的发展，以卷积神经网络为代表的深度学习算法在图像分割领域取得了巨大的成就[9]。Long 等人[10]提出了一种全卷积神经网络，通过反卷积操作将特征映射恢复到输入图像的尺寸，从而实现任意大小图像的像素级分类。Ronneberger 等人[11]在此基础上，提出了基于编码和解码结构的UNet 网络，开创了UNet 网络在图像分割的先河，为后续深度学习图像分割的发展奠定基础。为了更好地挖掘UNet结构的潜力，Chen等人[12]提出了基于UNet网络的改进方法，通过设计扩张空间金字塔池模块来获取不同尺度下的特征信息。Kong等人[13]在UNet中引入了特征金字塔模块来提取和整合各种语义信息，有效提高了分割的准确性。但过度使用具有相同扩张率的空洞卷积可能会导致局部信息丢失，损害提取特征的空间连续性。

近年来，注意机制在图像分割中得到了广泛的应用[14-15]。通过在现有的分割网络中嵌入注意模块，可以有效地提高网络对图像的分割能力。Hu 等人[16]提出了一种挤压激励（Squeeze and Excitation, SE）注意模块，用于关联特征图之间的通道信息，并通过自动学习重新校准特征，以突出特征图不同通道重要性的差异。Woo等人[17]提出了一种轻量级的注意力模块（Convolutional Block Attention Module, CBAM），用于计算通道维度和空间维度特征之间的相关性。Rundo 等人[18]将SE 注意模块和UNet 模型相结合，以实现目标区域的精确分割。然而，由于UNet编码结构中的连续卷积等操作导致特征分辨率降低，使得原始特征的详细空间信息出现不连续甚至缺失的情况[19]。虽然现有改进的UNet 模型可以提取上下文丰富的空间信道信息，但这些模型无法在特征提取过程中筛选特征，因此无法突出对分割结果影响最大的特征。此外，煤岩显微组分形状和大小各异，随机分布性强，个别组分之间灰度特征相似，现有分割算法缺乏对煤岩组分特点的针对性。

为了解决上述问题，本文提出MSR-UNet（Multiscale contextual attention Squeeze and excitation Residual U-Net,MSR-UNet）模型。通过引入多尺度上下文（Multiscale Contextual Attention,MCA）模块、SE模块和损失函数改进UNet，使其适用于处理煤岩显微组分分割任务。首先，提出了MCA 模块，并将其加入编码器与解码器之间。该模块基于多尺度特征提取，通过空间注意力机制和通道注意力机制，在通道和空间维度上筛选提取的高层特征，减少UNet 在特征提取过程中空间上下文信息的丢失，进一步提高分割准确度。其次，在跳跃连接层中引入SE 模块，弥补网络跳跃连接层在融合高层次和低层次特征时丢失的细节信息。最后，通过引入将骰子损失函数和焦点损失函数结合的损失函数，解决网络对相似特征组分和小目标煤岩组分敏感度低的问题。

1 MSR-UNet煤岩显微组分分割网络

为了实现煤岩显微组分的分割，本文提出一种结合多个注意力模块与UNet 网络融合的MSR-UNet 分割网络模型。网络结构图如图1所示。

图1 MSR-UNet网络结构Fig.1 MSR-UNet network architecture

UNet网络作为经典的端到端的分割网络模型，主要由编码器和解码器组成。其具有可在小样本数据集中进行分割训练的特点，使其适用于现有数据集数量较少的煤岩显微组分图像分割任务。本文将以UNet网络为基础进行分割网络的设计。

经实验验证选用了ResNet 作为主干网络。网络中添加MCA 模块，用以对高层特征的捕捉，使解码过程更好地融合高层语义特征。在跳跃连接层中加入SE 模块，算出编码模块通过跳跃连接层传递的各通道特征权值，提升有用特征权重，提高网络在进行分割任务时对不同层级特征的提取能力，减少细节信息的丢失。

1.1 MCA模块

空洞卷积是针对图像语义分割问题中下采样会降低图像分辨率、丢失重要特征信息问题而提出的一种卷积思路[20]。大扩张率空洞卷积进行大目标检测时具有优越性，而小扩张率空洞卷积对小目标的检测效果较好。在不改变特征图大小的情况下，将不同扩张率的空洞卷积融合运算，可以增强提取特征图时的感受野，使其能捕捉到更多的上下文信息。

MCA模块结构图如图2所示。该模块通过4条级联的空洞卷积路径和3个不同的并联的最大池化层提取和收集上下文信息，通过CBAM模块筛选，以此获得对分割结果影响最大的高层特征。

图2 多尺度上下文注意模块Fig.2 Multiscale contextual attention module

设输入特征图为I，则I(xm,ym)表示输入特征图在点(xm,ym)处的值。空洞卷积计算公式为：

其中，K(xm,ym)为大小为P×Q的卷积核，*为空洞卷积运算，l为扩张率。在MCA 模块中，选用扩张率分别为1、2、4 的联级空洞卷积实现对编码器输出特征图的多尺度特征提取，如图2(a)所示。

传统的多尺度特征图提取会使用单一的最大池化层编码全局上下文信息，但该处理方式无法保留更多的全局上下文信息。针对此问题，本文选用3个分别为2×2、3×3和5×5的最大池化层对全局上下文信息进行编码。通过3 次平行的最大池化操作，可以得到3种不同大小的特征图。在每个最大池化层后增加1 个1×1 的卷积，将高维特征图转换成低维的特征图，如图2(b)所示。再通过上采样将其还原到原来的大小。

由于煤岩显微组分特征具有复杂性，其通过编码结构提取的特征图会存在大量冗余信息，直接上采样还原，会影响最终的分割结果。这里在MCA 中引入CBAM 模块对特征进行筛选[17]，CBAM模块由通道注意力模块和空间注意力模块组成，其结构如图3所示。

图3 卷积注意力模块Fig.3 Convolutional block attention module

在图3 中，设输入的高层特征图为F，首先将高层特征输入至通道注意力模块中，通过并联的平均池化层和最大池化层进行运算，其结果分别为公式（2）和公式（3）所示。

随后将结果送入多层感知器（Multilayer Perceptron, MLP）进行通道注意力权重特征Mc(F)计算，如式（4）所示。

其中，σ是激活函数Sigmoid，w0和w1分别是MLP的两个连接系数。最终计算得到的通道注意力特征映射F′为：

将通道注意力模块处理得到的F′，送入空间注意力模块。通过通道维度中的全局平均池和全局最大池操作生成两个二维特征映射结果，。计算公式如式（6）和式（7）所示。

其次，将这两个特征映射合并生成二维空间注意权重映射，并经过卷积核大小为7×7的卷积层和Sigmoid激活函数运算，最终生成空间注意权重图Ms(F′)，如式（8）所示：

其中，σ是激活函数Sigmoid，f7×7表示卷积核为7×7 的卷积运算，表示特征图拼接操作。最后，得到F′与Ms(F′)。经过特征筛选后，输出最终的高级特征图F′′如公式(9)所示。

本文提出的MCA 模块虽然可以通过对高层语义特征和空间上下文信息的提取弥补解码过程中细节特征信息的缺失，但无法弥补高层特征和低层特征通过跳跃连接融合时丢失的细节特征信息。因此，在跳跃连接层中加入SE 模块，以更好地实现高层次和低层次特征的融合。

1.2 挤压激励模块

为了弥补UNet网络通过跳跃连接对高层特征和低层特征进行融合时，因没有区分特征重要性带来的损失。本文在跳跃连接层中引入SE模块，其结构示意图如图4所示。

图4 挤压激励模块Fig.4 Squeeze and excitation module

设输入不同通道的特征图为xC(a,b),其中C表示通道数，(a,b)表示图中像素点位置。

首先进行挤压操作，通过全局平均池化（Global Average Pooling, GP），将W×H×C的特征压缩成1×1×C的全局描述特征Sq(a,b)定义如下：

随后通过两层全连接层和两层Sigmoid 激活函数层，进行激励操作，定义如下：

其中，μ表示ReLU函数，σ是激活函数sigmoid。

最后进行Scale操作，定义如下：

对煤岩显微组分进行分割时，通过该模块进行不同通道特征图的权重赋值，可以弱化在特征像素分组判断时非相关因素对结果的影响，以此提升网络模型的分割准确度。

1.3 损失函数

煤岩显微组分中壳质组和惰质组往往占据面积相对较少，导致类别失衡，进而对损失函数计算贡献较小。且随着煤化程度的增加，在一些煤岩显微组分图像中的镜质组和壳质组的灰度表现十分相似，难以区分。针对这些问题，提出一种将骰子损失函数和焦点损失函数结合的损失函数。骰子损失函数是一种区域相关损失。其将逐像素分割任务转化为求不同类别间分布损失的最小几何距离的计算[21-22]，可以有效缓解样本分布不均衡问题。骰子损失函数定义为：

其中，H为组分类别总数，TP(h)为真正类别数量，FN(h)为假负类别数量，FP(h)为假正类别数量。分别定义为：

其中，N是图像的像素总数，pn(h)为像素N为H类的预测概率，gtn(h)是像素N属于H类真实样本的像素。

焦点损失函数是一种处理样本分类不均衡的损失函数，根据样本分辨的难易程度给样本对应的损失添加权重。这里引入焦点损失函数目的是提高网络对难以分别的煤岩组分的识别能力。焦点损失函数定义为：

根据文献[23]添加了调制因子(1-pn)μ表示交叉熵损失，并将μ设置为2。

最终的总损失函数定义为：

其中，β为焦点损失权重，本文中将其设置为1。

2 实验结果分析

2.1 数据集制作

本文用来制取数据集的煤样产自甘肃某地区。首先，采用国际规定的煤岩显微组分制备方法（GB/T 16773-2013）将煤样制作成粉煤光片[24]。之后，由实验室偏反光显微镜图像采集系统进行煤岩显微组分图像的采集。最终，得到50张尺寸为3048×2836的煤岩显微组分图像。

由于外在条件限制，导致所得图像数量不多，但较少的数据集会导致网络训练的过拟合。这里，通过对图像进行滚动切分，缩放和噪声添加处理，以实现数据集的扩充。最终经扩充和筛选得到大小为256×256 的煤岩显微组分数据集1200 张，并按照8:1:1 的比例划分训练集、验证集和测试集。

2.2 模型参数的设置

本文网络在GPU 环境下运行，具体的配置如表1所示。

表1 平台硬件与软件配置Table 1 Platform hardware and software configuration

用Adam 优化器训练参数，Adam 优化器训练参数一阶、二阶估计的指数衰减率β1、β2分别为0.5和0.999，初始学习率为2×10-4。Batch size设置为32，epoch设置为200。

2.3 评价指标

分割训练后的模型，用测试集来评估模型割的准确性，本文基于模型分割的特征，通过像素准确度（Pixel Accuracy,PA）、交并比（Intersection over Union, IoU）、戴斯相似性系数（Dice），对分割网络的分割能力在像素级上进行了评价[25]。

（1）PA指标

即正确分类的像素占总像素的比例，如式（19）所示。

设测试数据集中有n个类，Pii是数据集第i类中预测为第i类的像素数，即正确分类像素；Pij是数据集第j类预测为第i类的像素数，即错误识别像素。因煤岩组分的分割是多分类问题，故设目标类i为正类，其余类j为负值。

（2）IoU指标

即真实分割结果与预测分割结果交集的比值，如式(20)所示。IoU 指标越接近1，分割就越准确。

其中，Vpred是预测分割结果，Vgt是真实分割结果。

（3）Dice指标

用于评估分割结果与真实标签之间的相似性，如式(21)所示。

其中，Dpred是预测分割结果的集合，Dgt是真实分割结果的集合。

2.4 不同网络模型分割结果对比

本节中，将所提出的方法与两种近期提出的显微组分识别方法：基于Kmeans 显微组分组图像自动识别算法[5]、基于自适应分割和随机森林算法（two-step strategy）[7]和现有3种常用深度学习网络分割算法FCN[26]、SegNet[27]和UNet[11]，进行对比实验，结果如表2所示。

表2 对比网络分割结果Table 2 Comparison of network segmentation results

从表2 可知，与传统方法相比，深度学习网络模型的输出结果始终具有更好的分割结果。特别是本文提出的MSR-UNet网络，在3个指标中都表现出性能的优越性，其PA、IoU、Dice分别为91.24%、83.01%和84.70%。

此外，为了可视化分割结果，图5中展示了3个示例的分割结果。从图5 可以看出，K-means算法只能通过对灰度图像的像素计算得出大致分割结果，表现较差。而其余方法均能检测组分边界。然而，当显微组分分布复杂时，可能会产生错误检测。如在图5(d)中，因镜质组和壳质组的灰度值相似，导致两步法错误地将壳质组组分识别为镜质组组分。而深度学习网路相较于传统算法，其处理煤岩显微组分分割问题，具有一定的优越性。且本文提出的MSR-UNet 网络则表现出了对小组织组分较好的分割能力，以及分割与实际边界的拟合性。

图5 不同算法分割结果对比Fig.5 Comparison of segmentation results between different networks

2.5 主干网络对比实验

为了探究不同主干网络对UNet网络分割结果的影响。分别选用VGG-16、Mobile-Net、ResNet网络进行实验，结果如表3所示。

表3 主干网络对比实验Table 3 Backbone network comparison experiment

由表3 实验结果可知，选ResNet 作为UNet编码器主干网络的性能优于其他对比网络，PA指标为90.76%，高于VGG-UNet 的89.87%，Mobile的89.62%。故选用ResNet作为UNet编码器主干网络。

2.6 注意力模块与损失函数的消融实验

为了验证提出的MSR-UNet 网络结构中添加的注意力模块对于网络分割效果的提升。现对本文提出的分割网络模型的注意力模块进行消融实验。其最终实验结果如表4所示。

表4 注意力模块消融实验Table 4 Attention module ablation experiment

从表4 可知，在添加SE 模块后，PA 指标、IoU 指标和Dice 指标较未加入SE 模块的Res-UNet模型比，均有提升。加入MCA模型的结果与之相似。同时加入MCA 模块和SE 模块的网络表现最好。

融合上述方法，所得到的MSR-UNet网络结构的PA、IoU、Dice 值分别为91.10%、82.68%和84.19%。由此说明残差模块、MCA模块和SE模块的加入，可以通过筛选和捕捉更有效的高层特征达到提高模型的分割性能的目的。融合了MCA 模块和SE 模块的Res-UNet 分割网络，比普通的Res-UNet分割网络拥有更多的空间和上下文信息。如图6 所示，MSR-UNet 对细节处理更加细腻，故其以相对较少的预测失误获得了最佳的分割结果。

图6 注意力模块消融实验分割结果对比可视化Fig.6 Comparison visualization of segmentation results for the attention module ablation experiment

为了进一步提高网络对类别失衡组分和灰度表现相似组分的分割准确度，引入了骰子损失函数LD和聚焦损失函数LF对网络进行训练。已知在3 种煤岩组分中惰质组和壳质组含量较少，镜质组和壳质组细化类别中存在相似的灰度特征。为了验证引入的损失函数对上述组分分割的提升效果，进行损失函数的消融实验，评价指标结果如表5所示。

表5 损失函数引入前后对比Table 5 Loss function comparison results

由表5 可知，引入损失函数后的网络模型，其PA指标、IoU指标和Dice指标均有提升，较未引入损失函数网络模型分别提高了0.14%、0.33%、0.51%。

2.7 煤岩显微组分的定量分析

煤岩显微组分的定量分析，在对采矿和地质学方面的研究有着显著作用[28]。根据MSRUNet的预测结果计算每个显微组分的比例。将预测的显微组分标注对应特定的颜色并根据公式（22），可以对每张煤岩显微组分分割图像对应的显微组分进行定量分析。

其中，Pb为第b类煤岩组分的占比，J是煤岩图像的总像素数，rb是属于第b类煤岩组分的像素数。

图7 为预测组分比例和实际组分比例的对比图。其中，黄色折线为各组分的真实比例，紫色曲线为预测比例。由图7 可知测试样本中各显微组分的预测比例接近标签标定比例。为了定量评估预测结果与真实标签之间的差异，选用平均绝对误差MAE进行相应计算。定义如下：

图7 预测的组分比例和实际组分比例对比结果Fig.7 Comparison of predicted and real component proportions

其中，M为测试集样本数量，Pbm和p̂bm是第m个煤样中，b类显微组分的实际比例和预测比例。由此计算三类显微组分MAE 的值。镜质组、惰质组和壳质组的MAE 分别为2.95%、6.43%和5.19%。与真实标签之间的差异较小。结果表明，该方法在煤岩显微组分的定性分析和实现利用计算机辅助评估煤岩质量方面具有巨大潜力。

3 结束语

本文基于融合MCA 模块、SE 模块和UNet分割网络，提出的MSR-UNet网络模型。旨在通过所提模型提升对煤岩显微图像的组分分割准确度。相较于现有分割网络和煤岩分析方法，其对煤岩显微图像的组分分割更准确，对边界识别更清晰。实验表明本文所提方法对3 种不同组分进行分割时，PA、IoU 和Dice 指标分别为91.24%、83.01%和84.70%，且平均绝对误差分别为2.95%、5.43%和6.19%。较现有算法更具有良好的煤岩显微组分分割与分析效果。但是，本文中的研究仍然存在一些局限性。首先，因为样本数量有限，所提出的方法仅能进行组级识别，无法进行组内细化类别的识别。后续工作可以通过制取更多高度复杂结构的煤岩显微样本来增强模型的鲁棒性。

利益冲突声明

所有作者声明不存在利益冲突关系。