融合多层次决策信息的视觉解释方法

杨传栋，钱立志，孙子文，陈 栋，凌 冲

中国人民解放军 陆军炮兵防空兵学院 兵器工程系，合肥 230031

随着以卷积神经网络（convolutional neural network，CNN）为代表的深度神经网络模型在自动驾驶、军事目标侦察、图像制导等高风险决策领域的应用，其可解释性成为计算机视觉领域中愈加得到关注和重视的研究课题[1]。视觉解释方法是通过可视化手段对神经网络模型决策结果进行分析的一项技术，其目标是帮助使用者理解模型内部机制和信任模型决策。近年来，视觉解释方法处在快速发展和完善阶段，但解释效果和算法效率仍存在提升空间，值得进一步研究。

2016年Zhou等人[2]首次提出基于类激活映射（class activation mapping，CAM）的视觉解释方法，通过对最后一层卷积层特征图加权组合形成类激活图，以图像像素值大小代表对应位置的输入对输出结果的相关程度，取得了良好的解释效果。但该方法需要改变CNN模型结构并为每个类重新训练线性分类器以获取权重。2017 年，Selvaraju 等人[3]提出GradCAM 方法，挖掘在决策过程中梯度所对应的局部信息[4]，可用于所有CNN模型且无需改变模型结构和重新训练。Chattopadhyay 等人[5]于2018年在GradCAM方法利用高细粒度局部层次的决策信息提升对多个同类目标的定位能力。2019 年Omeiza等人[6]使用平滑处理技术提高了GradCAM++类激活图的定位能力。2020年，Wang等人[7]指出使用梯度计算权重的方法会带来视觉噪声、错误置信度等问题，首次提出基于无梯度CAM 方法，以在目标类上的前向传递分类置信度分数作为特定输入在网络决策中的全局贡献，取得了更好的视觉效果，但计算量大。2020年Naidu 等人[8]提出IS-CAM 方法，在ScoreCAM 基础上引入积分操作，能够更加精确地定位到与决策相关的特征。2021年，Lee等人[9]提出Relecance-CAM方法，利用层间相关性传播获得加权得分，解决了基于梯度的可视化方法对中间层特征视觉解释效果差的问题。2021年，Zhang 等人[10]提出的GroupCAM 方法综合考虑了梯度信息和全局决策置信度贡献，但是在计算中精细度不足且速度慢。2022 年，Zheng 等人[11]采用考虑像素间关系的夏普利值来表示每个像素对模型输出的决策贡献。2022 年，梁先明等人[12]提出一种基于时频GradCAM 的调制识别网络的视觉解释框架。2022年，张宇等人[13]使用CAM 方法补充定位信息，提高了模型在分割任务上的性能。

综上所述，CAM视觉解释方法凭借直观形象、解释性好的优点成为该领域热点方向，并被广泛应用于其他任务。但现有CAM方法存在多层次决策信息未有效结合导致视觉解释效果差的问题。本文提出一种结合多层次决策信息的CAM 视觉解释模型（CAM combining hierarchical decision information，HD-CAM）。具体工作有：

（1）挖掘特征图中高细粒度局部层次的决策信息，生成一组与决策结果相关性强的加权特征图。

（2）采用定序分组方式合并加权特征图，获取一组包含了局部层次的决策信息且冗余度低、决策相关性强的掩码。

（3）基于全局层次的决策贡献并行计算分组掩码重要度分数，对掩码采取模糊边界和积分方法进行处理，提高了算法对全局决策信息的敏感性和算法速度。

（4）通过消融实验确定了模型最优参数。利用ImageNet[14]数据集进行实验验证，并与现有的先进视觉解释方法进行了定性和定量比较。实验结果表明该文方法视觉解释结果与现有视觉解释方法相比具有更高的性能，且算法速度达到68 ms。

1 CAM方法基本原理及问题分析

CAM 方法以视觉显著性的方式对CNN 决策进行可视化解释。区别于直接可视化大量抽象启发式的CNN 特征[15]，CAM 方法对含有最丰富语义信息的最后一层卷积层特征图计算通道级线性加权和，并使用ReLU（）函数保留正向的激活特征，得到特定类别目标对应的类激活图。类激活图中像素值大的位置对应可能的目标区域，改善了人们对决策结果的理解。

设f为图像分类CNN模型，θ为模型参数，对于给定输入图像I0，通过全局平均池化，得到第k个通道中位于(i,j)位置的特征图值所对应的权重。经过网络前向推理，分类分数yc计算如式（1）：

则第c类目标对应的类激活图Lc计算如式（2）：

其中，对应第c类目标的最后一层特征图中第k个通道特征图的权重，根据衡量各个通道特征图权重大小的方式不同，可分为基于梯度和非梯度的方法。梯度能够反映输入图像在CNN 网络决策过程中的局部响应情况，基于梯度的GradCAM 方法将预测的分类分数映射回前一层卷积层，以该层中每个特征图梯度的平均值表示其对第c类目标类别的重要性。权重计算如式（3）：

其中，Z是特征图中像素数量。为特征图在(i,j)位置关于yc的导数。

基于平均梯度加权的CAM方法会出现多个同类目标和目标区域部分不能全部激活的现象；同时，仅使用梯度表征与决策结果的相关性会受到梯度饱和、假置信度干扰，使类激活映射图产生伪影、噪声且无法聚焦于目标主体，进而影响解释视觉效果，如图1所示。

图1 CAM方法存在问题示意Fig.1 Problems of CAM method

以ScoreCAM为代表的无梯度CAM方法将多组特征图作为掩码与原图点乘以对原始图像遮挡，作为扰动图像将其输入神经网络中，以在目标类上的前向传递分类置信度分数与基线的差值衡量各层特征图的重要度，反映CNN整体的决策判断，如式（4）：

其中，Ib为基线图像，为使用上采样操作Up()将缩放到到输入图像尺寸的特征图。

虽然以全局决策贡献的方式能获得相对精确的类激活映射图，但是在获取式（4）中重要度分数时受限于基线图像和输入的干扰图像的选择，对不同输入特征全局决策贡献的敏感性不足，且忽视了前向传递中局部层次的决策信息，解释性能有待提高。同时前向推理计算量高、计算内存占用大，导致算法实时性差。

分析上述问题产生的原因有三点：

（1）仅以平均特征图梯度作为权重无法充分提取到高细粒度的局部层次决策贡献，导致加权特征图与模型决策结果关联弱，难以准确定位到与决策结果更为相关的区域。

（2）以加权特征图作为掩码进行前向推理时需要进行特征图组数次运算，增加了算法计算代价。通过直观观察发现多个加权特征图往往对应极为相近的激活区域，且实验发现适当减少计算组数对决策结果影响很小，因此判断存在信息冗余。

（3）在掩码重要度分数计算过程中，直接对输入图像遮挡会造成遮挡区域和显著区域之间的边界尖锐，且基线图像选择不合理，使得网络对不同输入特征全局决策贡献的敏感性不足，影响了全局贡献得分的准确性。

2 HD-CAM方法

本文提出一种结合多层次决策信息的CAM视觉解释方法HD-CAM，如图2。方法可分为两个阶段，第一阶段通过CNN 前向传递得到深层特征图，通过特定类目标分类分数反向传播得到特征图对应梯度，经特征图像素级梯度加权和基于定序分组方式得到一组包含高细粒度局部层次的决策信息的掩码。第二阶段将模糊化的掩码遮挡图像输入CNN，通过包含N次积分采样的前向传递获取全局决策贡献，并取分数均值作为组重要度分数，最后对分组掩码进行线性加权得到类激活图。

图2 HD-CAM方法框图Fig.2 Framework of HD-CAM method

2.1 包含局部决策信息的特征图加权

分析上述问题产生的原因有三点：

直接基于梯度加权特征图合并得到类激活映射图会因梯度饱和、假置信度等问题难以取得高质量结果。因此利用特征图像素级梯度对决策结果的高细粒度贡献，生成一组与决策结果相关性强的加权特征图。

对式（1）中各特征图权重进行显性编码，为特征图(i,j)位置处的每个像素梯度进行加权，按照式（5）计算：

其中，为类c和特征图对应的像素梯度的加权系数。将式（5）代入式（1），并对两边求二次偏导，可得：

可由式（7）计算得到，通过像素级梯度加权挖掘了特征图中高细粒度的局部层次决策信息，使多个同类目标整体都能够得到更好地激活。

图3为特征图均值分布和两种算法对应的通道级别权重分布情况。实验发现，GradCAM方法包含了大量负方向激活，HD-CAM方法得到的非负权重激活值与特征图关联度更高，体现了梯度能对应影响决策结果的关键区域的能力，能够更好地反映特征图的重要程度。

图3 特征激活图通道级权重分布Fig.3 Distribution of channel weights of feature maps

用获取的特征图像素级梯度权重对特征图加权，得到K个特征通道的激活了不同决策相关区域的高细粒度加权特征图，如式（8）：

2.2 分组掩码生成

为解决加权特征图信息冗余问题，基于分组思想[16]将大量的加权特征图分为若干小组并合并，以获取一组信息冗余低、决策相关性强的掩码。

将K个加权特征图按照产生的加权特征图的固定顺序等距分为G组(G＜K)，并将每组加权特征激活图叠加，获得G个用于生成类激活图的一组中间掩码Ml，计算方法如式（9）：

其中，超参数G通过实验确定最优取值。同时，经实验测试，分组方法采用按照特征图固定顺序合并的定序分组，算法能够获得更好的性能和一致性，具体可见3.2节。本文模型中，K=512,G=64，通过分组合并，后续计算量能够缩减8倍。

为获取更加平滑的掩码，将得到的低分辨率掩码进行归一化，并上采样至原图大小，得到G组掩码，如式（10）：

2.3 分组掩码全局决策贡献计算

以相应输入特征对决策结果的全局贡献衡量分组掩码的重要度。为了准确反映输入特征对决策结果的影响，前向传递的输入通常为掩码遮挡的图像。但直接采用掩码对输入图像遮挡会造成遮挡区域和显著区域之间的边界尖锐，进而影响组重要度分数的准确性。因此对遮挡区域使用高斯模糊处理：

其中，是经过高斯模糊的输入图像，⊙为哈达马积。为使用模糊化的掩码遮挡图像。guassian_blur()表示高斯模糊处理。

模型预测与输入特征之间的归因应符合敏感性（如果不同输入在某维度存在特征偏差且预测输出不同，则该维度归因不为零）和实现不变性（功能等价的模型对输入归因相同）两个基本公理[17]，文献[8]提出积分方法对相对于基线的输入的所有特征分量的归因累加。本文以线性插值为积分路径逐步累加输入图像特征，计算N次在目标类上的前向传递分类分数并求平均，作为组掩码重要度分数，得到输入所对应的更为准确的全局决策贡献。同时，多种无梯度方法采取纯黑图片或噪声图片作为基线图像，但文献[18]指出采用该类基线图像存在缺陷，经过实验验证本文在具体实现中令基线图像的输出为零，避免了不合理基线图像的干扰。能够提高对不同输入特征全局决策贡献表示的准确性。如式（12）：

其中，为第l组掩码的重要度分数，N为积分采样数量。为了提高运行速度，将累加操作展开，并行计算N个掩码的前向传递，有效提高了算法速度。

最后，类激活图利用重要度分数对G组掩码加权，获得更加精细准确的视觉解释图，如式（13）：

2.4 方法流程

HD-CAM算法具体流程如下所示。

输入：图像I0，模型f，类c，分组数G，高斯模糊参数。

3 实验与分析

3.1 实验准备

3.1.1 实验平台及数据集

实验硬件平台使用配置为AMD EPYC7742 CPU、内存为512 GB、4 块NVIDIA A100 GPU 的A100 服务器。操作系统为Ubuntu20.04。深度学习框架使用python3.9+pytorch1.8，采用Cuda11.1+cudnn8.0加速。

基于ImageNet 分类数据集对提出方法进行实验验证。ImageNet 验证集共50 000 张图片，包含1 000 个目标类型，且提供了最高预测分数的类别目标对应的边界框真值。在ImageNet 验证集中抽取2 000 张图片，为每个图片最高置信度类目标生成视觉解释图。采用ImageNet图像数据集时通常采取如下预处理：将图片大小调整为（224×224×3），像素值转换至[0，1]范围，并使用均值向量[0.485，0.456，0.406]和标准差向量[0.229，0.224，0.225]进行归一化。为保证公平性，统一采用pytorch模型库中的VGG19[19]预训练模型权重进行验证。

3.1.2 评价指标

将视觉解释性方法的评估分为定性评估和定量评估。定性评估可通过分析不同方法得到显著图的视觉连续性、类别区分性、多目标和小目标可视化角度对视觉解释性方法进行定性评价。定量评估分析可以从置信度评价和定位评价两个方面进行。

置信度评价采用图像遮挡实验的方式，迫使模型改变决策，验证类激活映射图中显著区域对于预测置信度的重要性，指标包括删除（deletion，Del）和插入（insertion，Ins）度量[20]。综合考虑两个度量，可由式（14）计算。其中，删除度量越小越好，插入度量和I-D指标越大越好，

利用弱监督目标定位实验评价方法的定位精度。定位精度由loc1和loc5指标衡量[21]，预测边界框和真值边界框之间的交并比（intersection over union，IoU）阈值按照0.1间隔设置在（0，1）范围逐个取值进行测试，得到不同阈值下的loc1和loc5目标定位精度，记为mloc1、mloc5。目标定位精度越高越好。

3.2 改进方法消融实验

对本文提出改进方法中的参数选取在ImageNet 数据集上进行消融实验测试，以确定最优的模型结构，实现对不同输入图像的自适应。由于分组数量和积分采样数量是关键参数且对计算量和精度影响大，本节首先通过多组实验确定了能够包含最高效信息的分组数量，以保证基本的算法精度和算法效率；其次选取多组积分采样数量在固定的分组数量的模型基础上进行精度测试，以确定合理的积分采样次数，随后分别测试对结果影响独立的分组方法、高斯模糊参数、负梯度操作进行了验证。最后对上述改进方法进行验证，以证明相对于基准模型改进的有效性和速度优势。

3.2.1 分组数量测试

对HD-CAM算法中分组数量G取不同值进行测试，实验中积分采样数量设置为4，分组方法设置为定序分组并使用负梯度操作，测试结果见表1。由表1，随着分组数量的增加计算量增大，置信度综合评价指标I-D不断上升，定位精度指标先上升后降低，在分组数量为32和64时取得了最大的mloc1。表明CNN 特征图中信息存在一定冗余，过大的分组组数以更大的计算代价仅带来较小的精度提升。考虑到G=64 时的I-D 指标较G=32时提升明显，且二者耗时相近，因此分组数量选择64。

表1 分组参数G消融实验结果Table 1 Ablation study results of group parameter G

3.2.2 积分采样数量测试

积分采样数量代表输入图像特征从0 增加到全部图像特征的间隔数量。本小节验证了不同积分采样数量对HD-CAM 算法性能的影响。实验中分组数设为64，分组方法为定序分组并使用负梯度操作，测试结果见表2。由表2，随着积分采样数量增加，定位准确度和置信度指标先上升后下降，mloc1 定位精度在N=4 与N=10 分别达到最高，在N=2 时I-D 指标达到最高，N=4 时为次优。说明通过使用积分采样的方式对输入图像特征逐步累加，本文方法能够结合输入特征在不同维度对解释结果的贡献，补充了全局决策信息，进而能提升算法效果。同时随着采样数量增加，耗时增加明显。因此积分采样数量选择4。

表2 积分采样数量N消融实验结果Table 2 Ablation study results of integrate sample number N

3.2.3 分组方法测试

本小节测试了不同分组方法对算法性能的影响。实验中分组数设为64，积分采样数量设置为4，测试结果见表3。其中基于Kmeans 聚类、层次聚类、谱聚类方法将特征图展开为一维特征向量进行聚类分组，基于结构相似性（structural similarity，SSIM）分组方法通过计算特征激活图之间的结构相似性矩阵随后再进行聚类分组。需要注意的是，受聚类算法初始值的影响，得到的类激活映射图不具备一致性，表3中聚类方法结果进行5次测试并取均值。由表3，谱聚类在mloc1和mloc5定位精度指标上达到最优，定序分组方法为次优。在I-D 指标上定序分组方法为最优，且耗时最低。定序分组方法不进行人为的聚类，不会产生结果不一致、聚类不理想的现象；该方法按照特征提取产生加权特征图的固定顺序进行等距分组，充分利用CNN 特征自身的信息结构，更加简洁高效地得到一组信息冗余低、决策相关性强的特征掩码。因此选择定序分组方法。

表3 分组方法消融实验结果Table 3 Ablation study results of grouping method

3.2.4 高斯模糊参数测试

对公式（11）中的高斯模糊参数进行测试，以确定合理的高斯核大小。结果见表4。由表4，随着高斯核大小增大，I-D 指标提升，当高斯核大小为51 时，达到最高。高斯核大小对定位精度和耗时影响并不明显。因此，综合考虑选择高斯核大小为51（核标准差为50）。

表4 分组方法消融实验结果Table 4 Ablation study results of Gaussian blur parameters

3.2.5 负梯度剔除测试

在公式（5）中，HD-CAM 算法利用ReLU 对负梯度进行过滤，本小节探讨负梯度对模型结果影响。实验结果见表5。w/oReLU表示HD-CAM算法在式（5）计算中不使用ReLU。可以看到通过剔除负梯度，能够在定位准确度和置信度指标上均带来2%的提升。

表5 负梯度消融实验结果Table 5 Ablation study results of negative gradient

3.2.6 改进方法有效性验证

为验证改进方法对算法解释能力的影响，以Group-CAM算法为基础，逐步引入提出的改进方法验证其有效性。算法B 表示基础模型GroupCAM 上增加局部层次信息。算法C 表示基础模型GroupCAM 上增加全局层次信息。测试结果见表6。通过B与GroupCAM算法对比，可以看到通过2.1节的改进方法，算法在mloc1和mloc5定位准确度指标上分别有0.76和1.01个百分点的提高。通过2.3节的改进方法，算法C对I-D置信度指标有0.121个百分点的提高。同时，通过在代码中并行处理分组掩码，提高了算法速度。综合来看，本文算法相比基准算法在mloc1、mloc5、I-D指标上分别提高了1.01、1.28和0.023个百分点，表明了本文提出改进方法的有效性。

表6 改进方法对比结果Table 6 Comparative results of improved methods

3.3 与其他方法对比实验

将本文方法HD-CAM与多种可解释方法进行定性和定量比较。对比算法包括基于梯度的导向反向传播（Guided-BP）[15]、基于扰动的RISE[22]、基于类激活映射的GradCAM[3]、GradCAM++[5]、ScoreCAM[7]、ISCAM[8]、RelevanceCAM[9]、GroupCAM[10]及SHAPCAM[11]。RISE掩码生成数量为4 000，GroupCAM 组数为64。ISCAM积分采样数量为10。

3.3.1 定性分析

针对四个典型例图，不同视觉解释方法生成对应的视觉解释图如图4。

图4 不同方法视觉解释图对比Fig.4 Comparison of visual explanation maps of different methods

从视觉效果来看，Guided-BP[15]方法反映了CNN 模型卷积层学习到的所有纹理、边缘等图像特征，但该类方法被指出[23]在计算过程中修改了梯度信息，无法真正反映模型决策。基于扰动的RISE[22]方法能够反映图像中影响CNN决策的关键部分，视觉连续性较好，但范围容易发散，难以集中于目标区域。与之相反，GradCAM[3]方法难以激活目标的所有相关区域，视觉连续性较差；与之相比，GradCAM++[5]、ScoreCAM[7]、GroupCAM[10]在目标定位区域完整性和视觉连续性上都有一定提高，但是对于如图4例4复杂背景目标仍然可能存在大量背景噪声，难以体现CNN 决策特征。SHAPCAM[11]具有更小的背景噪声，获取的激活区域相对完整，但仍存在激活了目标范围外的部分或未完全激活目标整体的现象。与对比算法相比，HD-CAM方法结合了非梯度的全局贡献思想，结果具有更少的随机噪声，能够产生更加平滑的类激活映射图，对目标区域定位更为集中准确而完整，具有更好的视觉连续性，反映了模型做出分类决策的主要依据。

从多目标和小目标可视化效果看，图4例2、例3 中RISE、GradCAM倾向于仅仅捕获图像中的单个目标，且难以激活小目标区域；GradCAM++能够定位多个目标，ScoreCAM、GroupCAM 方法具有更加完整集中的目标激活，且能够定位发现小目标，但背景复杂时伪影、噪声干扰较大。SHAPCAM 对小目标可视化稍差。本文提出的HD-CAM 能在复杂背景下发现定位多个同类目标，背景干扰小；同时在小目标的激活上更加有效，定位区域更为准确集中完整，具有更好的视觉效果。

从类别区分能力看，图5表明HD-CAM方法能对不同类别目标进行良好区分。对于图中蝴蝶和花两类目标，VGG19 模型将输入图像分类为蝴蝶的置信度分数为94.8%，分类为花的置信度分数为1%。虽然后者置信度分数大大低于前者，但通过不同类别置信度反向传播得到不同的激活特征图梯度权重，本文方法仍可以分别给出对应不同目标区域的类激活映射图。

图5 不同类别可区分性Fig.5 Discriminability of different categories

3.3.2 定量分析

3.3.2.1 图像遮挡实验

图6分别对应了图4中图像通过图像遮挡实验得到的插入和删除度量曲线及AUC值。可以看到HD-CAM在插入度量曲线上升更快，AUC更大，删除度量曲线下降更快，AUC更小，图4例1、例2、例4的I-D指标分别达到了最高的90.11%、36.28%、63.41%，图4 例3 的I-D指标达到次高的79.17%，表明了HD-CAM 具有更好的解释性，并与视觉定性评价结果保持了较好的一致性。

图6 插入和删除度量曲线Fig.6 Insertion and deletion curve

表7 给出了HD-CAM 与对比方法在验证集上图像遮挡实验指标的平均值。可以看到，HD-CAM在Del指标达到最佳，在Ins 指标上低于ISCAM 仅0.07 个百分点，在I-D 综合指标上低于ISCAM 也是0.07 个百分点，超出GradCAM++4.17 个百分点，比最新的SHAPCAM方法高1.5 个百分点。图像遮挡实验表明了HD-CAM方法提供的视觉解释图可以对应更好的分类置信度，解释能力更强。

表7 不同方法对比结果Table 7 Comparative results of different methods

3.3.2.2 弱监督目标定位精度实验

对HD-CAM 方法与6 种视觉解释方法进行弱监督目标定位精度实验测试。图7 为不同方法目标定位视觉效果，其中红色框为目标真值框，绿色框为算法得到的边界框。从视觉直观角度看，本文算法得到的目标定位框更加贴合目标真值框，定位更为准确。

图7 目标定位效果示意图Fig.7 Target location effect

为了更加全面客观地评价定位精度，在验证集上测试不同阈值下的定位精度，得到loc1和loc5目标定位精度曲线，见图8。

图8 不同阈值下的定位精度Fig.8 Positioning precision under different thresh holds

对各个阈值下的定位精度取平均值得到mloc1、mloc5 定位精度，并统计了算法运行速度，结果见表7。可以看到，在弱监督目标定位实验中，相较于对比算法，本文算法在各个阈值下能达到更高的定位精度，且mloc1、mloc5精度达到最高，分别超出第二名GradCAM++0.12和0.1个百分点。表明了算法具有更优的定位能力。同时本文算法兼顾了算法速度和性能，速度最快的RelevanceCAM单帧图像耗时为35 ms，本文方法达到同量级的68 ms，是ISCAM的76倍，是SHAPCAM算法的20倍。说明本文算法在综合性能上具有更优表现。

4 结束语

CNN 模型的可解释性是理解和信任其决策的前提。针对现有CAM视觉解释方法未能有效利用多层次决策信息导致视觉解释效果差的问题，本文提出一种结合多层次决策信息的CAM视觉解释方法。通过像素级梯度加权挖掘特征图中高细粒度局部层次的决策信息，生成一组与决策结果相关性强的加权特征图；采用定序分组方式合并加权特征图，获取一组冗余度低、决策相关性强的掩码；基于全局决策贡献并行计算分组掩码重要度分数，对掩码采取模糊边界和积分方法进行处理，提高了不同输入对全局决策贡献的敏感性，提高了置信度分数的准确性和算法速度。置信度实验和定位测试实验结果表明通过结合多层次决策信息，该文方法视觉解释效果在综合性能上具有更优表现且更具速度优势。在未来工作中，可以将本文方法应用于弱监督目标定位、语义分割等任务及帮助开发者理解模型决策从而对CNN模型进行针对性改进。