基于特征图自注意力机制的神经网络剪枝算法

杨火祥，梁永生

（1. 深圳大学电子与信息工程学院，广东 深圳 518060；2. 哈尔滨工业大学（深圳）电子与信息工程学院，广东 深圳 518055）

1 引言

尽管卷积神经网络（Convolutional Neural Network， CNN）在许多计算机视觉领域取得了巨大的成功，在其不断发展的过程中，卷积神经网络模型的计算量和参数量也随之增加，这为网络模型在计算力资源或者存储资源受限设备上的部署带来了巨大挑战，如手机、可穿戴式设备等。近些年来，为解决网络模型参数量和计算量过大的问题，神经网络的压缩与加速吸引了很多学者的关注。

神经网络压缩主要可以分为以下四类：权重低秩分解、网络剪枝、参数量化、知识蒸馏。其中，网络剪枝以其操作简单、实施高效等优势获得了广泛的应用。在网络剪枝中，又主要分为基于权重的剪枝和基于特征图的剪枝两大类方法。基于权重的剪枝方法是一类数据独立的方法，这类方法不依赖于数据集的分布，在不同网络上拥有较好的泛化能献[5]将权重梯度的范数看成连接敏感度的考查指小的滤波器越不重要，应该首先被裁剪。文献[2]通过计算所有滤波器的几何中值，根据几何中值的特点，靠近几何中值的滤波器的信息可以用剩下的滤波器表示，即滤波器是冗余的，可以被裁剪掉。文献[3]对批归一化（Batch Normalization， BN）层参数稀疏化处理，由于BN层与滤波器权重一一对应，对BN层的稀疏化处理就能选择滤波器了。文献[4]对滤波器进行谱聚类，聚成k组，然后根据滤波器的贡献进行排序，贡献小的滤波器会被剪枝。……