肖振久,杨晓迪+,魏 宪,唐晓亮
1.辽宁工程技术大学软件学院,辽宁葫芦岛 125105
2.中国科学院海西研究院泉州装备制造研究所,福建晋江 362200
随着AlexNet[1]在图像分类领域ImageNet 竞赛中取得优异的成绩,卷积神经网络(convolutional neural network,CNN)开始广泛应用在计算机视觉领域中。至此以后,各种新型的网络结构不断被提出,如ConvNet[2]、VGG[3](visual geometry group)和ResNet[4]等。这些网络结构大多使用卷积层与池化层的组合提取图像的特征并使用全连接层(fully-connected layer,FC)对图像进行分类,但采用传统卷积方式会带来较大的计算成本,而用全连接层训练的模型会消耗较大的存储空间。通常,一种解决这些问题的方式是对训练好的模型进行网络剪枝、网络蒸馏[5]等,最终使得模型具有轻量且准确度高的网络。另一种是直接设计出轻量级的神经网络架构[6]。在第二种方法上,有些学者通过压缩卷积过滤器,提出了SqueezeNet[7]及SqueezeNext[8]方法,并使用了Batch Normalization[9]来加快训练网络时的收敛过程。有些学者从特征提取的角度出发,利用深度可分离卷积提出了MobileNet[10]。类似设计轻量化卷积结构的方法还有Inception[11]、Xception[12]、ShuffleNet[13-14]和ThunderNet[15]等。从而使得深度可分离卷积在人脸识别[16]、目标检测、图像分割[17]等领域得到广泛应用。
但这些方法都是针对特征提取模块的改进,Lin等[18]提出NIN(network in network)网络,采用全局平均池化(global average pooling,GAP)替换全连接层用于控制模型规模,但全局平均池化严重依赖于特征提取模块输出特征图的质量,若特征图包含的特征较多,全局池化会丢失许多有用信息,同时也会造成模型训练收敛速度降低等问题。吴进等[19]提出用卷积层直接替换全连接层的方法,并用多个小卷积逐层缩小特征图的方法达到了一定的压缩效果。……