一种基于注意力机制引导图像增强的细粒度图像分类

彭耀葵 吕友成

(1、广东工业大学,广东 广州510000 2、广州星海集成电路基地有限公司,广东 广州510000)

1 本文的研究内容

细粒度图像的分类目的在于区分具有细微视觉差异的从属类别,比传统粗粒度图像分类更加具有挑战性。其挑战主要有以下方面:(1)图像之间的特征差异较小,判别性的特征更加细微。例如:需要根据鸟羽毛的一部分的颜色来确定类别。(2)训练数据集信息有限,仅使用其所属的类别,而没有人工的标注框等信息。

细粒度图像分类的关键步骤是从图片中提取出最显著的局部特征。如果特征区域是手动标记的,则将花费额外的时间和经济成本,因此可以考虑使用弱监督方法。此外,单纯的卷积网络很难处理细粒度的分类问题,因此使用想办法找出需要注意的区域。数据增强是训练常用方法,可用于防止数据过拟合和改善模型的性能。许多常用的数据增强方法使用随机方法,例如随机图像裁剪、旋转、放大,可能使目标适合我们的需求,但是会引入嘈杂的目标或背景信息。因此,我们设计了一个以注意力为导向的数据增强模块,可以实现更好的分类效果,该方法可实现比当前最新方法好的效果。

2 相关的研究基础

弱监督学习不需要借助附加的人工标注信息[1],降低了人工的工作量,同时在滤去背景等噪声干扰之后,网络可以提取出人类考虑不到的区域特征,从而提高了网络的分类精度。常见的方法有以下几种:

双线性CNN 算法[2],该方法依赖于两个特征提取器的连接,两个特征提取器的输出在图像的每个位置使用外部乘积相乘,然后得到最后的结果。……