基于Attention机制的图像应用

高政霞

（兰州资源环境职业技术学院 信息工程学院，甘肃 兰州 730021）

1 Attention机制的概念和分类

1.1 Attention机制的概念

目前，Attention没有严格的数学定义。认知科学中，信息处理存在局限，人类选择性关注信息中最为关键的部分信息，同时忽略其他可见信息，这种机制通常称为Attention机制。例如，人类在阅读书籍时通常关注和处理少量的字、词、句，看世界的时候，关注特定区域以了解所需知识。

在学术界，Attention也是一种方法论。如处理图像时，利用神经网络提取特征，Attention机制通常作为一部分约束加入神经网络中，使模型的处理结果更为精确，并且能够硬性选择输入的某些区域或者给各特征分配不同权重。神经网络中滑动窗口方法以及图像中传统的局部特征提取和显著性检测都可视为Attention机制。

1.2 Attention机制的分类

Attention[1]起源于人类视觉研究，在计算机视觉中，Attention机制主要指的是神经网络中的Attention机制，从这个角度将Attention机制分为四大类：基于输入项的柔性注意力（Item-wise Soft Attention）、基于输入项的硬性注意力（Item-wise Hard Attention）、基于位置的柔性注意力（Location-wise Soft Attention）、基于位置的硬性注意力（Location-wise Hard Attention）[2]如表1所示。

表1 神经网络中Attention机制的四种类型

在计算机视觉中，往往使用神经网络处理大量的输入信息来提取图像特征，而且理论上网络越深提取的特征更精确，但如果借鉴人脑的Attention机制，可以大大提高效率，有选择性地提取关键信息来处理，从这个层面上可将Attention机制分为两类：

1.2.1 聚焦式（Focus）注意力

Focus是一种自上而下的有意识的Attention机制，可以说是一种主动注意，指的是有选择性、有预定目标、依赖于任务并且自主有意的聚焦某一个对象的Attention机制。……