基于注意力机制的实例分割算法

张声传，喻松林，纪荣嵘

(厦门大学信息学院，厦门 361005)

0 引言

计算机视觉(Computer Vision，CV)是人工智能领域的研究热点，自2012年AlexNet[1]网络问世以来，CV经历了从简单的图像分类到更为精细的语义分割、实例分割等任务的发展。伴随深度学习和卷积神经网络(Convolutional Neural Networks，CNN)的发展，CV在识别精度和速度上取得了长足进步，十年来涌现了大量的理论与方法，在诸多领域取得了丰硕的成果。实例分割的任务是输入一张图像，输出图像中每个物体的类别，同时为每个物体生成像素级别的实例掩码[2]。图像分类、目标检测、语义分割和实例分割四类CV任务难度递增，图像分类只需要指出图像中有哪些物体类别；目标检测在图像分类的基础上同时需要输出物体的边界框；语义分割需要预测图像上每一个像素点属于哪个类别；实例分割在语义分割的基础上还需要区分同一类别的不同实例。

以Mask R-CNN[3]为代表的双阶段实例分割方案遵循先检测后分割的理念，通常会先由区域候选网络[4](Region Proposal Network，RPN)提出候选区域，然后针对兴趣区域(Region of Interest，ROI)进行池化和对齐操作，最后将特征送入后续网络进行分类和掩码生成。双阶段分割方案掩码生成是基于候选区域特征进行的，避免了图像其他位置对掩码生成的干扰，一般分割精度较高。双阶段分割方案的主要问题在于存在大量的负样本候选区域，计算耗时。为了解决这个问题，以实时实例分割(Real-time Instance Se-gmentation，YOLACT)[5]和基于位置的实例分割(Segmenting Objects by Locations，SOLO)[6]等为代表的单阶段分割方案产生，相比双阶段分割，这类方案放弃了提出候选区域的操作，转而利用全卷积在全图范围进行卷积操作，一步到位同时实现物体种类预测和掩码生成，免去了RPN结构，提高了分割速率。……