小样本条件下的RGB-D显著性物体检测

何静，傅可人，2*

1.四川大学视觉合成图形图像技术国防重点学科实验室,成都 610065；2.四川大学计算机学院,成都 610065

0 引 言

显著性物体检测(salient object detection, SOD)旨在定位图像或视频中最吸引人注意力的物体，并将其从背景中分离出来。显著性物体检测主要应用于计算机视觉任务中的预处理，如视频/图像分割、视觉追踪、视频/图像压缩等。在早期，显著性物体检测主要基于RGB图像进行检测，从输入的RGB图像中提取有用信息用于物体显著程度的估计。近年来，随着深度传感器的发展和普及，基于RGB-D(RGB-depth)的多模态显著性物体检测受到研究者们广泛的关注。

现有的RGB-D SOD方法按监督方式可以分为全监督和自监督两种。全监督RGB-D SOD(Fu等，2020；Zhang等，2020)对输入的RGB图像以及相应的深度图通常采用早期融合、中期融合和后期融合的方式将两种不同模态的互补信息进行有效融合。自监督RGB-D SOD(Zhao等，2021)用少量无标记RGB-D数据集进行预训练，使网络捕获丰富的上下文语义信息，从而为下游任务提供有效初始化。

目前大多数RGB-D SOD采用全监督的方式在一个较小的RGB-D SOD训练集上进行训练，然而，此方式的泛化性能局限于较少的训练样本，难以泛化到真实场景。因此，本文提出将RGB-D SOD视为小样本学习问题。受Wang等人(2021)综述的启发，本文应用两类小样本学习方法，第1类为基于模型解空间优化的方法，通过多任务训练以及参数共享的方式将训练样本数量较多的RGB SOD任务学习到的知识迁移至训练样本数量较少的RGB-D SOD任务，从模型角度约束特征解空间；……