李 颖,宋 甜,王 静
(四川大学电子信息学院,成都 610065)
显著性目标检测(SOD)能够模拟人类选择性的分辨出视觉中最重要目标的机制,识别并提取出图像中最显著的目标。它是由各种领域中广泛的对象级应用驱动的,比如视觉跟踪、图像理解、图像字幕等。
SOD历史相对较短,主要分为非深度学习和深度学习模型。早期的非深度学习SOD模型大多基于低级的手工特征,且依赖于图片特性(颜色对比、背景先验等)启发,无法实现端到端的训练。随着深度学习的蓬勃发展,SOD逐渐从传统方法发展到深度学习方法,性能得到极大提升。最早的深度SOD模型对图像的每个处理单元提取深度特征,然后训练多层感知机(MLP)分类器进行显著性评分预测,这种方法不能很好地捕获关键的空间信息。随着全卷积神经网络的发展,Liu等利用CNN可以提取包含低级局部细节和高级全局语义的多层次特征的特性,开发了基于VGG网络的深度SOD模型,该模型通过使用循环层逐步组合较浅的特征来细化粗糙的显著性地图。Zhang等利用编码器-解码器体系结构来设计网络,通过学习解码器的不确定性,产生分辨率更高的预测。总结起来,这些模型主要分为单流网络模型、多流网络模型、U型侧融合网络模型等。
Lin等开发的U型网络因为能利用多层特征进行侧融合,恢复图片的语义信息被广泛关注。因此,目前主流的显著性目标检测方法大部分采用U型的编解码网络结构。许多方法直接将编码器和解码器通过简单的相加或相乘的操作进行级联,提取的特征尺度单一,这忽略了不同层级和尺度特征对最终预测图的影响,导致最终的预测图缺失上下文语义信息。……