多尺度定位信息增强的图像全景分割方法

薛程， 叶少珍, 2

(1. 福州大学数学与计算机科学学院， 福建 福州 350108； 2. 福州大学智能制造仿真研究院， 福建 福州 350108)

0 引言

图像理解是图像分割中重要处理环节， 将有助于促进自动驾驶、 机器人和增强现实等技术的实际应用. 在深度学习技术应用之前， 图像解析、 场景解析和全图像理解等已经得到一定的发展， 随着深度学习在语义分割和实例分割的应用， 文献[1]将其命名为全景分割(panoptic segmentation, PS)， 将图像内容分为Stuff不可数语义类(例如草地、 天空、 道路)和Things可数实例类(例如人、 交通工具)， 任务的目的是为图像中每一个像素分配语义分类标签和实例ID. 在Things实例类中， 实例ID用于区分每一个目标， 因此其对于Stuff语义类来说是非必需的， 但是分类标签对于Stuff语义类和Things实例类是必需的. 所以， 对于同一个实例的像素拥有相同的实例ID. 目前， 主流研究方法为： 选取一个主干网络进行特征提取， 然后将特征图分别输入到语义分割分支和实例分割分支中， 实现共享特征， 最后经过一个启发式策略将两者的输出进行合并. 但其仍存在两大问题， 一是语义分割结果和实例分割结果的重叠冲突， 二是实例分割中出现的重叠冲突. 全景分割任务包含了传统的两大任务： 语义分割和实例分割. 其中语义分割是全图像每一个像素的分类， 包括了Stuff语义类和Things实例类， 无法分割出具体的实例. 实例分割， 关注于Things实例类的检测和分割， 并没有对Stuff语义类进行检测和分割. 本研究在原有全景分割网……