一种由粗至精的RGB-D室内场景语义分割方法

刘天亮　 冯希龙　 顾雁秋　 戴修斌　 罗杰波

(1南京邮电大学江苏省图像处理与图像通信重点实验室, 南京 210003)(2罗彻斯特大学计算机科学系, 美国罗彻斯特 14627)



一种由粗至精的RGB-D室内场景语义分割方法

刘天亮1冯希龙1顾雁秋1戴修斌1罗杰波2

(1南京邮电大学江苏省图像处理与图像通信重点实验室, 南京 210003)(2罗彻斯特大学计算机科学系, 美国罗彻斯特 14627)

为了标注室内场景中可见物体,提出一种基于RGB-D数据由粗至精的室内场景语义分割方法.首先,利用分层显著度导引的简单线性迭代聚类过分割和鲁棒多模态区域特征,构建面向语义类别的超像素区域池,基于随机决策森林分类器判决各个超像素区域的语义类别,实现粗粒度区域级语义标签推断.然后,为了改善粗粒度级的语义标签,利用几何深度导引和内部反馈机制改进像素级稠密全连接条件随机场模型,以求精细粒度像素级语义标注.最后,在粗、细粒度语义标注之间引入全局递归式反馈,渐进式迭代更新室内场景的语义类别标签.2个公开的RGB-D室内场景数据集上的实验结果表明,与其他方法相比,所提出的语义分割方法无论在主观还是客观评估上,均具有较好的效果.

RGB-D室内场景;语义分割;SLIC过分割;稠密CRFs;递归式反馈

场景理解一直都是图像处理与计算视觉领域研究的热点.给室内场景中每个像素稠密地提供一个预定义的语义类别标签,能为移动机器导航、人机交互和虚拟现实等应……