单目相机在无监督学习多任务场景理解中的应用

华东理工大学信息科学与工程学院 童云斐 陈俊咏 李佳宁 潘泽恩

为了解决场景理解在无标签数据时难以适用的情况，以及无监督学习的场景理解存在的鲁棒性差、未能满足多任务需求等缺点，基于Mask R-CNN、struct2depth、SfMLearner模型，通过模型训练、图像预处理、多任务耦合等方法，用拍摄的实景视频验证模型效果，并和原模型处理结果作对比。实验结果表明，进行预处理后的图像结果前景轮廓更加清晰，我们的模型实现了多任务的场景理解，而原模型仅实现了单一任务。改进的无监督学习多任务场景理解算法不仅提升了鲁棒性，而且直接反映了物体到相机的距离，同时提高了深度估计的精度。

随着汽车行业的快速发展，为提供更便利安全的驾驶服务，无人驾驶技术开发已经成为汽车及信息行业的热门研究对象。场景理解是辅助驾驶中关键性环节，常见的场景理解任务包括深度估计、目标识别、语义分割等。本课题拟对无监督单目相机场景理解技术的实现展开研究。基于无标签图像的场景理解算法无需价格高昂的标签数据，应用范围广泛；除外，还可同时实现多种任务的耦合训练，提高算法精度并降低训练难度，有很好的研究前景。

1 场景理解

本文完成的场景理解任务包括目标识别、运动分割和深度估计。目标识别任务旨在检测前景中的物体对象，并对其进行识别分类，得到对象的属性信息。由于使用到分类算法，此部分网络模型是有监督地训练的。……