联合语义感知与域适应方法的单目深度估计*

詹 雁， 张 娟， 金昌基

(1.上海工程技术大学 电子电气工程学院,上海 201620；2.韩国科学技术院,韩国 大田 12580)

0 引 言

深度信息一直被广泛应用[1～3]。近年来，随着卷积神经网络(convolutional neural network,CNN)技术的发展，单目深度估计任务也取得了良好的效果。基于卷积神经网络的方法层出不穷[4～7]。早期使用CNN解决深度估计任务的方法均为监督式训练[5,6]，需提供大量真实场景的图像和对应的深度真值，实际获取真实场景的深度信息成本非常昂贵且得到的深度图存在一定的误差。为了克服监督式训练的弊端，有人提出了使用无监督式训练[7～9]，在训练过程中不需要场景的深度真值，而是使用几何信息进行约束。这种方法克服了训练过程中对真值的依赖，但容易受到其它因素影响，例如光照、遮挡、模糊等。相较于真实世界数据，合成数据的深度图更容易获取。因此，国内外一些学者提出使用合成图像解决真实世界场景的深度估计问题[10]，取得了一定的效果。文献[10]联合训练了图像转换网络和单目深度估计网络，但在转换网络过程中，没有考虑真实图像和合成图像的语义和几何结构差异。

针对以上文献中的不足，本文提出基于域适应方法解决真实场景的深度估计问题，引入感知损失加强域转换的稳定性。同时，融入了空间梯度损失优化深度图的细节信息。

1 本文方法

本文的主要目标是训练得到一个深度估计模型fT。图1是整体流程图，系统架构由转换网络和深度估计网络组成。真实域的数据为一组真实世界的图像，标记为xr。……