基于CNN的彩色图像引导的深度图像超分辨率重建

王紫薇，邓慧萍，向 森，杨建帆

基于CNN的彩色图像引导的深度图像超分辨率重建

王紫薇1,2，邓慧萍1,2，向 森1,2，杨建帆1,2

(1. 武汉科技大学信息科学与工程学院，湖北 武汉 430080；2. 武汉科技大学冶金自动化与检测技术教育部工程研究中心，湖北 武汉 430080)

深度图像表达了三维场景内物体之间的相对距离信息，根据深度图像表达的信息，人们能够准确的获得物体在空间中的位置以及不同物体之间的相对距离，使得深度图像在立体视觉等领域有着广泛的应用。然而受RGB-D传感器硬件条件的限制，获取的深度图像分辨率低，无法满足一些具有高精度要求的实际应用的需求。近年来深度学习特别是卷积神经网络(CNN)在图像处理方面获得了非常大的成功。为此提出了一种基于CNN的彩色图像引导的深度图像超分辨率重建。首先，利用CNN学习彩色图像的边缘特征信息与深度图像的深度特征信息，获得边缘纹理清晰的高分辨率深度图像；再通过不同大小尺寸滤波核的卷积层，进一步优化深度图像的边缘纹理细节，获得更高质量的高分辨率深度图像。实验结果表明，相较于其他方法，该方法RMSE值更低，重建的图像也能更好的恢复图像边缘纹理细节。

超分辨率重建；深度图像；深度信息；卷积神经网络；深度学习

深度信息是人类感知三维空间事物的重要信息。RGB-D传感器(Kinect等)的发展，能够实时的获取空间内物体的深度信息，被广泛应用于机器人视觉、空间位姿测量、多媒体娱乐等多个领域[1-3]。……