基于二阶微分算子和测地距离的深度图超分辨率重建

董文菁　胡良梅　张旭东　杨　慧　陈仲海

(合肥工业大学计算机与信息学院图像信息处理研究室　安徽 合肥 230009)



基于二阶微分算子和测地距离的深度图超分辨率重建

董文菁胡良梅张旭东杨慧陈仲海

(合肥工业大学计算机与信息学院图像信息处理研究室安徽 合肥 230009)

摘要针对TOF相机原始获取深度图像分辨率非常低，且超分辨率重建中易出现边缘模糊和伪影的问题，提出一种基于二阶微分算子和测地距离的深度图超分辨率重建算法。以彩色信息作为引导，运用双边滤波的思想，采用测地距离把低分辨率深度图像的空间高斯核与高分辨率彩色图像的幅度高斯核函数结合起来，体现了深度图与彩色图的一致性，并引入深度核函数对两个相邻像素具有类似颜色但深度值不同的情况进行处理，抑制颜色相似但深度值不同区域的伪影现象，恢复出边缘轮廓显著的高分辨率深度图。实验结果表明，该算法可以有效保护图像的边缘结构且解决伪影问题，并在定性和定量两个方面都可达到很好的效果。

关键词深度超分辨率重建二阶微分算子测地距离TOF相机

0引言

深度信息是三维目标视觉感知的一个重要信息。人机交互、机器人视觉及三维景象重建等方面的应用[1-3]都依赖于高性能高质量的深度图。目前有以下几种方法用来捕获或估计深度图：激光测距扫描仪[4]可以获取准确的深度信息，但因采集过程过于缓慢不具备实时性且设备昂贵而限制了其应用；双目立体视觉方法[5]的相机系统很简单，但不能获得无纹理和遮挡区域的深度；Kinect[6]是微软发布的一种应用于Xbox 360的周边设备，主要是利用光编码技术来获取深度信息，获取的深度图像分辨率可达320×240，但深度测距范围为1.2～3.5 m，且不能在室外操作，也限制了其应用。目前，应用比较广泛的是TOF(Time-of-flight)深度传感器。它通过测量所发射的光信号与反射光信号之间的时间延迟，直接捕获深度信息。相比以上几种方法，TOF相机可以实时测量传感器与场景之间的距离。此外，它的捕获方法在很大程度上独立于场景特性，能有效处理无纹理区域，解决光照、阴影问题。

然而，由于硬件的限制，TOF相机获得的深度图空间分辨率较低，难以满足一些实际应用的需要。为提高深度图像的分辨率，许多学者开展了关于深度图超分辨率重建的研究[7-13]。根据处理的图像源不同，可分为单帧图像超分辨率重建和多帧图像超分辨率重建。但是，在一些实际应用中，要获取同场景的多帧图像序列是十分困难的。另一方面，由于多帧图像超分辨率算法对低分辨率图像序列之间的运动位移往往有很高的要求(必须是亚像素级别的运动位移)，故在这种情况下，多帧图像超分辨率算法也不具有可行性。同时，多帧图像超分辨算法在完成运动估计和配准后，后续的算法大多都以单帧图像的超分辨率算法为基础。所以，本文主要讨论基于单帧图像的超分辨率重建算法。由于单幅深度图像本身固有的信息较少，目前热门的研究都是基于结合彩色图像的一些先验知识恢复出图像获取时丢失的信息，从而进行基于彩色信息引导的深度超分辨率重建。然而，这类方法在颜色相似但深度不连续区域易出现边缘模糊和伪影现象。Park[9]和Kim[10]等分别采用多权重的马尔可夫随机场MRF(Markov random field)模型和三边滤波来去除深度图中的伪影以提高深度图像质量；Kang[11]等根据深度图的边缘检测特征得到权重系数，以此实现对MRF模型能量函数的约束，旨在抑制伪影现象，并通过优化能量函数得到高分辨率深度图。虽然以上几种方法都对深度图的伪影现象起到了一定的抑制作用，但由于深度传播时容易出错，因此会出现边缘模糊的情况。Kopf[12]和Cho[13]等采用联合双边上采样JBU(Joint bilateral upsampling)和引导图像滤波函数指导深度图超分辨率重建；Kim J[14]等对联合双边滤波进行改进并提出了自适应双边滤波器，用自适应平滑参数和控制参数对颜色和深度两个滤波器进行加权，不仅提高了深度图分辨率，同时很好地保持了边缘信息；Liu[15]等利用联合双边上采样的思想，利用测地距离[16]把深度空间核函数与颜色幅度核函数结合为一个高斯核，以便更好地发挥颜色信息的引导作用，指导深度图的超分辨率重建，改善深度图边缘模糊情况。以上几种方法有效改善了边缘模糊问题，然而未能去除伪影现象。

本文在文献[15]方法的基础上，结合双边滤波思想，提出了一种基于二阶微分算子和测地距离的深度图超分辨率重建算法，同时解决了边缘模糊和伪影现象。因二阶微分算子深度核函数不依赖于颜色信息，在此引入深度核函数对两个相邻像素具有类似的颜色但深度值不同的情况进行处理，联合测地距离高斯核与二阶微分算子深度高斯核函数，恢复出高分辨率深度图像，在保护边缘的同时有效解决了伪影问题。

1基于测地距离的超分辨率重建算法

彩色信息引导的联合双边上采样是深度超分辨率重建中经典的方法，其主要思想是分别运用两个高斯核函数，对低分辨率深度图进行空间滤波，对高分辨率彩色图像进行幅度滤波，得到高分辨率深度图如下：

其中，I(p)和I(q)分别表示高分辨率彩色图像上的像素点，p↓和q↓表示低分辨率深度图d上的像素点，称为原始像素；f和g分别为空间滤波和幅度滤波函数，k(p)是归一化因子，Ω(·)表示像素邻域。

联合双边上采样方法中的两个高斯核是采用欧氏距离来度量像素相异性的，没有考虑图像的边缘特性，从而导致在边缘处出现深度传播错误。因此，Liu[15]等人改用测地距离把两个高斯核结合为一个高斯核，使其具有深度空间和颜色幅度的一致性，以便在边缘区域对深度图实现更好的约束，从而改善边缘模糊情况。首先，把低分辨率深度图d映射到高分辨率彩色图后，经过配准插值得到与彩色图一样大小的估计深度图D，p和q表示估计深度图D上的像素点，I(p)和I(q)表示彩色图上的像素点，则像素点p、q之间的测地距离定义如下：

(2)

用高斯函数把测地距离转换为相关性度量，表示如下：

(3)

其中σ为核函数带宽参数，即方差。

最后得到基于测地距离的超分辨率重建结果如下：

(4)

2基于二阶微分算子和测地距离的超分辨率重建算法

上述基于测地距离的超分辨率重建算法能有效解决边缘模糊问题，但是没有对伪影现象进行处理，伪影现象一般出现在图像中颜色相似但是深度不连续区域。因此本文在此直接使用深度信息，引入了深度梯度核函数，旨在减少颜色信息对该区域的影响，从而抑制深度图的伪影现象。

深度梯度核函数获取方法如下。首先，以像素点(m,n)为例，计算得到水平及垂直方向的深度梯度如下：

(5)

其中，D表示插值得到的估计深度图。式(5)表示在一定像素范围(连续像素)内，水平方向和垂直方向的深度变化幅度大小。

由于深度图边缘上属于不同深度平面的两个相邻像素可能也会有相似的梯度值，使得一阶梯度信息不足以约束高分辨率深度图。因此，我们进一步计算二阶导数如下：

(6)

然后，计算水平和垂直方向上二阶微分算子差的绝对值，并选择两个最大输出值作为高斯核函数的输入。以像素点p、q为例，梯度差绝对值定义如下：

(7)

根据式(7)得到二阶微分算子深度高斯核函数为：

(8)

以上介绍的是两个像素点之间的测地距离。扩展到整幅深度图，为了降低计算复杂度，我们采用文献[15]中多路复用的方法来计算测地距离，这里共分成K路通道。首先，对低分辨率深度图d进行等间隔分割，间隔为δ，其对应于每一路低分辨率深度图网格中两个连续像素之间的距离。然后，计算每一路通道D上每个像素到原始像素的测地距离，据此在深度图中实现深度传播。最后，把K路结果进行累加得到高分辨率深度图。

令Sk为在第k路通道的原始像素集，每一路的测地距离表示如下：

(9)

(10)

测地距离高斯核函数集成了沿曲线的颜色和空间变化，它对物体表面的细微轮廓较为敏感，即使轮廓两侧之间的差异是微小的，也能得到锐利的深度边界，从而有效改善深度图的边缘模糊现象。二阶微分算子深度核函数不依赖于颜色信息，能有效避免因颜色相似深度不同造成的伪影现象。因此本文的方法能有效地保护图像的边缘结构且去除伪影现象。

3实验结果及分析

为了验证本文算法的有效性，我们采用Middlebury-数据集[17]中提供的深度图和RGB图以及采用TOF相机和彩色相机自行拍摄的真实场景图像分别进行了实验，并与双线性插值方法及文献[15]方法进行了对比。

本文中实验参数的设定为σ=0.5、λ=10、K=4、σh=0.3。Middlebury-数据集[17]中Cones、Teddy、Art三组图像的重建结果如图1所示。其中图1(a)为高分辨率彩色图像，图1(b)为进行下采样(×4)得到的低分辨率深度图，图1(c)为双线性插值结果，图1(d)为文献[15]方法重建结果，图1(e)为本文方法重建结果。

(a) RGB图

(b) 低分辨率深度图

(c) 双线性插值结果图

(d) 文献[15]方法重建结果图

(e) 本文方法重建结果图图1　 Middleburry-数据集[17]实验结果

从图1可以看出，利用本文方法得到的深度图在同一深度区域具有光滑的表面，在深度不连续区域有比较锐利的边缘，有效解决了边缘模糊问题。以Art图为例，在颜色相似区域上的画笔，两种对比方法的重建效果不理想，且都出现了伪影现象，本文方法很好地解决了该问题。综上分析，本文方法得到的超分辨率深度图像边缘更加清晰。

为了客观分析超分辨率重建的结果，采用峰值信噪比(peak-signal-to-noise ratio,in dB)及文献[18]中提出的DISC准则作为图像质量的评价标准，分别对Cones、Teddy、Art三组图片的重建结果进行比较。对比中采用的是Middlebury-数据集[17]里提供的真实深度值。表1给出了各算法峰值信噪比的对比结果，表2给出了DISC对比结果。这里阈值设为3。DISC主要用于度量深度不连续区域的重建结果质量，若重建后得到的深度图中某个像素和真实值之间的偏差大于设定阈值，那么该像素点则被认为是错误点。错误点的总数与不连续区域中像素的总数之比即定义为DISC，DISC的值越小，表明该深度不连续区域的错误点越少、边缘效果越好。

表1　峰值信噪比评价结果

表2　DISC评价结果

从表1、表2的评价结果可以看出，本文方法在峰值信噪比和DISC评价结果上均优于双线性插值和文献[15]的方法。

除了使用Middleburry标准数据集以外，本文采用TOF相机和彩色相机自行拍摄的真实场景图像进行了实验。实验拍摄所得彩色图像分辨率为800×800，TOF深度图像分辨率为200×200，对彩色图和深度图配准后进行实验，实验结果如图2所示。

图2　TOF相机数据实验结果

从图2中可以看出，白色纸盒与背景墙颜色相似，双线性插值和文献[15]方法的重建结果图都出现了明显的伪影现象，而本文方法则能有效避免这个问题；左边的深色盒子则在重建后出现了边缘模糊的情况，本文超分辨率重建后的深度图有锐利的边缘。综上分析，本文重建效果优于双线性插值和文献[15]的方法。

4结语

本文针对TOF相机获取场景的深度图分辨率低，并且存在边缘模糊和伪影的问题，结合同场景高分辨率彩色图像，提出一种基于二阶微分算子和测地距离的深度图超分辨率重建算法。首先，将低分辨率深度图映射到高分辨率彩色空间。然后，利用测地距离把低分辨率深度图像的空间高斯核与高分辨率彩色图像的幅度高斯核函数结合起来，以高分辨率彩色图像信息作为引导得到锐利的深度图边缘。最后，在此基础上增加二阶微分算子深度高斯核函数，从而抑制颜色相似区域的伪影现象，并重建得到高分辨率深度图像。实验结果表明本文算法可以有效地保护图像的边缘结构且抑制伪影现象，在定性和定量两个方面都可达到很好的结果，具有很好的鲁棒性。

参考文献

[1] Hussmann S,Liepert T.Three-dimensional TOF robot vision system[J].IEEE Transactions on Instrumentation and Measurement,2009,58(1):141-146.

[2] 张旭东，吴国松，胡良梅,等．飞行时间3维相机的多视角散乱点云优化配准[J]．中国图象图形学报，2013，18(11)：1445-1451

[3] Endres F,Hess J,Sturm J,et al.3-D Mapping With an RGB-D Camera[J].IEEE Fransaction on Robotics,2014,30(1):177-187.

[4] Cheng X,Zhang H,Xie R.Study on 3D laser scanning modeling method for large-scale history building[C]//Computer Application and System Modeling (ICCASM),2010 International Conference on.IEEE,2010,7:573- 577.

[5] Yoon K J,Kweon I S.Adaptive support-weight approach for correspondence search[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):650-656.

[6] Smisek J,Jancosek M,Pajdla T.3D with Kinect[M].Consumer Depth Cameras for Computer Vision.Springer London,2013:3-25.

[7] 杨宇翔，汪增福．基于彩色图像局部结构特征的深度图超分辨率算法[J].模式识别与人工智能,2013,26(5):454-459.

[8] 张旭东，沈玉亮，胡良梅,等．改进的PMD距离图像超分辨率重建算法[J]．中国图象图形学报，2012，17(4):480-486．

[9] Park J,Kim H,Tai Y W,et al.High quality depth map upsampling for 3d-tof cameras[C]//Computer Vision (ICCV),2011 IEEE International Conference on.IEEE,2011:1623-1630.

[10] Kim J,Lee J,Han S,et al.Trilateral filter construction for depth map upsampling [C]//IVMSP Workshop,2013 IEEE 11th.IEEE,2013:1-4.

[11] Kang Y S,Lee S B,Ho Y S.Depth map upsampling using depth local features[J].Electronics Letters,2014,50(3):170-171.

[12] Kopf J,Cohen M F,Lischinski D,et al.Joint bilateral upsampling[C]//ACM Transactions on Graphics (TOG).ACM,2007,26(3):96.

[13] Cho J H,Ikehata S,Yoo H,et al.Depth map up-sampling using cost-volume filtering[C]//IVMSP Workshop,2013 IEEE 11th.IEEE,2013:1-4.

[14] Kim J,Jeon G,Jeong J.Joint-adaptive bilateral depth map upsampling[J].Signal Processing:Image Communication,2014,29(4):506-513.

[15] Liu M Y,Tuzel O,Taguchi Y.Joint geodesic upsampling of depth images[C]//Computer Vision and Pattern Recognition (CVPR),2013 IEEE Conference on.IEEE,2013:169-176.

[16] P J Toivanen.New geodesic distance transforms for grayscale images[J].Pattern Recognition Letters,1996,17(5):437-450.

[17] Scharstein D,Szeliski R.High-accuracy stereo depth maps using structured light[C]//Computer Vision and Pattern Recognition,2003.Proceedings.2003 IEEE Computer Society Conference on.IEEE,2003,1:195- 202.

[18] Daniel Scharstein,Richard Szeliski.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International journal of computer vision,2002,47(1-3):7-42.

收稿日期：2015-03-04。国家自然科学基金项目(61273237)；安徽省自然科学基金项目(11040606M149)。董文菁，硕士生，主研领域：智能信息处理，图像处理。胡良梅，副教授。张旭东，教授。杨慧，硕士生。陈仲海，硕士生。

中图分类号TP391

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.07.046

DEPTH IMAGE SUPER-RESOLUTION RECONSTRUCTION BASED ON SECOND-ORDER DIFFERENTIAL OPERATOR AND GEODESIC DISTANCE

Dong WenjingHu LiangmeiZhang XudongYang HuiChen Zhonghai

(LaboratoryofImageInformationProcessing,SchoolofComputerandInformation,HefeiUniversityofTechnology,Hefei230009,Anhui,China)

AbstractThe resolution of originally captured depth image with TOF camera is very low,and it is prone to having problems of blurred edges and artifacts in super-resolution reconstruction.In light of this issue,we proposed a depth map super-resolution reconstruction method which is based on second-order differential operator and geodesic distance.The algorithm is guided with colour information,uses the idea of bilateral filtering,and combines the spatial Gaussian kernel of low resolution depth image and the magnitude Gaussian kernel function of high resolution colour image with geodesic distance,thus reflects the consistency of depth map and colour image.Moreover,the algorithm introduces the depth kernel function to deal with the situation that two adjacent pixels have similar colour but different depth values,and suppresses the artifacts in the regions with similar colour but different depth values.Then the high resolution depth map with significant edge contour is restored.Experimental results demonstrated that this algorithm can effectively preserve the edge structure of image and solve artifacts problem,and reaches very good effect in both qualitative and quantitative aspects.

KeywordsDepth image super-resolution reconstructionSecond-order differential operatorGeodesic distanceTOF camera