基于成像一致性检测的光场图像快速深度估计方法

徐翎丰

摘要：光场相机可以通过单次成像同时记录场景中光线的强度和角度信息，这使其在深度估计中具有独特优势。但目前的深度估计方法普遍存在计算量大、耗时长的问题，使得深度估计方法的实时性较差，限制了深度估计的使用场景。针对这一问题，本文从成本量函数和优化方法两方面进行了改进。实验结果表明，本文方法在提高了深度估计精度的同时减少了计算耗时，提高了算法的实时性。

关键词：深度估计;成像一致性检测;数字重聚焦;光场

中图分类号：TP18        文献标识码：A

文章编号：1009-3044（2019）20-0233-02

开放科学（资源服务）标识码（OSID）：

Abstract：The light field camera can simultaneously record the intensity and angle information of the light in the scene by one exposure， which makes it have a unique advantage in depth estimation. However， the current depth estimation method generally has a large computational complexity and a long time-consuming problem， which makes the depth estimation method have poor real-time performance and limits the usage scenarios of the depth estimation. In response to this problem， this paper improves by constructing a new cost function. Firstly， digital refocusing is performed by using the original image of the light field to obtain the light field images of different depth planes. Then， the image photo-consistency detection is performed on the light field image of each depth layer， and the cost function is constructed， and adaptively acquired by the principle of minimum cost. The optimal cost at each point is obtained from the initial depth map.Finally， the fast weighted median filter is used to optimize the final depth map. The experimental results show that the proposed method reduces the computation time while ensuring the accuracy of depth estimation and improves the real-time performance of the algorithm.

Key words： depth estimation; photo-consistency detection; digital refocus; light field

當前，快速、高精度三维重建和三维成像已经成为市场的一大需求。三维技术的核心——深度估计也逐渐成为研究热点。传统的深度估计设备主要是传统相机或是相机阵列，前者单次拍摄所获取的图像信息量低，后者便携性较差。光场相机的出现解决了这一问题。光场相机是当今一种新兴的相机种类，在传统的相机透镜后加入微透镜阵列使得它可以通过单次成像同时记录场景中光线的强度和角度信息。

目前，利用光场图像进行深度估计的方法主要基于立体匹配的方法、基于极平面图像（EPI）的方法以及基于重聚焦的方法。基于立体匹配的方法中比较有代表性的是Jeon等人[1]的方法。他们较好地解决了光场相机的窄基线问题，但算法依然会受场景中的阴影、纹理和弱纹理区域影响。基于重聚焦的深度估计方法中较有代表性的是Tao等人[2]的方法，他们用马尔可夫随机场将匹配和散焦两种线索融合以进行深度估计，但其全局优化方法不仅增加了计算时间，而且使得深度估计结果过于平滑。之后，Ying等人[3]对这一不足进行了进一步改进，提升了算法对复杂遮挡区域的计算效果，但遮挡处理也使得该算法计算复杂、计算耗时长。针对以上方法中计算复杂、耗时长的问题，本文提出了一种基于成像一致性检测的快速深度估计方法。

1算法原理

1.1 数字重聚焦

本文参考文献[4]中的方法进行数字重聚焦，重聚焦公式如下：

式中，[Lα]为重聚焦之后的光场图像;[L]为重聚焦之前的光场图像;[α]为重聚焦参数，是重聚焦后深度与重聚焦之前深度之比;[s，t]为空间坐标;[u，v]为角度坐标。计算点在每个深度图像中的匹配代价值，则匹配代价值最小的重聚焦图像所对应的深度值即为该点的深度值。

1.2 匹配代价构建

当聚焦到某点的正确深度时，图像中一个宏像素中所有像素对应空间中的同一个点，即像素值一致性强。利用这一特性，本文构建如下匹配代价函数：

式中，[Cα（s，t）]为深度为[α]的重聚焦图像中空间坐标为[s，t]的点的匹配代价值;[N]为宏像素[P]内的点的数量;[Iu，v]为宏像素[P]内角度坐标为[u，v]的点;[I]为宏像素[P]中像素的平均值。

1.3 初始深度估计

经过计算，能够得到图像中每个点在各个深度面的匹配代价值，之后采用最小代价原则，自适应地选取最佳深度值：

1.4 初始深度优化

由于局部算法运算时取的是局部的最优解，但局部最优解往往不是全局最优解，这导致

初始深度图中存在噪声点，因此需要对其进行优化，将局部结果进行扩散。目前较为常用的方法是用图割算法进行全局优化，但这种方法存在着计算耗时长和易受原图像中边缘信息干扰的缺点。因此，本文采用文献[5]中的加权中值滤波来优化初始深度图。

2 实验结果与分析

2.1 实验平台

本文实验所使用设备为PC，主要配置如下：CPU为IntelCorei5-6500，主频为3.20GHz，4核;RAM为8GB，操作系统为Windows10，64位;使用Matlab与C++混合编程，Matlab版本为R2014b。

2.2 实验数据

为证明本文方法的有效性，本文选取HCI数据集中的光场图像进行深度估计。HCI数据集是采用Blender软件渲染得到的光场数据，空间分辨率为512×512像素，角度分辨率为9×9，提供子孔径图像、相机参数和深度真值（GroundTruth），可以对算法效果进行全方位评估。

2.3 實验设计

算法选取方面，本文选取了文献 [1] 、文献 [2] 和文献 [3] 的方法参与对比。其中，文献[1]的方法能够代表传统的立体匹配方法;文献[2]的方法能够代表传统的重聚焦方法;文献[3]是在文献[2]计算框架的基础上增加了对复杂遮挡场景的处理，其适应性更佳。

参数设置方面，为了控制变量，本文中参与对比的所有算法的深度等级/最大视差都设置为101级。

2.4 结果对比

本文对比选取的指标为均方误差（MSE×100），计算公式如下：

式中，[I]为光场图像[L]中的一点，[D（I）]为点[I]处的深度值;[gt（I）]为点[I]处的深度真值;[|L|]为图像[L]中的像素总数。

表1给出了各种方法深度结果的均方误差值以及算法平均耗时，可以看出，本文方法在多数场景中可以得到最优结果，在计算效率和计算精度两方面均明显优于其他方法。

3 结论

针对目前光场影像深度估计方法计算复杂、耗时长的问题，本文提出了一种快速的光场影像深度估计方法。首先利用光场原始图像进行数字重聚焦，得到不同深度面的光场图像;之后对每一深度层的光场图像进行成像一致性检测，构建成本量函数，并利用最小成本原则自适应地获取每个点处的最佳成本量，得到初始深度图;最后通过快速加权中值滤波进行优化，得到最终深度图。经实验结果证明，本文算法能够同时提高算法的计算效率和计算精度。下一步工作中，我们将着力于进一步提升算法对复杂场景的深度估计精度。

参考文献：

[1] Jeon H G， Park J， Choe G， et al. Accurate Depth Map Estimation from a Lenslet Light Field Camera [C]. Proceedings of the 2015 IEEE Conferenceon Computer Vision and Pattern Recognition. Boston， USA： [IEEE]， 2015.

[2] Tao M W， Hadap S， Malik J， et al. Depth from combining defocus and correspondence using light-field cameras[C]. Proceedings of the IEEE International Conference on Computer Vision （ICCV）. Sydney， Austrilia： [IEEE]， 2013.

【通联编辑：唐一东】