深度图实时提取系统中后处理的设计与实现

李 攀，华艳秋，李火生

(上海工程技术大学 高等职业技术学院，上海200437)

深度图实时提取系统中后处理的设计与实现

李 攀，华艳秋，李火生

(上海工程技术大学 高等职业技术学院，上海200437)

基于硬件的深度图实时提取系统可实现深度图的实时提取，但由于硬件结构的局限性不能像软件那样实现较复杂的匹配算法，会产生较多误匹配。在深度图实时提取系统上设计和实现深度图后处理功能，先对视差结果进行匹配唯一性检测，再根据需要针对左右视图对应的视差结果分别设计两种左右一致性检测方案，最后利用正确的深度值进行空洞填充。实验表明该设计和实现的后处理功能可与深度图的提取在同一系统上实时地进行，并能得到质量较好的深度图。

深度图;后处理;视差;FPGA

现阶段MVD(视频+深度)模式已成为3DTV系统中立体视频采集的研究热点［1］，深度图的提取效率影响着整个3DTV系统的执行效率，深度图的质量也直接决定着3DTV显示端的绘制效果，因此深度信息的提取效率和质量对于3DTV系统而言是至关重要的。

一些对深度提取有实时要求的场合，深度图的提取一般通过局部的立体匹配算法得到［2］，实现平台通常选用FPGA等硬件［3-6］。但是由于硬件结构的特性不能像软件那样实现较复杂的立体匹配算法，同时局部立体匹配算法也存在自身的局限，如对弱纹理区域、重复纹理以及噪声等处理效果不好，因此会有较多的误匹配产生［7］。针对上述问题，本文在基于FPGA的深度图实时提取系统基础上设计深度图后处理功能，对得到的初始深度图进行误匹配修正和空洞填充，以模块化的方式加入深度图实时提取系统并在FPGA平台上实现，可有效提高深度图的提取质量。

1 深度图实时提取系统

首先对基于FPGA的深度图实时提取系统从结构上进行说明，如图1所示，该系统主要应用于3DTV系统中双视或多视视频的实时深度提取。1为双目SDI高清摄像机;2为FPGA开发平台，是算法的实现平台，通过2路SDI接口与双目摄相机经过校正的两路视频连接，通过6 PCIE接口与后端编码服务器连接;3为3DTV系统中的编码端，将提取的深度图实时地进行编码;4为FPGA开发平台上的FPGA芯片，是该系统的核心器件，在FPGA芯片上进行SDI协议解析、立体匹配、匹配唯一性检测、左右一致性检测、深度图空洞填充等;将提取出来并经过后处理的深度图通过5 DDR2缓存后，再稳定地由PCIE接口输入3DTV系统中的编码服务器。

在FPGA内对经SDI协议解析后的视频数据进行深度提取和后处理。图1中A为深度提取模块，包括Census区域变换、匹配代价累积、WTA最优选择等步骤;B为误匹配检测及后处理模块，包括匹配唯一性检测、左右一致性检测、深度图空洞填充等步骤。

2 深度图后处理的实现

在深度图实时提取系统中，经提取得到每一像素对应的视差值之后，为提高深度图质量，须对深度图进行后处理，本节着重说明深度图后处理的设计和实现过程。

2.1 匹配唯一性检测

在立体匹配过程中，建立匹配代价测度准则之后，通过WTA算法得到视差值。但在WTA过程中可能有多个待匹配点的匹配代价接近最小匹配代价值，使视差结果不稳定。可以通过匹配代价最小值检测来克服这个问题，具体表达式如式(1)所示

图1 深度图实时提取系统结构示意图

式中:th是预设门限，可根据经验设定，一般取值1.2～1.5，在本设计中，将th门限值设定为1.33;val0是视差搜索范围中待匹配点中的匹配代价次小值;val1是匹配代价最小值。当满足上述公式时，即匹配代价次小值与最小值相差大于一定程度时，表明视差结果满足匹配唯一性检测，视此次最小代价选择结果为准确值，将该点作为稳定点。若不满足式(1)，则将此点划为不稳定点进行处理。

硬件实现小数和除法的计算是比较复杂的，可以利用加法器和比较器替代这些操作，达到同样的效果，具体RTL级框图如图2所示。图中COMP4X和COMP3X分别表示要进行式(1)比较的最小值和次小值。对于COMP4X先将其向左移位2 bit，相当于将最小值乘以4;对于COMP3X将其向左移位1 bit，再加COMP3X本身，相当于将次小值乘以3;最后通过小于等于比较器将两个相乘后的结果进行比较，若结果COMPOUT为1，说明这2个检测值能使门限th=1.33时的式(1)成立，反之则不成立。

图2 匹配唯一性检测中比较模块的RTL示意图

2.2 左右一致性检测

左右一致性检测是基于匹配可逆假设的，该假设具体内容是:当左视图为参考图时，在右视图寻找到匹配点，以右视图上找到的匹配点作为参考点，反过来也一定能在左视图上寻找到匹配点，且该匹配点与参考点是重合的。这种检测方法也称为交叉检测法，左右一致性准则要求分别以左、右视图为基准获得的所有像素匹配点对中，只有两次结果互为对应匹配关系时才是有效的匹配点对，这种检测对于遮挡区域具有较高的检测率。一致性准则可以表示为

式中:dLR表示以左视图为基准的视差;dRL表示以右视图为基准的视差。将不满足该假设的点标记为不可靠点。考虑到亚像素精度的缺失，在硬件实现过程中允许以左右视图为基准的视差值存在一个像素的偏差，若偏差大于一个像素则被视为无效视差。

值得注意的一点是立体匹配之后以右视图为参考的视差结果会滞后右视图原像素64个时钟周期，因为同一物体像素点在左视图偏右，在右视图偏左，对右视图任一像素点进行视差计算时须寄存一个视差范围(本系统视差范围为64)的时钟来等待左视图的对应像素点，这样才能在同一时钟下进行立体匹配。欲通过左右一致性模块得到左视图的视差图，须在左右一致性检测模块之前对左视图结果添加64时钟延迟模块，具体原因可通过图3的时序操作过程来解释。

图3 左右一致性检测求取左视图视差的时序过程

如果对左视图视差添加了64时钟延迟模块，则进入左右一致性检测模块的两路视差结果同步对齐，同一物体对应的点会规则地在左视图偏右，在右视图偏左，同一物体所应对的点出现在右视图中的时刻会早于左视图，具体间隔为视差范围内1～64时钟周期不等。这就要求对右视图的视差结果利用64个移位寄存器存储，这样当左视图某一点的视差为n时，可以比较右视图视差第n个移位寄存器在此时钟时刻值是否在±1的偏差范围之内，进而判断该像素点的视差是否符合检测。上述存储和比较过程如图3所示，该图展示了在某一点3种可能的视差值下通过左右一致性检测的例子，由此可类推所有可能的视差值下的检测过程，以及不能通过左右一致性检测的情况。在横轴任一时刻T0，对于左视图上的某一点，假设其对应视差值可能有3种:当视差值是5时，通过移位寄存器对右视图视差值寄存，此时寄存器R5应等于5，同理对于第二、第三种假设，R10应等于10，R32应等于32。这是3种假设都满足左右一致性检测的情况，如果寄存器Rn≠n±1(n=1～64)，则说明左视图该像素点的视差值不能满足左右一致性检测。

事实上，如果左视图不经过延迟64个时钟，即左右视图匹配结果直接进入左右一致性检测模块，右视图视差实际上滞后于左视图64个时钟，图3所示通过先前时刻右视图视差值的缓存值和当前时刻左视图的视差值做比较的方案将不再适用。左右一致性检测只能按图4所示得到右视图的视差。

图4 左右一致性检测求取右视图视差的时序过程

在右视图视差中，当视差值是30时，它对应于T0～64时刻的右视图点a所对应的视差，在正确的情况下左视图中点a右移30个像素处的点对应的视差应该同为30，那么该值将经过35次移位寄存，在T0时刻R35=30。同理对于第二、第三种假设，R10应等于55，R3应等于62。这是3种假设都满足左右一致性检测的情况，如果寄存器Rn≠(64+1-n±1)，则说明右视图该像素点的视差值不能满足左右一致性检测。

2.3 空洞填充

左右一致性检测可滤除大量的误匹配点，尤其是由于遮挡引起的误匹配，可增强深度提取结果的准确性和鲁棒性，但是会不可避免地造成深度图上遮挡位置的较大面积空洞，将这些遮挡处存在空洞的深度图用于虚拟视的绘制必然会引起物体边缘出现裂纹。

由此必须对提取出来的深度图进行空洞填充，深度图上的空洞大多是由左右一致性检测过程中滤除的误匹配造成的，而这些误匹配通常是由遮挡引起的，因为被遮挡的点没有有效的信息参与匹配，因此空洞的位置通常都是背景点，所以可以利用背景点的深度值对空洞进行填充。

2.2 节提供了进行左右一致性检测的两种结构，第一种结构可得到左视图对应视差，由该视差图转换的深度图的空洞在物体右侧，而背景点的深度值又会在空洞的右侧。因视频流中视图像素自左向右依次出现，只能存储已知的数据去填充未来数据，而不能用未来的数据填充现在的数据，所以不能用空洞右侧的背景深度值填充空洞。第二种结构得到右视图对应视差图，可直接存储经过左右一致性检测的点的深度值，当出现空洞时将存储的值予以替代即可，这也是本文设计图4所示左右一致性检测方案的原因所在。

3 实验结果及分析

本节将对深度图实时提取系统及后处理从深度图提取效果以及硬件资源占用两个方面展开分析。

3.1 深度图提取结果

以1 920×1 080的分辨率对图5a场景进行拍摄，提取所得深度图如图5b所示。

该系统利用基于非参数区域变换的立体匹配算法实现立体匹配［8］，从图可知，虽然局部的立体匹配效果比不上全局立体匹配算法，但在室内环境中椅子、地板等场景中较显著的物体都得到了质量较好的深度图，且非参数变换的立体匹配对于噪声和光照不均都有较好的鲁棒性。实现了深度图提取后处理与提取在同一系统上实时进行，具有较好的现实应用意义。

图5 深度提取结果

3.2 资源占用

本文设计系统所采用的FPGA主芯片为Altera Arria IIGX260，芯片内部大量的资源对于存储和高速并行运算都是很有优势的。当添加了深度提取及后处理算法之后，联同外围SDI解析、DDR2缓存、PCIE传输等模块，其主要内部资源数如表1所示。

表1 深度提取和后处理程序适配后FPGA资源占用情况

从上表可以看出，本文的设计经实现后具有合理的资源占用率。虽然高分辨率视频的深度图后处理需要占用更多的硬件资源，但通过合理的设计，灵活运用面积与速度互换思想，在保证系统实时运行的前提下，可将资源的占用率有效地控制在合理的范围内。

［1］姜吉祥，屈玉福.双目视觉立体匹配算法对比研究［C］//全国射线数字成像与CT新技术研讨会论文集.绵阳:中国体视学学会，2012:39-49.

［2］王建伟，滕国伟，李贺建，等.一种高分辨率深度图实时提取算法与硬件实现［J］.电视技术，2012，36(23):21-24.

［3］AMBROSCH K，HUMENBERGER M，KUBINGERW，et al.Hardware implementation of an SAD based stereo vision algorithm［C］//Proc. Conference on Computer Vision and Pattern Recognition Workshops. Minneapolis:［s.n.］，2007:1-6.

［4］CHEN L，JIA Y.A parallel reconfigurable architecture for real-time stereo vision［C］//Proc.International Conference on Embedded Software and Systems.Hanzhou:［s.n.］，2009:32-39.

［5］LONGFIELD J，STEPHEN C，MARK L.A parameterized stereo vision core for FPGAs［C］//Proc.IEEE Symposium on Field Programmable Custom Computing Machines.Napa:IEEE Press，2009:263-266.

［6］JIN S，CHO J，PHAM X，et al.FPGA design and implementation of a real-time stereo vision system［J］.IEEE Trans.Circuits and Systems for Video Technology，2010，20(1):15-26.

［7］张广军.机器视觉［M］.北京:科学出版社，2005.

［8］HE R，YU M，YANG Y，et al.Comparison of the depth quantification method in terms of coding and synthesizing capacity in 3DTV system［C］//Proc.ICSP 2008.Beijing:IEEE Press，2008:1279-1282.

Post-processing Design and Im plementation in Real-time Depth M ap Extraction System

LIPan，HUA Yanqiu，LIHuosheng
(College of Vocational Technology，Shanghai University of Engineering Science，Shanghai200437，China)

Real-time depthmap extraction system based on hardware can extract depthmap in real time，but it can not implement complicated algorithm as software because of the the limitation of hardware structure，and this results in more wrong stereomatching.Depthmap post processing function is designed in real-time depthmap extraction system in this paper.Aftermatching costunique test，left-rightand right-left consistency check solutions are implemented respectively，and the cavities in depthmaps can be filled by right depth values on the basis of right-left consistency check solution.Experiments have shown that depth map post-processing and extraction function can be implemented in the same system in real-time，and depth maps are of better quality.

depth map;post-processing;disparity;FPGA

TP391.9

A

李 攀(1987—)，硕士，研究方向为信号处理、医学图像处理、嵌入式技术;

�� 雯

2013-12-04

【本文献信息】李攀，华艳秋，李火生.深度图实时提取系统中后处理的设计与实现［J］.电视技术，2014，38(23).

华艳秋(1982—)，女，硕士，研究方向为信号处理、医学图像处理、嵌入式技术;

李火生(1987—)，硕士，研究方向为信号处理、医学图像处理、嵌入式技术。