一种改进的多尺度引导聚合立体匹配网络研究

唐家辉,赵 芸,徐 兴

(浙江科技学院 a.信息与电子工程学院;b.机械与能源工程学院,杭州 310023)

在过去的几十年中,双目立体匹配广泛应用于无人机[1]、自动驾驶[2]和医疗成像[3]等三维领域,尤其在对三维成像获取物体的深度有着极高精确度要求的医疗与自动驾驶领域。双目立体匹配的原理是通过模拟人眼的视觉感知,采用两个在同一水平线上的传感器获取相同场景的图像,通过两张图片对应同一个像素之间的位置差与相机本身参数之间的关系重建三维场景信息。传统的立体匹配流程通常包括四个步骤:代价计算、代价聚合、视差估计及视差细化[4-5],但其无法在反射、无纹理、昏暗及物体细小的情况下优化视差图的边缘结构以生成精确的视差图。

近些年来,随着深度学习和神经网络的发展,传统的立体匹配方法逐渐发展为端到端的深度学习立体匹配方法。早期研究者如Žbontar等[6]采用了孪生卷积神经网络来对代价计算进行改进,可以高效地形成代价空间,但是在代价聚合与视差细化中仍采取了传统的方法。直到Zhang等[7]提出的引导聚合网络(guided aggregation network,GANet),才使传统的半全局立体匹配算法(semi-global matching,SGM)具有可微性,构建了端到端的立体匹配神经网络,才最终实现了端到端的深度学习立体匹配网络。Guo等[8]通过增加对低分辨率和不连续深度的超分辨率感知,提出了可学习的高效立体匹配网络(efficient stereo matching network,ESMNet)。Zhang等[9]提出的领域不变的立体匹配网络(domain-invariant stereo matching networks,DSMNet)包含两个可以提高网络鲁棒性的网络层。……