面向实景的单图三维重建算法研究

韩煌达，张海翔，马汉杰，蒋明峰，冯 杰

（浙江理工大学 信息学院，浙江 杭州 310000）

0 引言

在计算机视觉领域，基于图像的三维重建十分具有挑战性。目前，研究者使用的方法可分为多目图像重建和单图三维重建。前者需要从多个角度对物体进行测量，因此成本较高；而后者只需要单幅图像作为输入，十分便捷，可用于机器人、无人驾驶等诸多领域。随着深度学习的快速发展，一系列基于不同三维表示方法的单图三维重建网络被提出，这些网络能较准确地重建出物体的三维形状，但是它们都是在如ShapeNet 这样的合成基准上开发的［1］。ShapeNet 数据集的渲染图像由孤立、处于中心位置的物体组成，并且图像没有背景。因此，这些网络在面对更为复杂的实景图像中的物体时无法重建出令人满意的三维模型。

面对实景图像中的物体，Yao 等［2］使用从目标检测网络中获得的掩膜图和包围框，通过预测物体的三维属性对基础三维网格进行形变，从而生成和操控三维模型，这些研究的重心在于对物体的三维操控；Wu 等［3］训练一个3DVAE-GAN 进行三维模型重建，但所用图像经过人工裁剪，使物体处于图像中心位置。此外，生成的模型分辨率较低；Gkioxari 等［4］结合目标检测网络，提出了Mesh R-CNN。该网络首先预测出一个粗糙的体素表示，之后将其转化为初始网格，再通过Scarsellif 等［5］提出的图卷积网络对初始网格进行形变从而生成三维模型。该网络能准确地从实景图像中重建三维模型，是目前较为有效的方法。……