3D形状体素的多尺度残差特征编码方法研究

吴 杨，张海翔,马汉杰，蒋明峰，冯 杰

(浙江理工大学 信息学院，浙江 杭州 310018)

0 引言

三维形状表达技术一直是计算机视觉领域的重要研究课题。与图片相比，三维模型能够传递出更多的信息，与用户的交互也更加真实。另外，三维模型也应用于无人驾驶、机器人的地图重建上，在游戏和VR领域也有所涉及。因此，如何表达出高质量的三维模型是一个重要的问题。

与传统的三维形状表达工作相比，基于深度学习的三维形状表达任务，是一个重要的研究问题，它能够通过端到端的学习直接产生精细的三维模型。当前，基于深度学习的三维表达，根据表示方法的不同主要分为体素法、八叉树法、隐函数法、点云法和网格法，其中体素形状表达是三维形状表达方法中的重要研究内容，具有很多优势。首先，体素数据具有良好的结构，便于特征学习和计算，基于图像的处理方法，可以应用到三维模型的处理中来，且体素表达形状的结构类型不受限制。其次，三维表达中对体素的特征编码，可以作为三维重建中图片编码器的学习目标，作为三维重建的中间过程。但是，体素表示也存在着很多问题：① 现有的方法主要使用3DCNN来进行编码，仅利用了体素的层次特征，更高精度特征编码方法有待进一步研究；② 由于体素编码的提高存在困难，大多数方法通过提高分辨率的方式来增加模型的效果；③ 体素表示的方法在训练时会占用大量内存，使得学习的成本变高。……