基于FPGA的三维重建系统设计

吴锐 龚云鑫

摘要：在线结构光测量基础上，设计了一种三维重建系统。该重建系统涉及的关键技术有4点：将FPGA采集的标定照片通过网口传输至上位机进行相机标定;对FPGA采集的重建图像进行图像分割;对分割的目标区域求取中心坐标;结合相机标定参数与中心坐标进行模型面积求取及三维重建。

关键词：FPGA;线结构光;三维重建;单目视觉测量

1 概述

1.1    设计背景

随着我国制造业迅速发展，工业界在加工控制和质量检测方面都迫切需要高精度、速度快、方便、经济的三维表面形貌测量及建模设备。研究复杂曲面的三维表面形貌精密测量技术一直是现代工业检测的难题之一，也是工程界亟需解决的问题之一[1]。在计算机视觉和逆向工程技术迅猛发展的大背景下，提升计算机视觉和三维光学测量系统的效率和性能，对于高效快速地获取点云数据有着重要的研究意义，其应用前景广阔，具有重大的实用价值。

1.2    设计研究现状

从20世纪80年代初到80年代中期，计算机视觉技术迎来了全球性的研究热潮，计算机视觉技术得到了快速发展，基于视觉的三维重建技术是以Marr的视觉理论框架为基础，形成了各种各样的理论方法，新概念、新方法、新理論不断涌现。目前，计算机立体视觉已经广泛运用于文物保护、工业探伤、城镇建模、医疗等各个方面[2]。

运用FPGA实现三维建模近年来发展迅猛。Altera公司的吴继华[3]探讨了将低成本FPGA用于视频和图像处理的可能性。Brian J.Jentz结合Altera公司FPGA特点对高分辨率、高清晰度、高压缩率的图像传输和处理进行了研究，介绍了FPGA在图像处理领域的不同应用情况，分析了以FPGA作为独立处理器的优点[4]。林品武[5]等人设计了基于FPGA的三维显示系统，可对采集的三维信息进行实时显示。曹健[6]等设计了一种基于FPGA和DLP的旋转三维图像生成系统，通过高速旋转屏显示视频流，实现了视觉上的假三维。钱峰[7]等实现了基于FPGA的医学图像三维重建系统设计。段勇[8]等人提出使用多台摄像机搭建动态场景实时三维重建系统。

1.3    本设计主要内容

本设计主要工作有搭建三维重建硬件平台，测量摄像机内参数，求取激光平面方程，采集图像，并将图像转化为灰度图，再进行图像预处理，完成线结构光与背景图片的分割，提取出线结构光的中心坐标，最后结合相机标定的参数将三维坐标恢复，实现三维场景的重建。

2 系统方案设计

2.1    系统原理

基于FPGA的线结构光三维重建系统由结构光投射器、相机及FPGA电路系统板等组成，其理论依据是激光三角测量原理，如图1所示。首先，结构光发射器将结构光光条纹垂直投射到被测物体表面上，在物体表面上形成有形变的光条纹图像，此时在空间另一位置固定一台摄像机，以采集带有光条纹的被测物体的图像。激光器和相机之间的夹角和被测物体表面复杂度是影响光条纹图像畸变程度的主要因素。其次，通过相机标定求解出相机内外参数、光平面与摄像机坐标系的相互变换矩阵。最后，利用空间几何关系最终求得图像中光条纹的三维信息。

本设计采用线结构光法，如图2所示，激光器投射出的光束在空间中形成一个窄的激光平面，当与被测物体相交时在物体表面产生一光条，该光条因为物体表面深度的变化以及可能的间隙而受到调制，表现在图像中是光条发生畸变和不连续，畸变程度与深度成正比，不连续则显示出物体表面的物理间隙。线结构光法测量就是从畸变的光条图像信息中获得物体表面的三维信息。

目前主流设计是将摄像头采集到的图像信息传送至上位机，利用CPU或者GPU完成相关算法的处理，而本设计利用FPGA芯片现场可编程、并行高速运算的优点，直接完成相关算法，图像数据几乎可实时处理。

2.2    系统总结构设计

基于FPGA的线结构光三维重建系统结构如图3所示。

基于FPGA的线结构光三维重建系统设计主体由图像采集部分、FPGA算法运算部分及PC显示屏显示部分组成。

（1）图像采集部分拟将激光笔发射的线激光呈一定角度照射到模型之上，同时利用摄像头采集合适的图像数据，送入FPGA处理器进行存储和相关运算。

（2）FPGA算法运算部分主要分为两大步骤：

步骤一：完成摄像头标定工作，搭建好系统，通过FPGA算法实现图像采集，以太网传输图片至上位机，最后在上位机软件完成摄像头的内外参数及激光平面的参数确定，为图像像素坐标转三维坐标提供支持。

步骤二：完成三维建模工作，该步骤首先通过搭建好的系统完成模型图像的采集和存储，然后进行图像灰度化及降噪处理;其次进行图像分割，去除掉与线激光带无关的背景部分;最后对线激光带进行中心特征点的求取，利用步骤一中的摄像头标定参数求取线激光中心特征点对应的三维坐标。已知三维坐标后，便可算出相应模型的截面面积，同时将处理过程及结果显示于PC显示屏上。系统FPGA算法设计框图如图4所示。

（3）PC显示屏实时显示出该系统的视频信息及模型截面积计算结果。

3 结语

该设计将图像处理相关算法通过具有并行运算能力的FPGA器件实现，大大减少算法处理的时间，可以达到实时检测计算模型截面积的效果。同时，该系统采用的FPGA运算处理器件，相比于同等性能的CPU、GPU处理器更加廉价，可以实现系统的小型化，扩大应用场景。因此，该系统设计具备以下创新点：

（1）实时性高。基于FPGA器件，对采集到的视频图像数据进行并行高速运算处理，相比于软件处理能达到实时处理的效果。

（2）通用性良好，修改升级方便。该系统设计设想为设计一款通用系统，除了可以用于三维建模，还可以用于焊缝检测、工件表面裂纹检测、轮胎合格检测等领域。

[参考文献]

[1] 张洪龙.基于结构光的室内场景精确三维重建技术研究[D].北京：中国科学院大学，2018.

[2] 张剑飞.基于冗余过滤的多面体Minkowski和计算方法研究[D].秦皇岛：燕山大学，2015.

[3] 吴继华.将低成本FPGA用于视频和图像处理[J].电子设计应用，2007，24（1）：26-30.

[4] JENTZ B J.采用FPGA实现视频和图像处理设计[J].今日电子，2008，37（10）：64-67.

[5] 林品武.LED体三维显示研究[D].江门：五邑大学，2014.

[6] 曹健，焦海，王源，等.基于FPGA与DLP的体三维显示系统设计方法与研究[J].北京大学学报（自然科学版），2014，50（4）：605-610.

[7] 钱峰，马秀丽，万旺根.基于FPGA的医学图像三维重建系统设计与实现[J].计算机工程与应用，2011，47（7）：211-214.

[8] 段勇，裴明涛.基于多RGBD摄像机的动态场景实时三维重建系统[J].北京理工大学学报，2014，34（11）：1157-1162.

收稿日期：2020-05-07

作者简介：吴锐（1999—），男，四川阆中人，研究方向：数字图像处理。