不规则镜面物体的三维重建关键技术研究

郑莉，郑刚，罗跃军，陶俊

(1.武汉大学测绘学院，湖北武汉 430079； 2.光庭导航数据(武汉)有限公司，湖北武汉 430073；3.江汉大学数学与计算机科学学院，湖北武汉 430056)

不规则镜面物体的三维重建关键技术研究

郑莉1∗，郑刚1，罗跃军2，陶俊3

(1.武汉大学测绘学院，湖北武汉 430079； 2.光庭导航数据(武汉)有限公司，湖北武汉 430073；3.江汉大学数学与计算机科学学院，湖北武汉 430056)

对于不规则镜面物体，由于所拍影像纹理信息不丰富采用近景摄影测量方法进行三维重建不是最佳方案。本文基于结构光的测量方法，结合近景摄影测量探讨不规则镜面物体三维建模的关键技术问题，研究推导了像点到物方空间三维点的数学模型。该方法继承了传统摄影测量方法的优点，其灵活性以及无需匹配同名点的特点。

不规则；镜面物体；深度图像；三维测量

1 引 言

近50年来，随着技术进步和消费水准的不断提高，社会对产品性能、外形等方面的要求越来越高，使得如何改变传统多品种、小批量生产的落后面貌，切实满足用户的需要，成为各国制造技术进步中的重要课题。三维扫描测量，作为一种能够瞬间获取被测物体大量物理信息和几何信息的测量手段经过近年来的发展取得了长足的进步。此技术已用于工业设计、瑕疵检测、逆向工程、机器人导引、地貌测量、医学资讯、生物资讯、刑事鉴定、数位文物典藏、电影制片、游戏创作素材等各个领域。

20世纪80年代，国外一些公司就开始研制出三维扫描仪并均形成了一定的产业，如Brooks Automation公司生产的4DI测量系统。美国福特汽车公司使用4DI测量系统开发新型汽车。Cyberware公司研制出世界上最早的三维扫描仪，并将其成功地投入使用。德国GOM公司是将光学视觉三维测量应用于工业领域的典型。近年来，德国研发了一种名为Formetric II三维测量系统，专门用于快速、无接触、无辐射静态测量背面和脊柱。该仪器可对背部、脊柱形态和功能参数进行三维分析，并直观化显示独有的背部和脊柱三维重建图。国内许多研究人员对结构光三维测量原理及方法进行深入研究，杨培[1]等学者利用线结构光通过机器人手臂实现扫描来测量物体表面，可以获得物体的三维数据。刘国文[2]等研究人员利用线结构光扫描构成机器视觉三维测量系统对物体表面进行三维测量。袁芳林，钟金刚[3]等采用结构光相移研究出能够获取人脸三维形貌数据的方法。本文的研究对象是光滑、缺乏可用于匹配的纹理以及无明显灰度变化的不规则镜面物体(如银器文物、钣金件等)，基于数字摄影测量的严密理论，引入了主动视觉——投影器的结构光，对缺乏可用于匹配的纹理的不规则镜面物体进行三维量测。该方法既简化了对应点的匹配，同时还提高了处理的速度及其结果的准确性。

2 结构光三维测量基本原理

结构光三维测量是基于光学三角法测量原理，投影器投射的光束当与物体的表面相交时便在物体表面产生多条亮条纹，该光条受物体表面几何形状的调制而产生畸变，处于另一位置的CCD相机可摄取畸变了的结构光图像，其畸变程度取决于光源与CCD相机之间的相对位置及物体的三维轮廓，如光条弯曲表示曲面有变化，光条的偏移程度与物体表面深度有关，光条不连续表示物体表面有间隙，本研究的硬件设备包括CCD相机、投影器、旋转平台、平面格网板以及一台计算机，如图1所示。为从CCD相机摄取的含有物体表面轮廓特征的结构光畸变图像中获取其表面三维信息，必须对结构光测量系统进行标定，其标定内容包括CCD相机的内外部参数的标定和投影器的标定，如图2所示，标定目的是求出结构光平面与CCD相机像平面之间的物点与像点的位置关系，建立系统的参数模型[4]。

图1 投影器－CCD相机系统的工作原理示意图

图2 CCD相机和投影器的标定示意图

3 深度图像生成

3.1 线条纹提取

为提高自动化程度，把纹理特征设计成单线条纹，让单线推扫过整个物体，达到整体效果。本研究基于影像差分法进行单线提取，如图3所示。影像差分就是相同像幅大小的两幅影像相同位置的像点灰度值相减，得到一幅新的影像的过程。为保证影像差分方法的可行性，带有投影线的原始影像和不带投影线的原始影像从同一角度拍摄。投影器投影直线到物体表面时，为避免影像可能会带来噪声，所以先进行影像匀光，以最大限度消除这种不良影响，保证线条纹提取的精度。

图3 单线提取的流程图

3.2 空间点解算

在近景摄影测量中，共线条件方程式描述的是像点、投影中心点以及物方点应位于一条直线上。其具体的数学关系式如式(1)。

通过对相机的标定，内外方位元素都可以计算出来。上式中的各个参数已知，由此就可以建立起来从相片上的x，y到物点坐标X，Y，Z之间的数学关系式，再通过传统的(多片)空间前方交会解法便可用CCD相机得出物体三维坐标。在本系统解算过程中，若只用一台CCD相机的影像(CCD相机位置固定不动)，不能构成所需要的立体像对。根据式(1)的共线条件方程可知，对于单张影像而言，用两个方程是不能解算X，Y，Z这三个未知数。若给共线条件方程再加上一个条件形成三个方程便可解算出X，Y，Z，三个未知数。这第三个条件便是基于线结构光的共面条件。

在投影器的虚拟影像和CCD相机拍摄的影像组成的影像对中，能够找到相应的同名点来进行空间前交运算。由于投影的纹理特征为单条线，通过这条线与核线相交得到的交点，可以求得投影器虚拟影像和CCD相机拍摄的影像中的同名像点。由核线的几何定义可知:同名像点必然位于同名核线上[5]。在同名核线上自动搜索能够找到相对应的同名像点。确定同名核线的方法很多，本文使用的是基于共面条件的方法，它是直接从核线的定义出发，无需通过“水平”影像作为媒介，直接在倾斜的影像对上获取同名核线，其同名核线几何关系如图4所示。

图4 基于共面条件的同名核线几何关系图

若已知左影像上任意一个像点p(xp，yp)，确定左影像上通过该点的核线L以及它在右影像上的同名核线L′，问题就迎刃而解。由于核线在影像上是直线，因此只要确定左核线的另外一个点，如图4中的q(x，y)，与右同名核线上的两个点，如图4中的p′和q′(不要求p和p′或q和q′是同名点)。由于同一核线上的点均位于同一核面上，即满足共面条件:

由此可得左影像上通过p的核线上任意一个点的y:

其中:

为了获得右影像上同名核线上任意一个像点(如p′)，将整个坐标系统绕右摄站中心S′旋转至u′，v′，w′坐标系统中，可用类似公式(3)的方法求得右核线上的点(u′，v′)。

M21为旋转矩阵。

若采用独立像对方位元素系统，则得到相类似的结果。在此系统中BY＝BZ＝0，所以共线方程可写为:

代入上式可得:

同理可得右影像上同名核线的两个像点的坐标。根据上述方法，当从CCD相机拍摄的影像中提取的纹理特征上的某一像点坐标为已知时，可以求得通过该点的核线及其对应的投影器虚拟影像上的同名核线。虚拟影像上的同名核线与投影单条直线的交点，就是该点在投影器虚拟影像上的同名像点。投影器的虚拟影像和CCD相机的拍摄影像上的同名像点进行空间前交，便可解算出空间点的坐标值。

4 实验与精度分析

本文采用的实验测量系统主要由DLP数字投影器、Basler A302fs工业CCD摄像机、平面格网板、旋转平台、计算机五个部分组成。计算机控制CCD数码相机拍摄、DLP数字投影器投影以及旋转平台旋转，配置要求不高，显卡需支持双屏显示，显示器的分辨率设置为1024像素× 768像素。整个量测系统均通过计算机精确地控制，实现投影和拍摄的自动化。图5是多视CCD相机所拍的部分源数据，带线纹的影像是用于钣金件的三维模型重建及量测。图6为对重建后的不规则镜面物体表面进行量测。图6(a)表示1号点～7号点的量测距离，图6(b)表示11号点～12号点的量测距离。利用本文方法所量测的数据与三坐标测量机所量测的数据进行比较的结果，所得到的实际量测中误差值为±0.48 mm，基本满足镜面物体三维量测的要求，表1是部分量测结果比较，其中误差是所有量测数据得到的结果。

图5 多视CCD相机所拍的源数据(部分)

图6 重建模型的量测距离图示

部分量测结果比较(单位/mm) 表1

5 结 语

本文针对缺乏可用于匹配的纹理的不规则镜面物体表面投上结构光，即给镜面物体人为地“加”上可用于匹配的纹理，基于数字摄影测量的严密理论，精确地求出投影在曲面上的结构光光条各点的三维坐标，从而获得自由曲面的三维坐标，该方法是将结构光投射到物体表面，而不是将标志粘贴在物体表面，因此最后得到的是物体表面的三维形貌而不是表面变化后的三维形貌，即一次测量便能获得曲面的三维形貌。

[1] 杨培.基于弧焊机器人的典型零件柔性再制造系统研究[D].哈尔滨:哈尔滨工业大学，2006

[2] 刘国文，闫达远.一种基于线结构光的三维视觉曲面测量方法[J].光学技术，2005，31(4):555～556

[3] 钟金钢，袁芳林.基于数字结构光投影的人体表面三维重建[J].中国医学影像技术，2005，21(10):1616～1618

[4] Zhang Yongjun，Zhang Zuxun and Zhang Jianqing，Digital Camera Calibration Using 2D－DLT And Collinear Equation With Planar Scenes[J].Geomatics and Information of Wuhan University，2002，27(6):566～571

[5] Zhang Zuxun，Zhang Jianqing，Digital Photogrammetry，Wuhan Technical University of Surveying and Mapping Press，Wuhan，1996

[6] Armin Gruen，D.A."Least squares 3D surface and curve matching."[J].ISPRS Journal of Photogrammetry＆Remote Sensing 2005，59:151～174

[7] 周颖.深度图像的获取及其处理[D].西安:西安电子科技大学，2008

[8] 徐岩，范剑英，王洋.基于结构光深度图像获取装置的研究[J].哈尔滨理工大学学报，2004，9(3):38～40

重庆市再获中国地理信息产业最高荣誉

(本刊讯)近日，在中国地理信息和测绘两大行业最高奖项的评选中，重庆市勘测院捷报频传，共揽获12项大奖。其中“重庆市渝中区三维地理信息平台”项目从30多个领域的110多个项目中脱颖而出，荣获2011年中国地理信息优秀工程金奖。这也是重庆市勘测院继2009年“重庆市三维城市公众服务平台”之后，再次荣获中国地理信息产业最高荣誉。

“重庆市渝中区三维地理信息平台”通过整合地下管网、地下空间、市政设施与道路等地理信息，形成“渝中区三维地理信息数据库”，为城市规划建设提供三维地理信息服务。平台的开通为渝中区各政府部门创造了直观、立体的管理模式，目前已在规划辅助决策、消防应急管理、金融街建设、城市安保、市政管理等领域得到广泛应用，为渝中区规划建设发挥着日益重要的作用。

此外，“市政连续实景影像GIS系统”、“基于网络视频的建设工程监管系统”等项目获得11项大奖。这些项目大多立足于服务规划建设，服务民生，并与实际生产紧密结合，研究成果具有很强的实用价值，其中不少成果已经应用于生产实践，并取得了良好的社会效益和经济效益。

纷至沓来的荣誉，不仅是对重庆市勘测院重视科技研发取得的丰硕成果的肯定，更是对重庆市勘测院科研技术人员的鼓舞和鞭策，一线科研人员纷纷表示，一定珍惜荣誉，再接再厉，继续致力于用高新技术服务城市规划，服务社会。

(重庆市勘测院 何兴富、向华林供稿)

Research on the Key Technologies of Three－dimensional Reconstruction for the Irregular Mirror Objects

Zheng Li1，Zheng Gang1，Luo Yuejun2，Tao Jun3
(1.School of Geodesy and Geomatics，Wuhan University，Wuhan 430079，China；2.Kotei Navi＆Data Corporation，Guanshan Road，Wuhan 430073，China；3.School of Mathematics and Computer Science，Jianghan University，Wuhan 430056，China)

For the mirror irregular objects，it is not the best solution to make use of close－range photogrammetry method as the image is short of available texture.Based on structured light，combined with close－range photogrammetry，it is discussed the key technical issues about three－dimensional modeling of irregular mirror objects，and deduced the mathematical model from the image point to the space point.Structured light may be used as a solution to simplify the inherent problem of finding correspondences in classical stereovision systems.Then the spatial points of the object surface are obtained quickly by space intersection，which is important and valuable for 3D measurement.

irregular；mirror objects；depth image；three－dimensional measurement

2010—04—22

郑莉(1979—)，女，博士，讲师，现从事摄影测量与遥感的研究。

国家自然科学基金资助项目(41001309)；精密工程与工业测量国家测绘局重点实验室开放基金资助项目；中央高校基本科研业务费专项资金资助(3101055)。

1672－8262(2011)05－63－04

P235

A