单视旋转显微镜三维测量技术研究

屈玉福 章平

摘要：为获得微小器件的三维形貌，该文利用单视旋转显微镜通过旋转被测物体或成像系统采集被测物体的多角度图像序列，应用多视三维重建算法处理序列图像。通过改进宏观视觉领域基于面片的立体视觉方法，实现单目旋转视频显微镜的被测工件三维重建技术：并根据物体相对于相机倾斜角度的范围来细化扩展半径，增加原算法中的扩展方向，针对扩展面片法向量相对于相機角度的不同，设置不同扩展半径和扩展次数，解决重建过程中物体90°垂直侧面重建面片成条状和稀疏的问题。实验结果表明：通过改进算法，相同的显微镜图像序列进行三维重建的点个数增加2.2倍；同时对于物体侧面等垂直表面处，重建表面的漏洞和分层问题有明显的改善，最小相对测量误差达0.44%。

关键词：显微镜；多视角；PMVS；三维重建；三维检测

0引言

操作简单、成本低、效率高的微小器件三维检测技术是当前高精度制造领域的迫切所需。明场光学显微镜具有光通量大、检测效率高、可以在位甚至在线检测的优点，是微小器件高精度检测的理想手段。但显微镜较小的视场范围和较浅的景深，只能对物体成二维图像。为了能更加直观准确地观察物体的三维结构和表面形貌信息，使光学显微镜具有三维观察和检测能力一直是领域内的研究热点。目前所提出的光学显微镜三维重建的方法可归纳为3类：1）散焦或聚焦显微镜三维重建，该方法通过显微物镜或被测工件在垂直方向上的移动采集多幅图像，然后通过离焦深度法或聚焦深度法获得被测工件的三维图像：但该方法不能测量大倾角表面工件和表面起伏较大的工件。2）基于立体体视显微镜三维成像技术，该方法用光电成像器件代替体视显微镜两臂上的目镜，采集双目立体图像对，然后通过系统标定和立体匹配算法获得被测工件的三维图像；这种方法实现简单，但只适用于低放大倍率的被测工件三维成像。3）基于明场光学显微镜的旋转多视图三维重建技术，这种方法利用一台固定位置的摄像机，通过旋转被测物体或成像系统实现对被测物体的多角度图像序列采集，然后应用多角度三维重建算法处理序列图像获得被测工件的三维图像：但由于显微镜具有视场小、摆放角度有限等缺点，如果用传统的基于面片的三维重建方法，往往达不到理想的效果。

针对以上问题，本文将面片的多视立体重建（patch-based multi-view stereo，PMVS）算法用于显微镜拍摄物体的三维重建，针对利用PMVS算法进行重建时尤其是在倾角过大的侧面位置，容易造成点云分层和漏洞多的状况，导致三维重建精度下降甚至无法测量工件尺寸，本文改进了PMVS算法中的面片扩展的部分。通过增加原算法中的扩展方向，并根据物体相对于相机倾斜角度的范围来设置不同扩展半径和扩展次数，从而达到理想的效果。

1系统结构及三维重建方法

1.1旋转显微视觉系统

单目旋转显微视觉系统如图1所示。旋转视频显微镜使用两片旋转反射镜，第一反射镜与水平面成一定夹角，通过第一反射镜与第二反射镜将观察对象的图像反射到显微镜主机，能够对被测物体的侧面进行360°的旋转采集图像。这样不需要将成像系统和被测物体倾斜，也不需要进行复杂的调整，就能完全自由地对被测物体的三维形貌进行观察。旋转拍摄时，CCD位置保持不变。本文采用东莞市普密斯精密仪器有限公司的旋转视频显微镜。镜头可360°旋转，对观测物体进行全方位立体观察：连续变倍，放大倍率范围为0.7x-4x；视野范围为30mm；安装有45°旋转组件，其由旋转连接座与旋转观察模组组成，观察模组中安装有两片反射镜和LED环形灯，可确保三维成像清晰。

本文选用了加拿大Point Grey Reseach公司的FL2G-13S2C-C相机，该相机体积小，适用于高端监控、检测和高速装配等要求较高的应用领域。电机驱动器选用的是日本安川公司产品SGMMJ-A282BJC61。电机控制卡选用深圳市雷塞公司生产的DMC2210运动控制卡，可轻松控制电机的扭矩、速度、位置等信息。

1.2单目旋转显微多视三维重建方法

本文采用运动恢复结构（struct from motion，SFM）算法和PMVS算法相结合的方法进行三维重建，重建算法流程如图2所示。首先对显微视觉系统进行标定，然后控制伺服电机转动，每隔12°采集一次图像。将标定的显微镜内部参数和多视角图像序列作为SFM算法的输入，PMVS算法利用图像序列和SFM算法输出的摄像机矩阵进行三维重建。

PMVS算法主要分为匹配、扩展和过滤3部分：

1）通过Harris和DOG算子提取特征点，在每幅图像中分别取βxβ大小的网格，然后在每个网格中检测出8个角点和特征点，在图像序列之间进行匹配，利用三角测量原理重建出稀疏的面片空间。

2）将上述稀疏面片作为扩展的种子点，根据相邻面片与其有近似法向量的特性进行扩展。为了避免物体侧面等垂直表面的区域出现重建结果中空洞过多的现象，扩展时根据扩展面片的法向量与法向量到相机连线所在向量的夹角来确定扩展半径。

3）根据可见一致性约束和光照一致性约束对错误面片进行剔除。

2改进三维重建方法

根据第1节的介绍，基于PMVS算法的关键步骤是面片扩展，其方式决定了最终重建结果的精度和稠密度。在扩展面片所在的平面上进行扩展，面片扩展的方向会影响重建结果的稠密度。本文将扩展方向由6个方向改为8个方向，以增加扩展结果中侧面的稠密度。同时，由于显微镜的视场小，旋转视频显微镜拍摄角度一定，90°垂直侧面的表面区域成像小，所以根据图像上相同的像素宽度所对应的半径进行扩展，但会导致重建结果中侧面区域孔洞过多。如图3所示，所有图像中该侧面部分相对于相机夹角都比较大，如果按照传统的扩展半径进行重建，会造成侧面区域重建结果稀疏的问题。

如图4所示，a1和a2分别代表法向量为n1和法向量为n2时，法向量与C到相机连线所在向量的夹角，GH在图像平面上表示像素长度，线段CB在平面XOY上，线段CD在平面YOZ上。当对点C进行扩展时，如果扩展半径对应于二维图像的相同像素长度GH，在YOZ面上的扩展半径CD将明显大于点C在面XOY上扩展时的半径CB。如果两个平面的扩展半径相同，那么在平面YOZ上的扩展效果将会出现漏洞，三维点之间的间隔过大。所以位于侧面区域面片的法向量相对于其他区域面片的夹角a会过大。为了防止面片扩展后位于物体侧面的点云结果呈现条状和缺失，需要根据面片的法向量与面片到相机连线所在向量的夹角a来适当减小扩展半径并进行多次扩展。经过多次实验，给出扩展半径的计算公式：

3实验结果与分析

3.1三维重建结果

本文首先通过旋转反射镜每隔12°拍摄一幅被测物体的图像，共采集30幅图像从而获得被测物体360°方位角的图像，采集的图像如图5所示。然后用第2节介绍的内容重建出被测工件的三维点云，重建结果如图6所示。再用软件Geomagic Studio 2015对重建后的三维点云进行插值。本文首先选中物体的一侧外表面，利用Geomagic Studio 2015软件的填充孔功能进行点云插值，之后按同样的方法选取其他侧的外表面进行点云插值。

由图6可知，原始PMVS算法有分层现象，尤其在深度变化明显的侧面区域孔洞很多。本文通过增加扩展方向、优化扩展半径，很大程度上改善了三维重建效果。原始PMVS算法得到的三维模型点云的顶点数为13810，本文算法得到的三维模型点云的顶点数为44511，是原算法的3.2倍。

3.2三维检测结果与分析

本文使用Geomagic Studio 2015软件对被测工件的三维点云进行剖切测量，如图7所示。为获得工件的实际参考尺寸，本文利用精度为0.02mm的游标卡尺对工件不同位置进行测量，测量结果如图8所示。在利用点云数据测量尺寸时，为尽可能地减少人为因素的干扰，本文对工件的各个位置分别测量5次，测量结果如表1所示。

由表中测量数据可知，贴片LED测量尺寸的最大偏差为0.21mm，最小偏差为0.01mm，平均偏差为0.099 mm，测量位置L处的相对误差为0.44%，测量位置W处的相对误差为0.76%，测量位置H处的相对误差为5.20%，测量位置D处的相对误差为3.05%。

4结束语

本文在显微视觉的光学成像系统中添加旋转反射镜，获得微小工件表面微细结构大尺度、90°倾角、大轴向范围的大量中间多视图像，通过增加面片的扩展方向提高点云稠密度：同时，根据面片的法向量与面片到相机连线所在向量的夹角a优化扩展半径并进行多次扩展，改进了PMVS算法。结果表明，本文改进的算法在较大程度上改善了90°垂直侧面的漏洞问题。改进的算法通用性增强，可用于单目旋转视频显微镜下多视图三维重建。