基于双目视觉测量系统的投影仪标定方法

施天敏，李锋，徐鸣华

（江苏科技大学 电子信息学院，江苏 镇江　212003）

基于双目视觉测量系统的投影仪标定方法

施天敏，李锋，徐鸣华

（江苏科技大学 电子信息学院，江苏 镇江212003）

在三维视觉测量系统中，对仪器参数的标定是首先需要解决的难题，而对投影仪的内外参数标定是三维结构光测量系统中不可或缺的一部分。就目前而言，投影仪的参数标定还存在着标定精度偏低、方法单一、可操作性差等问题。提出一种基于双目视觉的投影仪标定算法，将投影仪视为逆向相机，利用一个辅助相机捕获投影于不同位置标定平面，确立摄像机图像与标定平面之间的对应关系，然后利用极线原理得到摄像机图像与投影仪图像之间的对应关系，进而获得投影面与投影仪图像之间的准确关系，可将不成熟的投影仪标定转化为成熟的相机标定。实验结果表明，该方法在精度上能达到标定要求。

三维视觉；结构光；投影仪标定；极线原理

近几年来，三维物体的测量以及扫描已经成为计算机视觉中最热门的领域，它在文物保护与恢复、机器导航、工业测量、制造技术以及正逆向工程等方面拥有广阔的研究前景[1]。传统的单相机-单投影三维测量系统一般采用相位轮廓法[2]，测量过程中用光栅投影仪将特定光栅投射至待测物体表面，利用相机捕获因物体表面高度信息调制而产生变形的光栅图像，再对采集而得的光栅图像进行处理，由此得出包含物体高度信息的相位，由相位信息以及标定的系统参数对待测物体进行三维点云重建[3]。这方法存在约束性过强、标定的精准度不高、操作性差等问题，大大影响了该技术的实用性[4]。

本文将双目视觉的原理引入至单摄像机、单投影仪系统[5]。具体步骤为：1）由射影变换关系建立空间标定点的世界坐标与摄像机图像之间的对应关系；2）利用双目极线原理对摄像机图像与投影仪图像进行图像匹配；3）将摄像机投影仪的组合近似为一个双目系统，逆转双目测量步骤，将投影仪视为逆向的摄像机，得到投影仪图像与标定平面之间的单应性关系，；4）将非成像设备投影仪转化为相对成熟的摄像机标定技术[6]。

1　双目视觉传统模型

传统的双目视觉测量系统基于图像视差原理，理论上可以确定任意物体的三维轮廓，并得到轮廓周围的三维坐标点。如图1所示，左右摄像机的成像平面的实际在光心后焦距 f处，空间点 PC在左相机下的坐标为（XC，YC，ZC），其在左右相机中的坐标分别为 P1（U1，V1）和 P2（U1，V1）.为简化计算过程，令左相机坐标系 X轴 Y轴与图像坐标系O1UV的U轴与V轴方向分别一致。则有如下三角几何关系：

因此由式（1）和（2）可以得出，已知空间点Pc在左右相机视图中的对应位置就可以得到该点的三维坐标。

视差的定义为空间中某一点在左右视图中对应位置差：

图1　双目立体成像图Fig.1　Binocular vision schematic diagram

2　单投影仪单相机模型

图2为由双摄相机双目模型改进而得的单投影仪-单摄像机模型。点PW=[XWYWZW1]T是世界坐标系的一个三维坐标点，并且其对应的相机图像平面二维坐标点为PC=[UCVC1]T。由小孔成像原理[7]可得出这两点的对应关系：

其中[RCTC]称为外参数矩阵，表示相机图像与世界坐标系之间的旋转和平移。S为一非零尺度因子，MC称为相机的内参数矩阵，其定义为：

在内参数矩阵中，（CX，CY）为光心主点坐标，（fx，fy）分别为沿着图像平面X轴Y轴方向的焦距。

HCW为两点之间的单应性矩阵，它可以表示世界坐标系与相机坐标系的关系：

投影仪图像平面上二维坐标点Pp=[UpVp1]T与三维坐标点PW有如下关系：

投影仪可以视为反向的相机，将捕获图像理解为逆投射图像，因此相机的小孔成像模型也适用于投影仪。实际光路为相机图像平面捕获由投影平面投射至待测物体的点PW，而虚拟投影过程将之变为投影图像捕获相机图像坐标点PC。

图2　单投影仪-单相机双目成像图Fig.2　Projector-camera Binocular imaging

图3　投影仪角度位置变换Fig.3　Transform the angular and position of the projector

联立式（3）和（5），得出三维坐标点PW与其在投影仪图像对应点的关系，HPW即为

摄像机图像与投影仪图像之间的基础矩阵，是一个第九个元素为1的3×3矩阵。

结合张[8]的经典相机标定法，只要知道基础矩阵即可完成投影仪标定。

考虑相机模型的灵活性，摄像机标定时相机可以与标定平面在夹角小于20°的空间任意旋转，同理可运用于投影仪，为方便计算，本方法只考虑水平方向小角度旋转及平移。令投影仪的初始位子为{P1}，则公式（6）可以写为：

如图3所示，当投影仪位子由{P1}变换到{P2}，{P3}，{Pi}，……后，投影面图像与相机图像之间有如下关系：

为简化计算，本实验仅考虑水平方向投影仪位置移动。以投影仪初始位置光心坐标建立坐标系，则投影仪图像上某一点 （x，y，z）沿X轴方向移动后位置为（x，m，y，z），其中m为常数，i取值1，2，3……。两幅图之间基础矩阵可以表示为：

式（9）给出了不同位置的投影仪虚拟成像之间的关系以及它与相机图像之间的关系。可以看到，随着投影仪位置{P1}从变换到{P2}直至{Pi}，不同位置的投影仪之间可以用基础矩阵来表示。为得出如图4所示虚拟投影面，具体步骤如下：

1）将一面结构光图像投射至待测平面，建立空间平面坐标系，相机捕获图像，确定投影仪初试位置{P1}；

2）计算相机图像与对应投影仪图像之间的基础矩阵；

3）左右微移动投影仪至位置{Pi}；

图4　不同位置投影仪虚拟像图间基础矩阵Fig.4　The fundamental matrix of different locations between virtual image projectors

4）记录待测面图像位置变化以及投影仪图像位置细微变化，相机捕获全新投影图像；

5）由步骤3）计算不同位置投影仪内在位移矩阵；

6）通过步骤2）～5）计算相机图像与虚拟投影面之间的基础矩阵；

7）重复步骤3）～6），直到获得充足标定图像为止.

3　图像间基础矩阵计算

由于摄像机图像与投影仪图像不仅大小不一而且拍摄角度差异颇大，所以不能以传统图像匹配进行图像间基础矩阵运算。如图5所示，在极线原理中，想找到3D点在图像中的点，需追踪连接该点与相机中心的直线，如果我们需要通过一副图像中的点找到另一幅图像中的对应点[9]，那么必须沿着这条直线在另一幅图像中搜索，极点x所对应的极线为l'。任意图像上的点与它对应的极线之间的关系可以用一个3×3的矩阵表示，F为图像间基础矩阵：

它对应于满足等式l′1x+l′2y+l′3=0的点的集合。因此，基础矩阵F将一个视角中的点映射到另一个视角中的一条直线上。

计算一对图像的基础矩阵可以转化为求解一组等式，其中涉及到图像中的已知匹配点，最少所需匹配数量为7。通过手动选取不少于7个已知的的高质量点可以进行匹配，代入公式7求解，可以获取图像基础矩阵。

图5　极线观测图Fig.5　Polar observation chart

4　投影仪标定实验及结果

本文使用图3结构光系统，对此投影仪算法进行验证。本文使用的相机是工业相机MV-VD500SC，分辨率为2 592× 1 944，像元大小为2.2 μm×2.2 μm，主点坐标为（1 296，972）。LCD投影仪为EPSON EMP-6010，其分辨率为1 024×768。标定结果如表1和表2所示。

表1　投影仪内参数Tab.1 Projector intrinsic parameters

表2　投影仪某一位置外参数Tab.2　Projector extrinsic parameters in a position

本投影仪标定是基于线性模型以及相机小孔成像原理的，势必会带来误差。分析误差最好的办法是根据所得参数进行重投影误差分析。令点P（M，N）为重投影计算点[10]，点Q（m，n）为实际测量像素点。将投影仪放置于近似平行于待测面的位置，检测图像中的特征点像素位置，视为实际像素点Q。根据标定内外参数，由已知待测面的实际具体坐标求得虚拟投影面上重投影坐标P。那么重投影误差可以用式（11）表示：

图6为选了11张不同位置的虚拟投影图进行的重投影分析，由图可以看出X轴Y轴的误差大致都在（0.31，0.32）像素范围以内，通过计算所有点的均方误差在（0.192，0.167）像素，基本可以达到标定的目的。

经过重投影后，图7为模拟投影仪各位置的虚拟投影仪图像位置图，包含了不同位置不同角度的虚拟投影仪面，可以清晰的看到投影仪位置变换[11]，使标定结果一目了然。

图6　重投影误差分析Fig.6　The re projection error analysis

图7　重投影后虚拟投影面Fig.7　The virtual projection plane after reprojecting

5　结　论

文中提出的投影仪标定方技术数据仅由平面黑白方块提供，无需复杂精密设备，也能达到适合标定进行下一步研究的目的。操作简单，如不考虑计算复杂度对投影仪位置无特殊要求，自带光源特征点对环境适应性强。将投影仪标定转化为成熟相机标定，相比传统标定无需对辅助相机标定也能达到令人满意的效果。今后，本文在此基础上将利用已标定投影仪实现对仿人眼双目视觉的测量，最大化的利用标定成果。

[1]THOMASPK，LUCVG.Real—time range acquisition by adaptive structured light[J].IEEE，2008，28（3）:432-445.

[2]Zhenzhong Wei，Caiqin Li，Boshen Ding.Line structured light vision sensor calibration using parallel straight lines features[J].International Journal for Light and Electron，2014，125（17）:4990-4997.

[3]Soussen，Charles，Daul，Christian，Blondel Walter.Flexible projector calibration for activestereoscopicsystems[J]. Source:Proceedings-InternationalConferenceonImage Processing，2010 17th IEEE International Conference on Image Processing，ICIP，2010:4241-4244.

[4]许庆红，钟约先，由志福.光学投影轮廓测量的系统标定技术[J].光学技术，2000，26（2）:126-132，133.

[5]陈会，密保秀，高志强.结构光三维重建系统中投影仪的标定[J].科学通报，2014，59（12）:1069-1078.

[6]Fengkai Ke，Jingming Xie，Youping Chen.A fast and accurate calibration method forthe structuredlightsystem based on trapezoidal phase-shifting pattern[J].International Journal for Light and Electron Optics，2014，125（18）:5249-5253.

[7]张广军.计算机视觉[M].北京：科学出版社，2008.

[8]Zhengyou Zhang.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis And Machine Intelligence，2000，22（11）:1330-1334.

[9]巨志勇，黄凯.基于共生概率特征量的行人检测[J].电子科技，2015（11）:139-142.

[10]段园园，高玮，雷俊杰，等.一种新型的视频十字光标叠加技术[J].电子设计工程，2015（20）:173-176.

[11]付振振，李蓓智，杨建国，等.挠性接头细颈测量及图像处理方法研究[J].中国测试，2015（10）:22-26.

The projector calibration based on binocular vision measurement system

SHI Tian-min，LI Feng，XU Ming-hua
（Department of Electronic and Information，Jiangsu University of Science and Technology，Zhenjiang 212003，China）

Calibration of the instrument parameters is the first problem in 3D vision measurement system，and the internal and external parameters of the projector calibration of structure light 3D measurement is an integral part of the system.For the present，the projector calibration still have problems，such as the precision is low，there is still a single method，it is poor operational.So we put forward a kind of projector calibration algorithm based on binocular vision，the projector is regarded as a reverse camera，the projector is used to capture images like a camera，establish the corresponding relation between the image plane and camera calibration，then obtain a correspondence between the camera and the projector image image with the help of Pole line principle.Then we can obtain the accurate relation between the projective surface and the projector image，we change the immature projector calibration into mature camera calibration.The tests show that the method can be achieved calibration requirements in accuracy.

3D vision；structure light；projector calibration；pole line principle

TN911.74

A

1674－6236（2016）01-0012-04

2015-06-03稿件编号：201506042

国家自然科学基金项目（51307074；11204109）

施天敏（1989—），男，江苏南通人，硕士研究生。研究方向：计算机视觉。