水下双目视觉系统的高精度测量模型

解则晓 余江姝

摘要：针对双目视觉系统进行水下拍摄测量时存在的测量误差较大、局限性强等问题，提出了一种基于光线追踪法的水下双目视觉系统测量模型，实验结果表明，利用上述测量模型对水下处于30个不同位姿的被测物上的标准距离进行重建，测量误差平均值为-0.04197mm，最大误差为0.2673mm，与空气中双目视觉系统测量精度相当。

关键词：机器视觉;水下双目视觉;水下摄像机标定;平面折射几何

中图分类号：TP391.41       文献标识码：A

文章编号：1009-3044（2019）20-0198-02

开放科学（资源服务）标识码（OSID）：

Abstract： In order to improve the accuracy of underwater measurement based on stereo vision system，a measurement model of underwater stereo vision system is proposed based on refraction light path. The experimental results show that the above measurement model is used to reconstruct the standard distances of 30 underwater objects in different positions. On this basis， the proposed measurement model of underwater binocular vision system is applied to measure the standard distances between calibration points on underwater targets. The average measurement error is -0.04197mm， the maximum error is 0.2673mm， and the binocular vision system in the air is used to measure the standard distances between calibration points on underwater targets. The measurement accuracy is comparable.

Key words： machine vision; underwater stereo vision; underwater camera calibration and measument; Flat refractive geometry

1 引言

隨着全球经济的发展和人们活动范围的扩大，对海洋资源和海洋能源的需求不断增加，对海洋环境的了解亟待提高。摄像机被作为声学传感器的补充在海洋地质勘测、考古和AUV自主导航[1]等方面都有巨大应用潜力在水下场景中，摄像机通常被密封在带有玻璃窗的防水罩中，摄像机透过平面玻璃观察水下环境，此时被测物反射的光线会经过水，玻璃防水罩和空气三种介质进入相机镜头。由于三种介质的密度不同，传播的光线在玻璃防水罩的上下表面会发生两次折射，使得传统成像模型不再适用，基于此而推导得到的陆上双目视觉测量系统的数学模型也不再成立。针对此问题，文献[2-3] 用将相机成像平面后移即对摄像机焦距线性加倍的方法，来近似折射带来的变化，但由于折射造成的成像点的误差是随折射角的变化而变化的，是非线性的，并不能用线性关系很好的表现。文献[4-6]将折射带来的影响用镜头的高次畸变来代替，即通过对镜头高次畸变系数的计算，来补偿折射带来的水下图像的畸变，但对于与镜头远近不一的被测物，不同的距离应对应不同的高次畸变系数，所以此方法精度对景深较为敏感，有一定局限性。由于上述对折射近似方法的局限性，目前考虑光线折射的物理过程的水下相机成像模型的建模与相关参数的标定成为国内外研究的热点[7-8]。本文提出了一种基于光线追踪法的水下双目视觉系统测量模型，并利用上述测量模型对水下标准距离进行重建恢复，其测量精度与空气中双目视觉系统测量精度相当，有效克服了折射对视觉系统的影响。

2 系统结构图

摄像机被应用到水下场景中，一般都被密封在带有平面玻璃的防水罩内，摄像机通过平面玻璃观察水下被测物，本文通过将被测物放置在带有平面玻璃的水箱内，双目摄像机放置在水箱外侧的方式来模拟相机被密封在带有平面玻璃防水罩内的拍摄形式，系统结构图如图1所示。

设水下有任意一被观测点[P]，以[P]在左摄像机下的成像为例，对其折射光路进行分析，[ocl]为左摄像机光心，[PL0]为[P]经平面玻璃防水罩折射后在左摄像机像面上的成像点，[PL1]、[PL2]分别为[P]点的左折射光路与平面玻璃防水罩内、外侧表面交点，[vL0]、[vL1]、[vL2]分别为折射光路[oclPL1-PL1PL2-PL2P]各个光路段对应光线的方向向量;[n]为平面玻璃防水罩的法向量，即折射平面的法向量，[dl]为平面玻璃防水罩内表面到左光心的距离，[dg]为平面玻璃防水罩的厚度，[μ1]、[μ1]、[μ2]为空气、玻璃和水的相对折射率。

设成像点[PL0]经镜头畸变补偿后像面坐标系下坐标为[[Xl，Yl]]，则其对应的入射光线[oclPL0]在左摄像机坐标系下的方向向量为其中[nl]为平面玻璃防水罩的法向量在左摄像机坐标系下的值，[ocl=[0，0，0]T][PL1=[xL1，yL1，zL1]T]为点[ocl]、[PL1]在左摄像机坐标系下坐标值。

根据折射定律以及光线追踪法，设折射前、后光线方向向量分别为[vi]、[vi+1]，且折射平面法向量为[nl]，则可将折射后光线方向向量表示如下其中[Pcl]为水下被观测点[P]在左摄像机坐标系下的三维坐标值。

相类似的，对右摄像机成像光路进行分析，可得成像点[PR0]对应的入射光线[ocrPR0]在右摄像机坐标系下的方向向量为又两摄像机坐标系间旋转矩阵为[Rrl]、平移向量为[trl]，则[RrlvR0]即为方向向量[vR0]在左摄像机坐标系下的坐标值，将其带入式（4），即可得经玻璃上、下表面折射后光线[PR1PR2]、[PL2P]在左摄像机下的方向向量[vR1]、[vR2]。

且有折射光路与平面玻璃防水罩上、下表面的交点[PR1、PR2]在左摄像机坐标系下坐标为联立上述两方程求交点，即可求解得[λwl]、[λwr]，由式（13）即可得到水下被观测点[P]在左摄像机坐标系下的坐标值[Pcl]。再利用式摄像机坐标系与世界坐标系之间的转换关系[R]、[T]，即可得到[P]在世界坐标系下的坐标，但由于实际采集图片过程中噪声的存在或系统误差的存在，上述两光线可能相互异面，若两光线异面，求解两异面直线公垂线的中点，就其近似为待求的空间点[P]。

4 实验与结论

为了验证所提出方法的可靠性，进行模型参数标定和水下靶标上标准距离测量实验。水下双目视觉系统实验台如图3所示，双目摄像机前水箱玻璃相当玻璃防水罩的折射平面，用此来模拟相机被密封在平面玻璃防水罩内的拍摄情况。实验所用的立体视觉系统选用Watec公司生产的WAT-902B模拟摄像机，该摄像机分辨率为752pixel（H）×582pixel（V），像元尺寸为8.6?m（H）×8.3?m（V）;镜头选用Computar公司生产焦距为8mm的百万像素级的工业镜头0814-M，并选用Euresys公司的Picolo Pro2采集卡对模拟相机图像进行采集。所用标定靶标为如图4所示的水箱内的圆点形靶标，靶标行、列方向上每两个标记点圆心的标准距离为25mm。

利用本文算法重建得到的水下30个姿态下靶标上标定点水下的三维信息后，对靶标上距离最远的大圆圆形标记点圆心间的150mm标准长度进行恢复，测量平均误差为-0.04197mm，最大误差为0.2673mm，且此时对应的靶标倾斜角较大。而再用本文系统对空气中靶标上150mm的长度进行测量时，测量平均误差为0.03107mm，最大误差为0.1579mm。

参考文献：

[1] Jordt A， K?ser K， Koch R. Refractive 3D reconstruction on underwater images[J]. Methods in Oceanography， 2016， 15-16： 90-113.

[2] Ferreira R.， Costeira J.P.， Santos J.A. （2005） Stereo Reconstruction of a Submerged Scene. In： Marques J.S.， Pérez de la Blanca N.， Pina P. （eds） Pattern Recognition and Image Analysis. IbPRIA 2005. Lecture Notes in Computer Science， vol 3522. Springer， Berlin， Heidelberg.

[3] Lavest J.M.， Rives G.， Lapresté J.T. （2000） Underwater Camera Calibration. In： Vernon D. （eds） Computer Vision - ECCV 2000. ECCV 2000[C]. Lecture Notes in Computer Science， vol 1843. Springer， Berlin， Heidelberg.

[4] Shortis M R， Harvey E S.  Design and Calibration of an Underwater Stereo-video System for theMonitoring of Marine Fauna Populations[J]. International Archives Photogrammetry and Remote Sensing，1998，32（5）：792-799.

[5] Shortis M R， Harvey E S.  Design and Calibration of an Underwater Stereo-video System for theMonitoring of Marine Fauna Populations[J]. International Archives Photogrammetry and Remote Sensing，1998，32（5）：792-799.

[6] Lavest J，Rives G，Lapreste J. Underwater Camera Calibration[J]. Lecture Notes in Computer Science，2000：654-668.

[7] Agrawal A， Ramalingam S， Taguchi Y， et al. A Theory of Multi-layer Flat Refractive Geometry[C]// IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， 2012：3346-3353.

[8] ?uczyński T， Pfingsthorn M， Birk A. The Pinax-model for accurate and efficient refraction correction of underwater cameras in flat-pane housings[J]. Ocean Engineering， 2017， 133： 9-22.

【通聯编辑：梁书】