红外与可见光双摄像机标定方法研究

胡广胜+王青+单清群

摘 要：随着红外热成像技术的发展，红外热成像检测技术作为一种简单、无损、非接触的检测方法，在许多领域得到广泛的应用，已经得到国内外学者的重视与研究，相关研究的热点与重点主要是红外热成像和可见光成像的标定方法。文章基于热成像原理，设计了一套用于红外和可见光摄像机标定平台，并利用OpenCV函数开发了一套双目标定系统。该系统能使可见光摄像机标定的结果准确、迅速。

关键词：标定；标定台；红外热成像；OpenCV

前言

配电盘是轨道车辆的核心部件，包含了电气电路中八成以上的核心部件和电气接点，控制着车辆、信号及电能传输等各种电气功能，但实际中工艺复杂，施工难度极高，接线端子数量庞大，检验出的结果有效性差。在进行轨道车辆的配电柜生产过程中，由于工序复杂，员工在工作时会出现诸如线性错误、线号错误、端子压接不规范（虚接、错接、漏接等）、出线位置不规范、器件型号混装、器件位置不当、错装、漏装器件等问题，造成由于配线、压线问题而出现起火、短路或接地缺陷等。

随着红外热成像技术的发展，在生产中该技术的非接触的优点被广泛应用。红外热成像技术基于光电转换原理，把物体通过加热产生的热辐射转换为电信号，并通过计算得到相关参数[1]。但红外热成像画面与可见光相比，清晰度比较差，因此为了信息参数的精确性，研究人员考虑将红外热成像与可见光图像进行融合，并将所得到的信息进行归纳整合，得到精确的数据与结论[2-4]。

在进行图像融合之前，首先进行摄像机的标定：即确定两台摄像机的内外参数配置。图像配准是确定处于同一场景下来自不同视角、不同时间甚至不同成像传感器的两或多幅图像之间的空间变换关系的技术。目前图像配准的方法主要有线性标定法、非线性摄像机标定法和自标法等。但是，由于图像标定受到各种外部条件的限制，目前仍然没有一套快速、准确的图像标定系统以满足实际的需求。本文通过研究摄像机标定技术原理，设计出一套准确度很高的红外与可见光摄像机标定系统。

1 标定图片采集

一般情况下标定是以确定形状及尺寸的模板进行标定。与可见光相机直接提取标定板的纹理特征不同，红外热成像技术是通过对被测物体发射的红外辐射进行特征提取、图形处理得到被测物红外图像，因此必须以一种特殊的方式对红外热成像样板进行采集。当今学者对于红外热成像样本采集，取得了很大的进步与突破。如S.Vidas等人通过对金属薄板进行加热，将其贴附在标定纸板上，将标定板上的特殊位置选定为基准，进行样本采集，完成红外摄像机内外参数标定[5]。张小玉等人通过不同导热体加热后产生的热辐射区不同，集成了一个红外热成像标定箱，通过其加热后产生的变化明显的热辐射区，完成红外摄像机内外参数标定[6]。R.Yang等人设计了新型红外摄像标定装置，可同时对三个目标进行标定。用深色塑料板做成标定板，在标定板上均匀挖出孔，将发热的灯泡放入标定板上的孔中，保证两台摄像机和红外热像仪能准确定位到上述孔，装置中两台可见光摄像机构成了一个双目视觉系统，能够将标定板上的孔精确定位，再计算出相应小孔的坐标，完成红外热像仪的内外参数的标定，但此方法的准备及制作过程繁琐，所得标定结果准确度较低[7]。

本文设计一个简单红外和可见光图像图像标定的平台，能够对处于同一个视场中采集到的可见光图像和红外热成像图像进行精确的标定，建立红外热图像与可见光图像之间的一一映射关系，比现有的标定平台位置精度要高，同时红外热成像热敏感区域温度可调、可控，同时可以实现对红外温度采集的修正和标定。

2 摄像机标定原理

在视觉图像测量应用中，为了得到空间物体某点的三维几何信息与其在图像中对应点之间的相互关系，并利用摄像机得到的图像信息来计算空间中物体的几何位置，就必须建立摄像机的成像几何模型，包括摄像机的内外参数等。摄像机参数的标定在计算机视觉应用中是非常重要的一步，其标定结果的精度及算法的稳定性直接影响到以后测量结果的准确性。

本文采用线性摄像机数学方程来确定图像成像的三维空间关系。以摄像机为原点建立笛卡尔坐标系，得到其与图像坐标系投影关系，如图2所示。

在图像上设中心像素坐标为（u0，v0），图像中每个像素点在坐标轴X、Y方向上的物理长度为dx、dv，则在两坐标系下图像像素点的关系为

（x，y）为图像几何单位坐标，（u，v）为图像像素单位坐标。

在线性摄像机数学方程中，利用旋转矩阵【R】、平移向量【T】来表示摄像机坐标系和世界坐标系之间的的关系，如式（2）所示。

式中（Xw，Yw，Zw，1）和（Xc，Yc，Zc，1）为空间任意一点P在世界坐标系和摄像机坐标系下的齐次坐标。

若在空间中存在点P（Xw，Yw，Zw），其在摄像机空间坐标为（Xc，Yc，Zc）。将原点Oc和P连线与图像相交于p点，即为P点在图像上的投影位置，图像平面和光学中心的距离设为有效焦距f。根据数学方程有如下关系。

用齐次坐标与矩陣可表示为

将公式（1）与公式（2）带入（5）式中，可得在广义坐标系下，P点和投影p点的位置关系。

式中 M1为内参数矩阵；M2为外参数矩阵。

3 标定平台设计

本文设计标定平台能同时标定可见光相机和红外热成像仪，主要包括黑白分明的漫反射棋盘格装置（内附发热元件、测温元件和连接导线等）和温控装置等。所述发热元件集成在黑白格的角点处，所述测温元件和发热元件通过钎焊的方式固接在一起，通过温控装置控制发热元件的导通，使黑白角点处的发热元加热。黑白棋盘格的机体由绝热元件组成，通过温控装置控制黑白角点处的温度。双通道的成像系统（集成了可见光成像传感器和红外热成像传感器的双目相机）通过采集该黑白棋盘格表面的可见光图片和热敏感点图像，实现双目相机参数的标定。标定平台设计如图3、4所示。

当需要进行标定时，通过可见光相机和红外相机同时采集温控棋盘格表面的漫反射贴纸，可见光中可以拍摄黑白相间的可见光图像，红外热像仪获取的灰度图片为带有大约0.1mm超亮白点的黑底红外热图，通过温控仪可以调节白点的亮度，使其具有更高的辨识度，同时可以对红外热像仪的温度值进行标定和校核。利用发热元件在可见光图像中的实际位置关系，可对两种相机的参数进行分别标定，建立两种视觉系统下的意义映射关系。

4 标定实验与结果分析

4.1 基于OpenCV的摄像机标定

OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，轻量级而且高效，由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。在OpenCV中， 摄像机的标定是利用平面方格作为标定模板，进行多个方向的测量，其中摄像机与标定板的位置是不固定的，可自由移动。在标定模板的周围，预留了一定宽度的黑色区域是为了增加角点提取的可提取率 。OpenCV出力的函数，满足计算准确、运行速度快、过程简单等高效的标定算法。

4.2 角点提取

获取图像之后就需要对其进行角点检测，角点提取成功是否与输入模板图像的质量有重要关系，因此在提取角点之前要对其进行一定的增强处理来提高角点检测的成功率。角点提取是由函数 cv Find Chessboard Corners来完成，如果该函数返回值为1，则表示在该幅图像上所有的内角点都已完全提取出来了，此时说明角点提取成功；若返回值为0，则说明角点提取失败，这样的图像就不能在标定计算中使用，则要将其丢弃，并进行下一幅图像的采集。

摄像机标定参数的精度会与之前所得到的角点精度与直接关系，其影响成正比。因此为了更精确的摄像机标定参数，必须对所提取角点的精度加以控制。

4.3 标定结果的显示与保存

在标定实验中，，可以利用函数cv Show Image（）将需要观察的角点的图像显示出来。提取后的角点如图5所示。最终标定的各种参数在程序界面中显示，为了方便以后目标距离计算时使用这些参数，并将其结果以数组的形式保存在文件中。Open CV 提供了大量用于文件处理的数据结构及函数，利用这些函数可以很方便地进行文件的读写操作。

4.4 实验结果分析

根据以上的标定原理及方法，通过多次实验证明此标定运行稳定，标定精度较高，而且运行速度较快，具有较强实用性。用位置固定的摄像机采集了在不同角度的多组方格标定模板图像，校准后的图形如图6所示。

上述结论达到了预期的目标，将双目摄像机的参数校正后，可以实现将左右摄像机拍摄的图像进行位置的变换、空间的平移、叠加等，且变换后的两个图像的配准也与预期的目标基本吻合。

5 结束语

本文详细叙述了红外成像与可见光成像的标定方法，结合红外成像原理，设计了红外和可见光摄像机标定平台。基于OpenCV的函数完成了双目视觉系统摄像机的标定，使用这种标定方法在进行两图像标定时，可见光图像和热成像图像在空间上坐标相同，红外热敏感区域小于0.1mm，处于可见光图像的角点，大大提高了匹配精度；棋盘格标定板的红外热敏感区域的温度可控，分辨率为0.1K，范围25℃～200℃，提高了热成像图像的显示精度及对热敏感区温度控制进度；本装置中支撑黑白格和发热元件的基体采用绝热材料制作，降低了热传导，提高了红外热敏感区域的分辨率；本装置的设计使得红外热图和可见光图可以同时标定，标定算法和操作流程通用，能实现快速标定；本平台的中的发热元件和测温元件通过钎焊的方式固接在一起，能够快速的响应温度变化，提高系统的控温精度。

参考文献

[1]陈炎华.用于红外双目视觉的边缘增强算法研究[J].激光与红外，2012，5（1）：526-529.

[2]任贵文.基于OPen CV的红外与可见光双摄像标定方法研究[J].科学技术与工程，2016：16（3）：211-214.

[3]汪国威.基于红外与可见光图像配准的电力设备检测系统研究与应用[D].安徽大学，2014.

[4]郑少峰.可见光与红外图像融合算法及VC语言的实现[D].西安工业大学，2013.

[5]Vidas S，Lakemond R，Denman S，et al. A mask-based approach forthe geometric calibration of thermal-infrared cameras. IEEE Transac-tions on Instrumentation and Measurement，2012，61（6）： 1625-1635.

[6]张小玉，宫贺，齐琦，等.基于OPen CV的长波红外摄像机标定研究.電子设计工程，2015，23（1）：181-184.

Zhang X Y，Gong H，Qi Q，et al. Calibration of long wave infrared camera based on Open CV. Electronic Design Engineering，2015， 23（1）：181-184.

[7]R.Q. Yang， W. Yang， Y.Z. Chen， and X.M. Wu. Geometric Calibration of IR Camera Using Trinocular Vision [J]. Journal of Lightwave Technology， VOL.29，NO.24， December 15，2011：3797-3803.