一种大视场TDICCD相机的多传感器图像配准方法

李新娥，班 皓，沙 巍，韩双丽，郝贤鹏，任建岳

(1.中国科学院 长春光学精密机械与物理研究所, 吉林 长春130033;2.中国科学院大学, 北京100049;3.长春水务集团信息中心, 吉林 长春 130012)

1 引 言

当前主要的图像配准方法有：基于特征提取的图像配准；基于相位相关的频域配准；基于像素灰度值配准。基于特征提取方法计算速度较快，但需要从待配准图像中提取特征，难免引入定位误差，影响配准的精度[1]。基于相位相关的方法具有一定的抗噪性和抗干扰性，但是对重叠像素数的大小要求比较高。基于图像灰度的配准方法无需特征提取而是直接利用图像灰度信息实现图像的配准，所以结果相对比较准确。基于灰度的图像配准方法主要采用的技术有：ABS，欧氏距离，互相关，互信息，条件熵，联合熵等[2]。以上这些算子能对图像进行精确和快速的提取，提取的精度也较高。

在某大视场TDICCD相机的多传感器多通道遥感图像的配准拼接中，以往的经典方法抗噪性和鲁棒性不高，很难实现图像高精度和快速配准拼接的要求。为了获得良好的配准效果，本文提出了一种基于双线性插值的空域互相关配准方法。

2 方法步骤

本文提出了基于双线性插值的空域互相关配准算法。该算法包括了3项关键技术：双线性插值、互相关相似性测度和自校验搜索策略。该算法的提出，有效地解决了大视场TDICCD相机多传感器多通道图像配准拼接的问题。

2.1 双线性插值

某大视场TDICCD相机的全色图像是多光谱图像大小的4×4倍，为了实现全色图像和多光谱图像的配准和融合，本文使用双线性插值方法对多光谱图像进行4×4倍放大预处理。

图像的放大通常是通过插值完成，在图像放大插值算法中，双线性插值算法放大后的图像比较平滑，具有较好的视觉效果。双线性插值算法是一种通过平均周围像素颜色值来添加像素的方法。该方法输出的图像每个像素都是原图中2×2个像素运算的结果，由于它是从原图4个像素中运算的，因此这种算法很大程度上消除了锯齿现象。

令f(x,y)为两个变量的函数，其在单位正方形顶点(P00(0,0),P10(1,0),P01(0,1),P11(1,1)是相邻4个像素的中心点)的值(f(0,0),f(1,0),f(0,1),f(1,1))已知。通过插值得到正方形内任意点(x,y)的像素值f(x,y)。由下面双线性方程(见公式(1))来定义的一个双曲抛物面与4个已知点的拟合。

f(x,y)=ax+by+cxy+d,

(1)

式中：4个系数a,b,c,d由已知的4个顶点的值f(0,0),f(1,0),f(0,1),f(1,1)代入式(1)并解方程组得到。

2.2 互相关相似性测度

从待匹配图像的重叠部分取出一幅有特征的像素块，以该块作为模板，在另一幅图像中搜索与此模板最相似的匹配块，通过互相关评价函数给出模板与匹配块之间的相似度值[3]。

互相关函数的表达式为：

R(i,j)=

(2)

其中：i,j表示位置，T为模板，S表示模板覆盖下的搜索图。如果两幅图像完全匹配，则互相关系数达到最大值。

2.3 自校验搜索策略

搜索策略的任务是在搜索空间中找到最优的配准参数，在搜索过程中以相似性度量的值作为判优的依据[4]。

本文对图像进行全局点匹配，通过互相关系数找出最佳匹配点，根据点的位置反映配准的参数变化。

(1)对图像进行隔行搜索，以免漏检因局部形变引起的参数变化。基本方法是固定基准图像的列数，行数每次递增2。

(2)根据上一次的计算参数，自动计算找出下一次搜索的中心点，再限制一定的搜索范围，能够很大地提高搜索速度。将本次和上次基准图像点的差值补偿给上一次在待配准图像中找出的配准点，从而得到本次的搜索中心点。

(3)图像的配准参数是变化并且是有规律的，所以对于找出的每一个点，都要进行自校正，以防止干扰点的产生。对于每一个在待配准图像中找出的点，要用基准图像当前点的上一行和后30行的点来进行配准检验。如果三点的参数都变化，那认为此参数变化是可信的；如果其中一点不一致，那就否决该参数的变化，继续坚持原参数进行搜索。

2.4 多传感器多通道图像配准拼接

图像配准是把同一场景的两幅或者多幅图像在空间上进行对准。图像配准一般可以分为(1)不同传感器的两幅图像之间的配准[5]，比如全色图像和多光谱图像。(2)图像部分内容相同，相同传感器的两幅或多幅图像之间的配准，比如图像的无缝拼接，由多幅单个图像匹配，拼接成全景图像。

某大视场TDICCD相机的多传感器多通道由于成像原理和成像条件不同，即使包含了同一个物体，在图像中物体所表现出来的几何特性(外形、大小等)及空间位置(在图像中的位置、方向等)都会有所不同。这些差异是由于拍摄图像的传感器在位置和姿态上的变化引起的空间上的位移，如图像之间的相对位移、旋转、尺度缩放以及其他几何变换。这种空间上的不同称为空间差异，这种差异可以通过图像配准消除[6-7]。

多传感器多通道图像配准拼接实现框图见图1，其中包括两部分的内容：(1)单通道多传感器全色和多光谱图像的配准；(2)多通道间的图像配准拼接。

单通道多传感器全色和多光谱图像的配准是两者进行图像融合的预处理环节。步骤如下：

(1)将多光谱图像红、绿、蓝(R、G、B)三波段图像进行4×4倍的双线性插值；

(2)将插值后的多光谱图像R、G、B三波段和全色图像P波段进行基于空域互相关的块匹配，配准过程中使用自校验搜索策略，得到4幅大小相同的配准图像。

多通道间的图像配准拼接是将有重叠部分的两两通道图像拼成一幅图像的技术。具体步骤如下：

(1)先完成单通道多传感器全色和多光谱图像的配准；

(2)对两通道间重叠部分进行基于空域互相关的块匹配，配准过程中使用自校验搜索策略，完成两通道图像的拼接。

图1 多传感器多通道图像配准拼接实现框图Fig.1 Block diagram of multi-sensor and multi-channel images registration and mosaic

3 结果与讨论

为了验证本文算法的有效性，对某大视场TDICCD相机实验室所成的全色图像和多光谱图像进行配准，并对两幅有重叠部分的图像进行了拼接。图2所示为多光谱图像B波段，大小为500 pixel×200 pixel；图3所示为全色图像P波段，大小为2 000 pixel×800 pixel。

图2 多光谱图像B波段Fig.2 B spectral band image

图3 全色图像P波段Fig.3 P spectral band image

为了对多光谱图像和全色图像进行配准，需要对多光谱图像的R、G、B三波段进行4×4倍的双线性插值，得到和全色图像P波段大小相同的图像。图4是从图3中截取的125 pixel×125 pixel图像经4×4倍双线性插值后的500 pixel×500 pixel像素图像。图5是从图4中取出的一幅待匹配图像相同部分有特征的像素块，作为匹配模板。

图4 插值后的多光谱图像B波段Fig.4 Interpolated B spectral band image

图5 匹配模板Fig.5 Matching template

在图3中搜索与图5匹配模板最相似的匹配块，通过互相关评价函数计算模板与匹配块之间的最大相似度值来确定图3全色图像P波段中的匹配对齐点，得到图3中与图4内容匹配的区域，见图6。

图6 配准后的全色图像P波段Fig.6 P spectral band registration image

以上4×4倍插值算法计算时间为4.14 s，配准算法计算时间为15.23 s，对比图4和图6，从图4的清晰程度和两幅图像的大小匹配程度可以看出，本文使用的基于双线性插值的空域互相关配准方法快速，并且具有良好的抗噪性能和精度。

图7和图8为有重叠部分的两幅图像，大小为400 pixel×400 pixel。本文对图7和图8进行基于空域互相关的配准拼接，拼接后的图像见图9。

图7 待拼接图像MFig.7 Un-mosaic image M

图8 待拼接图像NFig.8 Un-mosaic image N

图9 拼接后图像Fig.9 Mosaic image

从图9可以看出，拼接后的图像不仅具有较好的景物全局影像，而且还保留了原始图像的细节信息。

4 结 论

对图像配准方法进行了仔细分析，提出了基于双线性插值的空域互相关配准算法，并详细阐述了该算法的三项关键技术。该方法简单实用，效果好，它通过在配准之前对图像进行双线性插值调整，使待配准拼接的图像比较清晰，并且大小一致，视觉效果好，有效地解决了大视场TDICCD相机多传感器多通道图像配准拼接的难题，在速度上和精度上都取得了良好的效果。

[1] Li H，Manjunath B S，Mitra S K.A contour based approach to multisensor image registration[J].IEEETrans.onImageProcessing，1995，4(3)：320-334.

[2] Liu H Z，Guo B L，Feng Z Z.Pesudo-log-pola Fourier transform for image registration[J].IEEESignalProcessingLetters，2006，13(1)：17-20.

[3] 王运, 颜昌翔. 光谱仪图像的亚像素配准[J]. 光学 精密工程, 2012,20(3):661-667.

Wang Y, Yan C X. Sub-pixel image registration of spectrometer images[J].Opt.PrecisionEng., 2012,20(3):661-667. (in Chinese)

[4] 杨利红,张星祥,孙斌,等. 图像配准在TDICCD拼接焦面精度检测中的应用[J].红外与激光工程, 2012, 41(7): 1934-1940.

Yang L H, Zhang X X, Sun B,etal. Application of image registration in precision detection of TDICCD butting focal plane[J].InfraredandLaserEngineering, 2012, 41(7): 1934-1940. (in Chinese)

[5] 吕恒毅, 刘杨, 郭永飞. 遥感相机焦面CCD机械拼接中重叠像元数的确定[J]. 光学 精密工程, 2012,20(5):1041-1047.

Lv H Y, Liu Y, Guo Y F. Computation of overlapping pixels of mechanical assembly CCD focal planes in remote sensing cameras[J].Opt.PrecisionEng., 2012,20(5):1041-1047. (in Chinese)

[6] 王亮,刘蓉,张丽,等. 基于Fourier-Mellin变换的气象卫星光谱图像配准[J].光谱学与光谱分析, 2013,33(3):855-858.

Wang L, Liu R, Zhang L,etal. The meteorological satellite spectral image registration based on Fourier-Mellin transform[J].SpectroscopyandSpectralAnalysis, 2013,33(3):855-858. (in Chinese)

[7] 孙辉,李志强,孙丽娜,等.一种空域和频域相结合的运动图像亚像素配准技术[J]. 中国光学, 2011,4(2):154-160.

Sun H, Li Z Q, Sun L N,etal. Sub-pixel registration of special and frequency domains for video sequences[J].ChineseOptics, 2011,4(2):154-160. (in Chinese)