双相机系统的高分辨率重建

陈锦伟， 赵巨峰

(1.浙江省计量科学研究院， 浙江，杭州 310018； 2.杭州电子科技大学， 浙江，杭州 310018)



双相机系统的高分辨率重建

陈锦伟1， 赵巨峰2

(1.浙江省计量科学研究院， 浙江，杭州 310018； 2.杭州电子科技大学， 浙江，杭州 310018)

为获取高分辨大视场的目标图像，提出了双相机系统的高分辨重建算法. 根据小视场高/低分辨图像对，学习图像的高频特征，利用线性回归函数表征图像高分辨与低分辨的高频特征映射关系；在小波域实现低分辨、大视场目标图像的超分辨重建，使其达到高分辨、小视场目标图像的分辨率水平；设计了10组双相机系统的仿真实验，并与双三次插值、小波域插值和学习自身的重建等3种流行算法进行对比. 实验结果表明，本文算法取得了最好的重建效果，时间代价也相对较小，并且重建评价指标PSNR比传统双三次插值高约0.26.

双相机系统；超分辨重建；小波变换；线性回归函数；图像插值

随着信息技术的发展，高分辨率图像的需求越来越大，然而受限于成像器件的工艺水平，光学成像系统在视场和分辨率两方面的需求难以同时被满足[1-2]. 为解决宽视场和高分辨之间的矛盾，国内外学者从不同角度进行了大量研究.

硬件方面可采用多个小视场、高分辨成像器件的精密拼接，实现宽视场的高分辨信息采集，但是该方法对光学系统和图像处理提出了新的挑战. 此外，利用多个具有亚像素位移的低分辨成像器件，基于采样理论可实现高分辨图像采集[3-4]. 近年来在图像处理技术的推动下，双相机系统解决方案得到了广泛的研究，基于双相机系统的高分辨重建技术也成为了研究热点[5-6]. 双相机系统能灵活地提供两幅不同分辨率或不同景深或不同对焦或不同曝光的目标图像，为图像处理技术提供了广泛的自由研究平台.

软件方面主要是图像的超分辨重建技术，传统的双线性以及双三次插值能够快速实现超分辨重建，但不能正确地表达边缘和纹理等细节信息，而小波域的插值算法则一定程度上弥补了传统插值过平滑的缺点[7]. 超分辨重建是一个标准的逆问题[8-9]，可利用最大后验概率求解，然而该方法在放大倍率过大时容易造成解的不稳定，因此近年来机器学习得到了广泛的应用[10-13]. 对大量的高分辨、低分辨图像对进行稀疏字典学习[14-15]，最后得到一对过完备字典，实现任意输入图像的超分辨重建，但它的时间代价过于巨大. 超分辨重建技术在时间代价和算法效果之间寻找平衡点[16]，针对不同的应用，实施不同的重建技术.

本文介绍了一种特殊的双相机系统，它由一个高分辨、小视场相机和另一个低分辨、大视场相机组成. 基于该成像系统，提出了一种灵活的超分辨重建算法，将低分辨、大视场的图像分辨率提升至高分辨、小视场的图像分辨率水平，因此叫做双相机系统的高分辨重建. 本文提出的超分辨重建算法利用小视场的高分辨、低分辨图像对的细节信息，构造一个简单的线性函数来描述高低分辨率之间的约束关系，进而重构出整个低分辨、大视场图像的超分辨图像.

1 双相机系统

双相机成像系统在双目立体视觉、景深扩展、视场拼接等技术中广泛应用，本文介绍的双相机系统是由两台不同焦距的相机组成，并设计图像超分辨算法实现大视场的高分辨重建. 如图1所示，双相机系统由2个成像器件、2个分离或整合的光学系统组成，其中成像器件1输出高分辨、小视场的图像，成像器件2输出低分辨、大视场的图像. 高分辨图像清晰地刻画了目标场景的局部细节，而低分辨图像全面地监控着整个目标场景.

所述的双相机系统可根据应用需求搭配不同参数的光学镜头和成像器件，包括2个成像器件的总像素数和像元大小，2个光学系统的焦距和视场范围，以及小的观测视场在大视场范围内的具体位置等参数. 为获取整个目标场景的更多细节信息，本文基于该双相机系统提出了一种超分辨重建算法，最终获得目标场景的高分辨、大视场图像.

2 高分辨重建

双相机系统输出目标场景的高分辨、小视场图像和低分辨、大视场图像，利用图像配准可得到小视场区域的高/低分辨图像对，基于该先验知识可实现双相机系统的高分辨重建. 高分辨重建的流程如图2所示，对高/低分辨图像对进行高频特征的学习，训练得到一个线性回归函数，它体现了高分辨和低分辨之间的高频映射关系. 然后利用小波变换提取低分辨、大视场图像的高频特征，并根据训练的线性回归函数进行高频特征的线性重构，得到重构的高分辨高频特征. 而低频特征则直接对原低分辨、大视场图像进行线性插值得到，最后在小波域组合重构的高分辨高频特征和高分辨低频特征，并逆变换得到重建的高分辨大视场图像.

2.1 高频特征学习

高/低分辨图像对反映了同一目标场景在不同采样率下的成像特征，主要体现在高频特征上的差异，因此对高/低分辨图像对进行高频特征的学习. 首先对低分辨图像进行线性插值，使其与高分辨图像具有相同的维度，再利用小波变换提取高/低分辨图像对的高频特征，

(1)

(2)

式中：IH和IL分别为高/低分辨图像对中的高分辨图像和低分辨图像，它们具有相同的维度大小；W为小波变换；HL，VL和DL分别为低分辨图像的水平、垂直和对角线方向的高频特征矩阵；HH，VH和DH分别为高分辨图像的高频特征矩阵.

为充分地学习高频特征，将高/低分辨图像对分割为若干个图像块，且相邻图像块之间存在一定的重叠量，对应地，高频特征矩阵也被分割为相同数量的子矩阵. 某图像块P所对应的水平、垂直和对角线方向的3个高频特征矩阵描述了该图像块的高频变化特征，记为高频特征向量VP，

(3)

式中：hP为图像块P的水平方向高频特征矩阵的行向量形式；vP和dP分别为垂直和对角线方向的高频特征行向量. 然后分别创建高/低分辨图像对的高频特征向量集CH和CL，

(4)

(5)

式中：Ui指高分辨图像IH的第i个图像块的高频特征向量；Vi为低分辨图像IL的第i个图像块的高频特征向量；n为图像块的总数，它取决于图像块与块之间的重叠量大小.

高频特征学习即是学习高频特征向量集CH和CL之间的映射关系，高/低分辨图像对IH和IL所对应的是小视场内的目标场景，其类别相对单一同时考虑到时间代价，本文使用线性函数对高频特征进行学习

(6)

式中：F*为最优线性回归函数；1为取值全为1的行向量，线性回归的常数项. 设分割的图像块大小为m×m，则高频特征向量集CH和CL的维度大小为m2×n，线性回归函数的维度大小为m2×(m2+1)，此类线性最优化问题可通过最小二乘法简单求解.

2.2 超分辨线性重构

首先，利用线性插值将低分辨、大视场图像上采样至与高分辨、小视场图像相同的分辨率，再对上采样后的大视场图像实施小波变换

(7)

式中：OLH为上采样后的大视场图像；ALH，HLH，VLH和DLH分别为OLH经小波变换得到的低频分量、水平细节、垂直细节和对角线细节；图像OLH的超分辨重建即是分别对其低频特征ALH和高频特征(HLH，VLH，DLH)进行重构.

参考图2的双相机系统的高分辨重建流程图，对图像OLH的高频特征进行重构. 同样地，将图像OLH分割为m×m大小的图像块，且块与块之间的重叠量与2.1小节保持一致，且总计N个图像块，同理高频特征HLH，VLH和DLH也都相应地被分割为N个子特征块. 根据式(3)，构建某图像块q的高频特征向量Vq，再根据式(6)学习到的最优线性回归函数F*，直接对Vq进行线性重构

(8)

式中Uq为图像块q的重构高频特征向量.

对图像OLH的所有N个图像块进行上述线性重构，得到N个重构高频特征向量. 当图像块与块重叠时，在重叠区域存在多个重构的高频特征值，本文取它们的平均值做为该区域的最终高频特征向量. 然后，根据式(3)反推出图像OLH的重构高频特征矩阵，即重构水平细节HH、重构垂直细节VH和重构对角线细节DH.

根据小波变换的原理，图像OLH低频特征ALH的重构可直接采用简单的线性插值，即将原低分辨、大视场图像上采样至与低频特征ALH相同的分辨率，得到重构低频特征AH. 最后，在得到重构低频特征和重构高频特征之后，利用逆小波变换得到低分辨、大视场图像的超分辨线性重构图像，

(9)

式中：W-1为逆小波变换；OH为线性重构的高分辨、大视场图像.

3 实验及结果

3.1 仿真实验

为检验双相机系统的高分辨重建算法的有效性，本文设计了一组仿真实验，并与时下流行的超分辨重建算法进行了比较. 仿真实验中，双相机系统输出高分辨、小视场图像A和低分辨、大视场图像B，并且图像A的分辨率大小是图像B的3倍，而它的视场角大小占图像B的1/3，且假设图像A所对应的视场范围正好是图像B的中心视场. 双相机系统的仿真输出图像如图3所示，图像A的视场大小与图像B方框中的视场大小一致.

首先利用图像A和图像B方框内图像组成高/低分辨图像对，并进行高频特征学习，得到最优的线性回归函数. 然后利用该线性回归函数对图像B进行超分辨重建，分辨率放大倍数为3倍，且整个重建过程在小波域实现. 最后，本文算法与双三次插值、小波域插值[7]和学习自身的重建[16]3种通用流行算法进行了对比实验. 本文算法只有一个参数：图像块大小，建议取值7×7；双三次插值与小波域插值不需要参数设置，操作简单；学习自身的重建算法，根据文献和推荐的参数编写算法，并调试算法使其达到最佳重建效果.

3.2 结果与分析

本文对10幅典型图像实施3.1小节所述的仿真实验，并对每幅图像实现4种算法的超分辨重建，分别是：双三次插值、小波域插值、学习自身的重建和本文算法. 图4展示了图像Men的4种超分辨重建结果，左下角是方框内人脸区域的放大显示. 对比4幅图像，双三次插值的重建结果最模糊，小波域插值保留了更多的高频细节. 比较人脸区域的眉骨和胡须，可看出本文算法比小波域插值获得了更丰富的纹理细节，而学习自身的重建虽然取得了最锐利的效果，但却丢失了细节造成蜡像般的伪效果. 图像Rope的对比如图5所示，学习自身的重建算法几乎丢失了绳索的纹理，而相比之下，本文算法保留了最丰富的绳索纹理.

为客观地评价上述4种重建算法的效果，本文利用PSNR指标来衡量算法的优良，其值越大说明重建算法的效果越佳. 10幅测试图像的PSNR值如表1所示，粗体表示了4种算法中PSNR值的较大者. 从表1可以看出，学习自身的重建和本文算法效果相当，它们的PSNR值都较为接近，且都大于双三次插值和小波域插值. 统计10幅测试图像的结果，本文算法的PSNR值约比传统双三次插值算法高约0.26，取得了较好的效果. 值得注意的是，图像Men和Rope的PSNR指标表明学习自身的重建要优于本文算法，然而根据图4和图5的对比，本文算法是较真实地保留了目标的纹理细节，并不刻意地追求图像的锐化. 由此可见，本文算法相比于其它3种超分辨重建算法取得了最好的重建效果.

超分辨重建技术目前仍处于发展阶段，尤其在时间代价和算法效果之间需要寻找一个最佳的折衷点. 为更好地体现本文算法的优良，表2展示了双三次插值、小波域插值、学习自身的重建和本文算法的运行时间. 算法的运行环境是：Inter Core I7处理器、64位WIN7操作系统和16 G内存，表2中的运行时间是指所有10幅测试图像的平均运行时间. 从表2可看出，传统插值算法(双三次、小波域插值)的时间代价远远小于机器学习的重建算法(学习自身的重建)，而本文的算法虽比传统插值算法耗时大很多，但却远小于学习自身的重建算法，并且从视觉上取得了最好的重建效果.

表1 4种超分辨重建算法的PSNR评价指标

表2 4种超分辨重建算法的时间代价

4 结 论

利用图像的超分辨重建技术，可实现双相机系统的高分辨重建，灵活地解决光学系统中高分辨和大视场不能同时被满足的矛盾. 充分地利用双相机系统输出的高分辨、小视场图像和低分辨、大视场图像，本文设计了一种特殊的超分辨重建技术，并且在重建效果和时间代价的考量下，本文技术取得了较好的效果. 线性回归函数虽然能取得不错的重建效果，然而它的线性性质一定程度上会损失自然景物的特征，未来在考虑时间代价的前提下，非线性的学习方法值得进一步研究. 双相机系统的灵活度给它的应用提供了广阔的空间，不仅局限于分辨重建，在计算机视觉的其它领域它也具有巨大的研究前景.

[1] Li X, Hu Y, Gao X, et al. A multi-frame image super-resolution method[J]. Signal Processing, 2010,90(2):405-414.

[2] Lee S, Lee J, Kim M Y. Dual camera based wide-view imaging system and real-time image registration algorithm[C]∥Proceedings of 2011 11th International Conference on Control, Automation and Systems (ICCAS). [S.l.]: IEEE, 2011:1766-1770．

[3] Farsiu S, Robinson M D, Elad M, et al. Fast and robust multiframe super resolution[J]. Image Processing, IEEE Transactions on, 2004,13(10):1327-1344.

[4] Yuan Q, Zhang L, Shen H, et al. Adaptive multiple-frame image super-resolution based on U-curve[J]. Image Processing, IEEE Transactions on, 2010,19(12):3157-3170．

[5] Tian J, Chen L, Liu Z. Dual regularization-based image resolution enhancement for asymmetric stereoscopic images[J]. Signal Processing, 2012,92(2):490-497．

[6] Nagahara H, Hoshikawa A, Shigemoto T, et al. Dual-sensor camera for acquiring image sequences with different spatio-temporal resolution[C]∥Proceedings of IEEE Conference on Advanced Video and Signal Based Surveillance. [S.l.]: IEEE, 2005:450-455．

[7] Anbarjafari G, Demirel H. Image super resolution based on interpolation of wavelet domain high frequency subbands and the spatial domain input image[J]. ETRI Journal, 2010,32(3):390-394．

[8] Sun J, Xu Z, Shum H. Image super-resolution using gradient profile prior[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]: IEEE, 2008:1-8.

[9] 邓承志，田伟，汪胜前，等.近似稀疏正则化的红外图像超分辨率重建[J].光学精密工程,2014,22(6):1648-1654．

Deng Chengzhi, Tian Wei, Wang Shengqian, et al. Super-resolution reconstruction of approximate sparsity regularized infrared images[J]. Optics and Precision Enginerring,2014,22(6):1648-1654. (in Chinese)

[10] 李娟娟，李小红.基于聚类的单帧图像超分辨率重建方法[J].计算机工程,2013(7):284-287．

Li Juanjuan, Li Xiaohong. Super-resolution reconstruction method for single frame image based on clustering[J]. Computer Engineering, 2013(7):284-287. (in Chinese)

[11] 张垚，徐斌，周尚波，等.基于稀疏表示的自适应图像超分辨率重建算法[J].计算机应用研究,2013,30(3):938-941．

Zhang Yao, Xu Bin, Zhou Shangbo, et al. Image super-solution with adaptive regularization sparse representation[J]. Application Research of Computers, 2013,30(3):938-941. (in Chinese)

[12] 梁锐华，成礼智.基于小波域字典学习方法的图像双重稀疏表示[J].国防科技大学学报,2012,34(4):126-131.

Liang Yuehua, Cheng Lizhi. Double sparse image representation via learning dictionaries in wavelet domain[J]. Journal of National University of Defense Technology, 2012,34(4):126-131. (in Chinese)

[13] 魏士俨，顾征，马友青，等.基于压缩感知的月球探测器着陆图像超分辨重建[J].红外与毫米波学报,2013,32(6):555-558．

Wei Shiyan, Gu Zheng, Ma Youqing, et al. Super-resolution algorithm for lunar rover landing image based on compressed sensing[J]. Journal of Infrared and Millimeter Waves, 2013,32(6):555-558. (in Chinese)

[14] Rueda A, Malpica N, Romero E. Single-image super-resolution of brain MR images using overcomplete dictionaries[J]. Medical Image Analysis, 2013,17(1):113-132．

[15] 刘梓，宋晓宁，於东军，等.基于多成分字典和稀疏表示的超分辨率重建算法[J].南京理工大学学报,2014(1):1-5．

Liu Zi, Song Xiaoyu, Yu Dongjun, et al. Super-resolution reconstruction algorithm based on multi-component dictionary and sparse representation[J]. Journal of Nanjing University of Science and Technology, 2014(1):1-5. (in Chinese)

[16] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C] ∥Proceedings of 2009 IEEE 12th International Conference on Computer Vision.[S.l.]: IEEE, 2009:349-356．

(责任编辑：李兵)

High Resolution Reconstruction for Dual-Camera System

CHEN Jin-wei1， ZHAO Ju-feng2

(1.Institute of Metrology， Zhejiang Province，Hangzhou， Zhejiang 310018， China；2.Hangzhou Dianzi University， Hangzhou，Zhejiang 310018，China)

To obtain the wide FOV target image with high resolution， a high resolution reconstruction for dual-camera system was proposed. Firstly， the high frequency feature was learnt based on high/low resolution image pair with narrow FOV， and a linear regression function was trained to represent the mapping of high frequency feature between high resolution and low resolution. Then， the super resolution reconstruction of wide FOV image was realized in wavelet domain. At last， ten groups of simulation experiments were carried out to verify proposed high resolution for dual-camera system， comparing with popular bicubic interpolation， wavelet based interpolation and self-similarities based reconstruction. Experimental results showed that the proposed approach performs best with small time cost， whose PSNR was higher than bibubic interpolation about 0.26.

dual-camera system； super resolution reconstruction；wavelet transform；linear regression function； image interpolation

2014-11-17

国家自然科学基金资助项目(61405052)

陈锦伟(1987—)，男，博士，工程师，E-mail:chenjinwei_1987@126.com.

TP 751.1

A

1001-0645(2016)02-0175-06

10.15918/j.tbit1001-0645.2016.02.013