基于透视投影的垂直视角投影算法研究

张建伟， 雷 霖

(成都大学 信息科学与工程学院， 四川 成都 610106)

基于透视投影的垂直视角投影算法研究

张建伟， 雷 霖

(成都大学 信息科学与工程学院， 四川 成都 610106)

在计算机视觉领域，透视投影变换是图像变换中最复杂的变换之一.在透视投影中的垂直投影是在实际工程应用中使用最广泛的变换方法.研究了透视变换中斜投影与正投影之间的变换关系，分析了不同角度的斜投影图像到正投影图像之间变换对参数的影响，得出了变化参数与斜投影的倾角关系.实验表明，按照所得到的参数与倾角关系矩阵，可以准确地计算出斜投影图像对应的正投影图像.

垂直投影；透视变换；图像投影；图像处理

0 引 言

图像处理领域中，投影技术是实现三维立体信息到二维平面信息的主要手段.目前，图像几何中，主要有2类投影技术：一是平行投影；二是透视投影.其中，透视投影是摄像机捕获图像信息的几何模型，应用更为广泛.在实际应用中，由于实际环境的限制，摄像机并不能捕获垂直视角的图像(即正投影图像)，而视角倾斜得到的斜投影图像有一个很大的缺陷就是不直观，尤其是距离和三维空间位置的感知，使得人眼无法预测距离的远近.对此需要对摄像机获取的斜投影图像进行二次投影变换得到垂直视角投影图像，以便得到更直观的视觉信息和三维信息.随着图像处理技术的快速发展，对透视投影技术的研究也逐渐深入[1-3].但目前对垂直视角投影与斜投影之间参数关系的研究相对较少，特别是垂直视角变换中角度、距离与变换参数之间的关系.基于此，本研究对斜投影到垂直视角投影的变换参数矩阵进行了深入分析，将各个参数之间的关系及影响因素做了详细探讨，并进行了仿真实验.

1 透视投影变换

在图像处理中，图像变换是最基本的处理方法之一，包括简单变换与复杂变换.简单变换包括，改变图像位置的平移变换、改变图像大小的尺度变换以及改变图像角度的旋转变换等；复杂变换则有，三维到二维的透视变换、用于直线检测的霍夫变换等.

透视投影变换是图像变换中最复杂的变换之一.从几何学角度来说，平移、旋转、尺度变换、相似变换、仿射变换都只是透视变换的一种特殊形式.因此，介绍透视投影之前，需要先对其他几种变换的原理进行了解和分析，其他各变换的公式[4-6]如下，

(1)

(2)

(3)

(4)

(5)

(6)

其中，式(1)是平移变换，式(2)是旋转变换，式(3)是尺度变换，式(4)是相似变换，式(5)是仿射变换，式(6)是透视变换；x、y为变换前坐标，x′、y′为变换后坐标.关于各个参数的具体含义可以在文献[6]中查阅.

从以上一系列公式中看出，变换的参数从旋转与尺度变换的单参数到仿射变换的6参数再到透视变换的8参数，复杂度越来越高，而透视变换是其中计算最复杂的变换，其他变换都可以看成是透视变换的特殊形式.本研究重点分析相似变换、仿射变换和透视变换3个公式，其矩阵都是3×2矩阵，但相似变换只有4个参数，而仿射变换有6个参数，换句话说，相似变换是仿射变换的一种特殊形式.而透视变换有8个参数，因此仿射变换是透视变换矩阵的a31和a32为0时得到的矩阵.通常，在实际应用中，应遵从简单原则，相似变换能解决的问题不使用仿射变换，仿射变换能解决的问题不使用透视变换[7].但由于实际工程的复杂性，很多问题需要透视变换解决，因此，对透视变换的研究等同于对以上所有变换的研究，这具有十分重要的意义.

透视变换的原理示意图如图1所示.

图1 透视变换示意图

从图1可以看出，透视变换是将远端的立体图像投影到近平面图像的过程，也是从三维到二维的过程，这也是摄像机的基本原理：对于景物目标中任何一个平面最终投影到摄像机的传感器平面都遵守透视变换公式(6).

2 基于透视变换的垂直视角变换

2.1 透视投影变换矩阵求解

从摄像机直接采集到的图像本身已经是外界三维图像，按照透视变换公式(6)生成二维图像，但由于位置关系，所采集的视角并不直观(见图1).图像中只有部分平面是正投影，其他底平面、顶平面、左平面及右平面都是斜投影.从几何理论可知，垂直视角对于人的眼睛是最直观的接收视角(见图2)，1号摄像机是斜视角，2号摄像机是垂直视角.在监控行业，很多摄像机不能安装为垂直视角，尤其是室外的监控，这对很多视频的智能分析尤其是周界报警算法的实现是非常不利的.对此，利用透视变换的原理和摄像机与近平面的夹角之间的关系，可以将斜投影进行二次投影为垂直变换.

图2 斜投影和垂直视角投影示意图

为了能够更准确描述透视投影和摄像机与拍摄平面之间的关系，本研究利用一张标准的图形作为标定图(见图3(a))，标定图由5×6共30个正方形的格子构成，然后通过调整摄像机的角度拍摄出不同倾斜角度的斜投影图像(见图3(b)).

图3 透视投影标定图与斜视投影图像

按照透视变换原理，若要将斜投影图像变为垂直视角投影，只需要找到变换前和变换后图像4个点对坐标(u1，v1)(u2，v2)(u3，v3)(u4，v4)，映射后为(x1′，y1′)(x2′，y2′)(x3′，y3′)(x4′，y4′)，即可联立方程求解出透视变换矩阵，其中4个点中任意3点不能在同一直线上.式(6)透视变换的完整形式为，

(7)

将式(7)变换为等式形式，

(8)

将4对点代入式(8)，得到8个方程，联立可得8个参数，最后获得变换矩阵，其中a33=1.

2.2 透视投影矩阵与斜视投影夹角关系

为了更方便地分析斜视投影与垂直视角投影夹角与变换矩阵参数的关系，在标定图中设定固定的对应点对，如图4中的黑色圆点.接着，通过改变斜视投影面与垂直投影面的夹角获取不同的投影图，并通过对应点解算透视变换矩阵得到垂直视角的图像，得到矩阵参数与夹角数据的参数表，最后根据参数表来确定参数与角度变换的关系.

图4 标定图中选定的标定点

为确认参数的初始值，先对图3(b)做正投影变换，得到以下参数：

a11=0.553240974820510；

a12=1.28142380422692；

a13=-23.6818687430476；

a21=1.60617858226312；

a22=0；a23=-188.793103448276；

a31=0.00116290828192943；

a32=0；a33=1

该参数矩阵所完成的变换实际上就是从一个等腰梯形的四边形变换为一个矩形.其中，a12和a32为0；a22控制旋转变化，由于本次变换图像并未发生旋转，因此为0；a32控制x方向的透视变换，在本次变换中主要是y方向的，因此为0.当不为0时，投影效果如图5(b)和5(c)所示，其中5(a)为正投影的情况.由于实际拍摄的环境不是理想情况，打印方格的纸张存在一定的不平整，导致正投影最上面一条直线存在少量的弯曲.

图5 a22和a32为0和不为0的变换对比

以上面的参数为基础，就可以通过改变其他参数来找出矩阵中参数和斜投影的夹角之间的关系.

3 仿真实验

在仿真实验中，采用图3(a)作为标定图，分别在40 °、50 °、60 °和70 °斜视投影下进行图像采集(见图6).根据以上分析可知，在透视变换参数矩阵中，各个参数对于图像的变换起着不同的作用，a31和a32是透视参数，其他参数都是仿射参数，也就是说其他参数不会产生透视，由于a32为0，因此此处主要考虑a31.在实验中，只改变a31，将出现图6中图像的倾斜，因此还要考虑x方向的平移量，也就是a13.通过改变a31和a13来实现各种角度的正投影，如图7和图8所示.各个投影的实现所用的参数如表1所示.

图6 单独改变a31造成的图像倾斜

图7 各个角度的斜视投影图

从表1看出，a31的值随着角度增大相应变大，而a13则起调节作用，保证整个图像在x方向是中心对称且不出现倾斜.因此，在实际工程中可以通过a31和a132个变量来对各种倾角的斜投影进行正投影变换.

图8 正投影变换后的垂直视角投影

相机传感器倾角a11a12a1340°0．55321．2814-23．681850°0．55321．2814-113．681860°0．55321．2814-183．681870°0．55321．2814-223．6818相机传感器倾角a21a22a2340°1．60620-188．793150°1．60620-188．793160°1．60620-188．793170°1．60620-188．7931相机传感器倾角a31a32a3340°0．00120150°0．00140160°0．00160170°0．001801

4 结 论

透视变换是图像处理算法中三维和二维转换的关键技术，透视变换中的垂直视角变换是其在工程应用中最为广泛的一种.本研究通过对透视参数矩阵的分析和实际斜投影图像的仿真实验表明，修改矩阵中的a31和a132个参数，而不需要对其他6个参数进行调整，即可以实现不同倾角的斜投影图像到正投影图像的变换，这在具体的图像工程中具有实际意义.

[1]金勇俊，李言俊，张科.一种透视变换图像金字塔匹配改进算法[J].计算机工程与应用，2007,43(24):78-80.

[2]刘洪涛，蒋如意，胡文，等.基于路面垂直轮廓建模的一般路面逆透视变换[J].上海交通大学学报，2012，56(11):1770-1773.

[3]杨彬，李旭东，晏磊，等.航空遥感图像拼接算法及其精度评价[J].计算机工程，2014,40(3):253-257.

[4]姚敏．数字图像处理[M]．北京：机械工业出版社，2012.

[5]陈自强.透视投影研究[J].华东理工大学学报,2000,26(2):201-205.

[6]Richard Hartley,Andrew Zisseerman．计算机视觉中的多视图几何[M]．韦穗，杨尚骏，章权兵，等译.合肥：安徽大学出版社，2002．

[7]Lin W Y,Liu S Y,Matsushita Y,et al.Smoothlyvaryingaffinestitching[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR2011).Colorado,USA:IEEE Press,2011:345-352.

Top-view Projection Algorithm Research Based on Perspective Projection

ZHANGJianwei,LEILin

(School of Information Science and Engineering, Chengdu University, Chengdu 610106, China)

In computer vision,perspective projection is one of the most complicated image transformations.The top-view projection in the perspective projection is applied widely in many engineering fields.In this paper,the correlation between top-view projection and tilt-view projection is studied,and the influence of the transformation from the tilt-view projections at different angles to top-view projections on the transformation parameters is analyzed.Therefore,the correlation between parameters and the tilt-angle is confirmed.Experiments show that based on the matrix relation between parameters and the angle of tilt,the expected top-view projection image that corresponds to the tilt-view projection can be obtained by accurate calculation.

top-view projection;perspective transformation;image projection;image processing

1004-5422(2017)01-0047-04

2016-10-12.

四川省科技厅科技支撑计划(2015GZ0274)、 四川省教育厅理工类重点课题(15ZA0359)资助项目.

张建伟(1980 — )， 男， 博士， 副教授， 从事图像处理与计算机视觉研究.

TP391.41

A