全景环视泊车辅助系统在商用车上的应用

李晓亮，王宇宁，安兆杰

(武汉理工大学 汽车工程学院，湖北 武汉430070)

随着汽车保有量的急剧增加，泊车位缺少、泊车困难等问题日渐突出，为了解决此类问题，全景环视泊车辅助系统应运而生。全景环视泊车辅助技术是指当车速在一定数值范围内(可根据主机厂需要设定，一般取0 ＜v≤15 km/h)。通过在车身前、后、左、右安装4 个广角摄像头［1］，采集车身前、后、左、右4 个方向的真实画面，得到4 幅图像后控制器对这4 幅图像进行采集、矫正变换和无缝拼接等处理，最终处理成一幅车辆周边360°的车身鸟瞰图，并在中控屏幕上显示［2］，如图1 所示。

图1 全景环视泊车辅助系统基本原理

全景环视泊车辅助系统的摄像头一般布置在汽车前保险杠Logo 下方、左、右后视镜下方，以及后牌照灯处［3］。但是商用车的车身体积较大，结构也较为复杂，如果对多个鱼眼摄像头的位置和姿态关系参数没有一个具体的标准会增加安装的难度，并使得后续图像畸变校正、无缝拼接的效果难以达到最优。

通过实验对比，建立全景环视泊车辅助系统鱼眼摄像头在商用车上的安装优化方案，使得在安装过程中可根据商用车的具体情况来确定摄像头的安装位置(包括前后两个摄像头在车宽、左右侧面两个摄像头在车长中的位置，摄像头距离地面的垂直高度)和安装方式(摄像头中心光轴上下倾斜的角度、左右平移的幅度)等。

1 商用车安装泊车辅助系统的难点

商用车是指在设计和技术特征上用于运送人员和货物的汽车［4］。驾驶员在仅转动眼球而不回头的情况下，可以看到商用车前方两侧约200°的范围，而后视镜只能提供侧后方60°左右的可视范围，车辆两侧约有100°的视野要靠驾驶员扭头观察［5］。商用车的视野盲区如图2 所示，驾驶员容易忽视后方出现的紧急状况。同时在商用车右转时，后轮并不是沿着前轮的轨迹行驶，后轮行驶轨迹往往比前轮更靠近内侧，车身越长，“内轮差”就越明显［6］。因此商用车在泊车时存在着安全隐患，需要更大的泊车视野。

全景环视泊车辅助系统鱼眼摄像头在商用车上的安装需要考虑到其结构复杂、底盘及车身类型多变和货载类型多样等因素。安装的位置也不像乘用车那样较为固定，而是可以适当调节。因此安装时需要考虑一些商用车(例如挂车、专业车等)底盘结构布局较为复杂等因素，既要避免影响商用车的正常作业，又要保证各个鱼眼摄像头拼接融合形成的全景图有较好的效果。

图2 商用车视野盲区

2 鱼眼镜头的光学特性

2.1 鱼眼镜头成像特点

鱼眼镜头是一种焦距极短并且视角接近或等于180°的镜头，根据摄像头感光面积的不同，图像并不会充满整个画幅，而是所拍摄的区域在画幅内形成一个圆形区域或者鼓型区域，即接近一个半球形［7］。

根据鱼眼摄像头的成像原理，其图像信息以非线性的方式存储，其成像特点是除了图像中心的景物保持不变形外，图像中心以外的水平或垂直的景物都发生了变形，并且越接近图像边缘区域，变形越明显，中心图像占据了很大的成像区域，信息量少，边缘成像区域小，但含更多物体的信息［8］。这样的成像特点不符合人眼正常的视觉。因此，使用鱼眼图像前，应对鱼眼图像进行校正，对扭曲变形的目标进行校正，将图像信息变为线性存储的信息，便于后续图像的拼接和融合。

2.2 鱼眼镜头图像畸变校正

全景视觉图像的算法主要包含去鱼眼失真、平面投影映射和图像合成。图像合成即无缝拼接技术是全景环视泊车技术的核心，其通过对齐空间一系列重叠的图像，构成一个无缝的、高清晰的图像，比单个图像具有更高的分辨率和更大的视野。去鱼眼失真(即鱼眼图像畸变校正)是后续图像合成的关键步骤，直接决定了后续步骤图像处理的质量。鱼眼图像畸变校正可以用图3 来说明。

鱼眼图像畸变校正过程就是鱼眼镜头成像过程的逆过程：鱼眼图像中的任意一点P3，沿平行于Z轴方向投影到球面上与球面交于P2点，连接OP2交平面ABCD于P1点，P1就是P3的校正点。把鱼眼图像中的每个点都这样映射到平面ABCD上，最后平面ABCD就是所要求鱼眼图像的校正图像［9］。

图3 鱼眼图像畸变校正过程示意图

在实验室中利用鱼眼摄像头拍摄一张画满20 ×20 个小正方形的白纸，得到鱼眼图像和畸变校正后的图像，如图4 所示。从图4 中可以看到，在进行畸变校正后，除了图像的中心变形较少，成像较为清晰外，图像的边缘部分仍然存在着一定的拱形失真，需要进一步处理。利用鱼眼摄像头的这个特点，来进一步优化其在商用车上的安装方案，即通过鱼眼摄像头在商用车上的优化安装来减少后续图像配准的工作量。

图4 鱼眼图像和畸变校正后的图像

3 鱼眼镜头在商用车上的安装优化方案

全景环视泊车辅助系统的图像显示范围为左、右可视距离可达2.5 m，前、后可视距离可达3 m［10］，如图5 所示。

图5 全景环视泊车辅助系统二维图像显示

图5 中阴影S为左边鱼眼相机与后边鱼眼相机拍摄图像的重叠部分，这也是最后图像进行拼接融合的依据。同理左前、右前、右后两两鱼眼相机都有重叠部分，图中未显示。

依据以上分析提出一种基于全景环视泊车辅助系统鱼眼摄像头在商用车上的安装优化方案。通过鱼眼摄像头的合理安装来减少由于畸变校正后图像边缘失真的影响，同时也可减少后续图像配准、融合的工作量，并使最后在中控台上显示的全景图能精确地反映商用车四周的情况。

3.1 鱼眼镜头中心光轴左右平移的幅度

鱼眼镜头的中心光轴是指当光线从某个特殊的方向通过镜头时，光线射到最后成像芯片上不发生任何折射［11］。这个特殊的方向就是鱼眼镜头的中心光轴，一般即为通过镜头中心的线。

全景环视泊车辅助系统是基于两两摄像头之间的重叠部分，经过一系列的图像变换后得到鸟瞰图，如图6 所示。通过实验分析可知，当鱼眼镜头C1的中心光轴W1由原来与汽车车身垂直变为与车身存在α 角度W2时，在摄像头C2和C4位置不变的情况下，由于鱼眼摄像头的视野范围为180°，摄像头C1与C4的重叠部分l12，l41变多，易于后续的拼接，同时摄像头C1与C2的重叠部分l11，l22也会变少。然而图像拼接融合就是依靠这一重叠部分来完成的，重叠部分的多少将会直接影响最后的成像效果，因此摄像头安装位置应该使得左右两边成像重叠部分相同。同时考虑到鱼眼镜头的成像特点，图像边缘部分变形严重。这些因素会给后续的拼接带来极大的难度，拼接完成后的图像也不能真实地显示汽车周围的情况，极易出现盲区。同理，鱼眼相机C2、C3、C4两两之间也存在同样的问题。

图6 安装4 个鱼眼摄像头的汽车鸟瞰示意图

因此4 个鱼眼摄像头中心光轴与车身边缘垂直，即鱼眼摄像头的中心光轴左右平移幅度为0才是最优的安装方案。

3.2 鱼眼镜头在车身长、宽中的位置

鱼眼镜头的成像特点是除了图像中心的景物保持不变形外，图像中心以外的水平或垂直的景物都发生了变形，且越接近图像边缘区域，变形越明显。因此如图6 所示，如将鱼眼摄像头C4由原来位置变化到C4'位置时，即摄像头前移了，摄像头C4'与摄像头C1的重叠部分l12、l41，由于l41更加靠近鱼眼图像的中心而更加清晰，畸变程度更小，因此更易于拼接融合处理;同时也要考虑由于摄像头C4'太靠近汽车前端，使得C4'拍摄的图像l42越接近鱼眼图像的边缘部分，因此变形更加严重。最终在与C3公共区域l31进行拼接融合处理时，由于图像失真严重，增加了图像畸变校正的难度，即校正后的图像失真也较严重，很难达到预期的效果。同理其他鱼眼摄像头C1、C2、C3安装过程中也存在同样的问题。

因此，对于车身长度较小的情况，鱼眼镜头一般应该安装在车身长、宽的中点处，这样更利于后续的图像处理，得到的效果也比其他方案好。

3.3 鱼眼镜头中心光轴上下倾斜的角度

在全景环视泊车辅助系统中，驾驶员并不是特别在意每个鱼眼镜头拍摄的全部视野，只是对某个特殊区域感兴趣，这个特殊区域如图5 所示，即汽车周围左、右可视距离2.5 m，前、后可视距离3 m 的区域。这时需要把鱼眼镜头光学中心由原来的整个鱼眼图像的中心转换为感兴趣区域的中心，通过将鱼眼相机中心光轴向下倾斜一定角度对应感兴趣的区域的几何中心与鱼眼镜头安装高度相结合，建立一种对应优化关系。实现鱼眼图像感兴趣区域的视窗校正，从而为下一步实现图像拼接融合奠定基础。

当摄像头斜向下拍摄水平地面上的物体时，物体在图像中的影像会发生形变，为了减少后期对畸变图像校正的工作量，就要根据鱼眼摄像头安装高度H来调节镜头中心光轴向下倾斜的角度β，使得鱼眼镜头的中心光轴对准感兴趣区域的几何中心点如图5 中的A点、B点，即分别是在1.25 m 处和1.5 m 处。具体实验室模拟试验方案如图7 所示。通过一块宽2.5 m、长6 m 及一块宽3 m、长4 m 包含24 个特征圆的靶标来模拟全景环视泊车辅助系统在汽车左右、前后的感兴趣区域。同时将鱼眼镜头固定在三角架上，将镜头的中心光轴向下倾斜一定的角度β，对准标靶上的几何中心K点。

(1)模型建立。针对不同外观轮廓车身的商用车，鱼眼摄像头安装的数量和类型可能有较大差异。因此通过建立一种通用的模型，对具体的模型进行分析。对于上述分析，如图8 所示，利用立体模型来模拟鱼眼摄像头照射感兴趣区域ab的范围。鱼眼摄像头的视野范围很广，但是依据假设只对汽车两侧2.5 m×6 m 和前后3 m×4 m的范围感兴趣，即只要是汽车左右宽2.5 m、长6 m，以及前后宽3 m、长4 m 的空间区域内出现的障碍物，都能较好地被检测并显示出来。

图7 实验室模拟感兴趣的区域

图8 鱼眼相机安装图

(2)基本假设。①全景环视泊车辅助系统最后成像达到的视野范围是：汽车左、右可视距离可达到2.5 m，前、后可视距离可达3 m，如图8(a)所示。②考虑到商用车本身的车长及车宽，横向感兴趣区域的范围分别为6 m、4 m，如图8(b)所示。③鱼眼镜头安装的高度H变化时，其中心光轴与车身安装角度β 随之呈一定规律变化。④参考《道路车辆外廓尺寸、轴荷及质量限值》，以及考虑到商用车的底盘一般较高及货车和一些牵引车的车高，取鱼眼摄像头的安装高度为0.6 ～3.0 m，即0.6≤H≤3.0。

(3)符号说明。β 为鱼眼摄像头中心光轴与车身垂直线的夹角;a为感兴趣区域的宽;b为感兴趣区域的长;K为感兴趣区域的几何中心;H为鱼眼摄像头安装时相对地面的垂直高度。

(4)实验数据与分析。在实验室里，为了便于调节镜头角度和安装的高度，将鱼眼摄像头安装在三角架上，根据鱼眼相机不同的安装高度H不断调节β 值，使鱼眼摄像头的主光轴对准感兴趣几何中心K。通过运用SPSS 统计分析软件，可得到商用车左右鱼眼相机安装高度与旋转角度趋势变化曲线，如图9 所示。

由图9 可知，拟合的趋势变化符合指数分布β=103.363e-0.595H(0.6≤H≤3.0)。因为相关系数R2=0.78，所以这是一个指数特征较为明显的实验模型，即能说明拟合指数曲线能够78%地解释实测数据，可以为商用车左右鱼眼摄像头安装提供参考。

同理，运用同样的方法得到商用车前后鱼眼镜头安装高度与旋转角度趋势变化曲线，如图10所示。

图9 商用车左右鱼眼相机安装高度与旋转角度趋势变化

图10 商用车前后鱼眼相机安装高度与旋转角度趋势变化

由图10 可知，拟合的趋势变化符合指数分布β=124.69e-0.63H(0.6≤H≤3.0)。因为相关系数R2=0.77，所以这是一个指数特征较为明显的实验模型，即能说明拟合指数曲线能够77%地解释实测数据，可以为商用车前后鱼眼摄像头安装提供参考。

4 结论

综上分析，可根据商用车的不同外观轮廓尺寸确定鱼眼摄像头的最佳安装方案：

(1)鱼眼摄像头中心光轴与车身边缘垂直，即鱼眼镜头的中心光轴左右平移幅度为0;

(2)鱼眼镜头一般应该安装在商用车车身长、宽的中点处，但对于一些大型货车和挂车等车身较长的情况，可通过安装多个鱼眼镜头来满足全景的要求;

(3)在安装过程中可先根据商用车的车身与底盘结构确定鱼眼摄像头的安装高度H，通过不断调节鱼眼相机主光轴与车身垂直线的夹角β，来达到鱼眼摄像头的最佳安装方式。鱼眼摄像头的安装高度H具有一定的鲁棒性。

［1］ WADA M，YOON K.Development of advanced parking assistance system［J］.Industrial Electronics，2003，13(3)：63 -70.

［2］ 臧艳红.基于全景图像的拼接算法研究［J］.微计算机信息，2007(23)：311 -312.

［3］ 杨明.无人自动驾驶车辆研究综述与展望［J］.哈尔滨工业大学学报，2006(5)：35 -40.

［4］ 文彤. 商用车安全性系列综述［J］. 汽车与配件，2007(17)：84 -90.

［5］ 李宗烜.大型商用车右侧碰撞预警系统［D］.武汉：武汉理工大学，2012.

［6］ PATIDAR S，TANDON V.Practical problems in implementing commercial vehicle cab occupant protection standard ECE R-29［J］.Journal of Commercial Vehicle，2005(26)：38 -41.

［7］ 冯为嘉.基于鱼眼镜头的全方位视觉及全景立体球视觉研究［D］.天津：天津大学，2012.

［8］ FRANK R.Sensing in the ultimately safe vehicle［J］.Journal of Automotive Security，2004(15)：126 -130.

［9］ 贾云得，吕宏静. 鱼眼变形立体图像恢复稠密深度的方法［J］.计算机学报，2000(23)：133 -136.

［10］ 丁鑫.全景视觉泊车辅助系统研究［D］. 杭州：浙江大学，2010.

［11］ 王鹏程.基于多图像传感器融合的全景环视泊车辅助系统研究［D］.长春：长春理工大学，2013.