一种视觉导引AGV叉车倾斜畸变自标定方法

张 悦，楼佩煌，钱晓明，武 星

（南京航空航天大学 机电学院，江苏 南京 211100）

1 引言

随着工厂自动化程度不断提高，自动导引叉车应用越来越广泛，采用的导引方式包括激光，磁带，视觉等，其中视觉导引以其低成本、高可靠性受到广泛研究与应用[1]。视觉导引一般是由视觉系统通过识别环境中铺设特殊标识线和符号作为预定义路径，并测量AGV相对导引路径的位置偏差和角度偏差完成既定路径导引任务[2]。

在计算机视觉系统中，主要有单目视觉相机和双目相机。两种方式均广泛应用于导引、测距以及障碍物检测。单目的结构简单，它避免了可视化数据混合，并且可以轻松实现实时监控。我们可以通过摄像头获得目标的位置和特征。单目保证不同坐标系中的位置关系一致[3-5]。Gang Chen等人提出了一种整合卡尔曼的方法对视觉传感器滤波，通过单目立体视觉系统校准实现完整的线性成像，测量叉车与托盘距离[6]。

Jittima Varagul基于视觉，结合神经网络的方式进行障碍物检测[7]。俄勒冈理工学院通过车本身摄像头避障，通过安装在天花板上的摄像头确定位置[8]。视觉测量系统中，因为摄像头安装方式不同，图像倾斜畸变是一个不可忽视的问题[9]。国内外对于倾斜畸变进行了多年研究，并提出了多种方法，汪贵平等提出了根据特征平行线进行畸变校正，该方法提取视野图像中包含的多条特征直线，利用直线对应关系得到畸变参数,并以这些参数反演迭代实现对透视畸变的校正[10]。杨麒等提出了基于直线投影特征的镜头畸变校正算法，根据直线三点投影关系，用遗传算法得到最优解[11]。以上两种方法均动态求解摄像机内外参数，无法避免因为计算量复杂而带来的实时性问题。

为提高测量精度及实时性，喻俊等人采用静态标定摄像机内参数，动态标定外参数的系统标定方法，该方法主要针对摄像头垂直安放，先用张定有算法静态标定出摄像机内参数，然后在运动状态对图像进行动态标定[12]。

本文重点解决摄像头倾斜安装畸变问题，提出了一种基于透视原理，采用固定宽度色带路径，改进Hong变换运算求解边界，得到透视点，进行实时、多场景自动倾斜标定的方法。它不仅可以精确测量路径信息，车体到托盘及标志点距离，而且可以动态标定，根据场景进行自我标定的特点，同时具有运算简单，可靠性高，有利于嵌入式应用。

图1 视野范围水平线以上

图2 视野范围水平线以下

图3 摄像机透视原理立体模型

2 视觉导引系统建模

2.1 视觉导引系统模型

本文应用视觉导引模型如图1、图2和图3所示，自动导引叉车用舵轮驱动和转向，万向轮提高舵轮转向的平稳性，辅助轮在货叉取货时保持车体方向的稳定性。本文所用CCD摄像机视角范围在85度左右，当摄像机倾角介于46.5度上下范围时，产生图1、图2两种视觉导引模型。对于图1模型，视野范围在水平线以上，即理论上，摄像头可拍摄到地面无穷远，由透视原理，无穷远处所有直线汇聚到一点，即为透视点。此时透视点在图像坐标系下坐标为P（U0,V0）。对于图2b模型，视野范围在水平线以下，透视点不在摄像机广角范围内，但由摄像头成像对应关系，依然可以计算出虚拟透视点在图像坐标系下坐标为P（U0,V0）。

与垂直安装方式相比，摄像头视野范围较大，测量反馈信息较多，但也面临着倾斜畸变，光源复杂，路径及标志信息提取困难等诸多问题。本文提出的视觉模型及预期效果如图4所示，图5是路径在摄像机坐标系下的图像模型，图4是二维地面坐标系图像，在对图像进行倾斜畸变校正处理后，以期在视野范围内，能实现实时标定并精准反映出色带宽度，车体色带倾斜角度，车体标志点距离，车体托盘距离等。

图4 原始图像

2.2 径向畸变校正

为提高识别精度，同时提高识别准确率和识别速率，本文首先在静止状态下对摄像头进行畸变校正。镜头的非线性畸变有径向畸变、离心畸变和薄棱镜畸变等。光学镜头径向曲率的变化是引起径向变形的主要原因。在大多数情况下后两者的畸变可以忽略不计。

视觉各坐标系关系如图6所示，Oc为摄像机坐标系，Oi为图像像素坐标系，Ow为世界坐标系，Od为实际图像物理坐标系，Ou为理想物理坐标系。

图5 校正后图像

图6 视觉各坐标系关系图

摄像机内参数矩阵

带入式（1），理想图象坐标系与世界坐标系关系

其中s是缩放因子，R是旋转矩阵，t为平移矩阵。采用张定有标定法将图7进行标定，结果如图8所示。

图7 图像畸变示意图

图8 畸变校正示意图

2.3 图形预处理

叉车采用单目CCD摄像机采集图像，图像格式为YCbCr格式，为提高运算效率，本文只提取Cb分量，即提取蓝色分量部分。处理器用Ti公司的DM642，导引路径为蓝色色带，提取图像蓝色分量部分，用3X3线性中值滤波器进行滤波处理，处理结果如图9所示。

图9 预处理图像

2.4 边缘检测

边缘检测会受到周围环境的影响，尤其是光照情况的改变。张颖提出一种基于光照色彩模型的自适应图像照度动态分区方法，采用了分区域模型，本文将光照处理与路径提取结合起来。

传统的Sobel算子主要用于边缘检测，分别为横向及纵向模板。模板与图像进行卷积运算，得到梯度近似值。何春华等提出了权值的自适应算法，以此来增强图像的抗噪能力[13],沈德海等增加了斜向两个模板，进行四个方向的提取[14],本文主要对于纵向边界进行提取，在横纵模板进行运算的基础上，加大纵向模板权重，减少甚至避免由于光照影响或周围环境造成的非期望被提取直线。

水平横向模板

水平纵向模板

图像的每一个像素的梯度大小：

而后可用如下公式估算梯度方向大小。

本文通过G和P作为边界选取条件，设定P为1，G优选为15，处理结果如图10所示，图像中几乎无干扰和错误信息被提取。

图10 改进Sobel提取

2.5 边界线提取

在图象XY坐标系下，过点(x,y)的直线的方程为：

其中：p为斜率；q为截距

由此可知，在参数空间里面相交于同一个点的所有直线在图像空间里面都有共线的点与之对应，这就是点-线的对偶性。

Hough变换根据点-线的对偶性把直线检测问题转化为参数求解。

将式（7）进行极坐标方程转换，如式（8）

霍尔夫变换通过建立参数（λ，θ）的二维数组累加器，改变满足式（8）参数方程的目标点对应参数累加器数值，按累加器数值降序列出预定义数量的目标直线参数，完成直线检测。

霍尔夫变换极值角度关系曲线如图11所示，共线点的参数方程交于一点，并在图中由白色方块标注，其在图像中直线对应关系如图12所示，图12展示了改进霍尔夫变换的直线检测结果。

图12 改进霍尔夫直线检测结果

2.6 倾斜标定

改进Hough变化得到了两条及以上的直线，所有直线在无穷远出必相交于一点，两侧垂直直线除外如图12所示。求得所有直线交点P（U0，V0），即为图像在地面上的透视点。两条直线与图象上底边的交点，即起始出发点记为A（U1，V1）,B（U2，V2），图像中路径宽度像素count_L=V2-V1。

图13 透视原理平面模型

图14 透视原理侧平面模型

由于摄像机特性，倾斜安装时，单位角度像素数为线宽与摄像机视角之比，即单位角度内图像横向或纵向的像素数目相同。

基于透视点标定原理图像行坐标为u，列坐标为v。所有直线在无穷远处交于透视点，即其在地面坐标系上有相同的纵坐标，由此：

其中：xw-地面坐标系x坐标；

yw-地面坐标系y坐标；

w-图像像素宽度；

h图像像素长度；

Wroad-色带真实宽度；

Count_l-图像中色带最大宽度像素数；

L-摄像机安装高度。

3 实验结果分析

3.1 垂直路径标定结果

对于平面标定完成以后，将标定后参数应用于图像，为了更直观的展现标定结果，本文用插补计算方法，按照计算所得畸变参数，对地面二位场景进行校正还原，得到图像如图16所示。图15是原始单一蓝色分量提取图像，图16是标定完成后的蓝色单一分量图像，对于图像的中下窗口部分，垂直路径信息被准确清晰地反映出来。

图15 原始图像

图16 标定后的图像

3.2 距离测试标定结果

当前检测叉车到托盘距离的方法一般采用光学或声学传感器等，测量的成本较高，测量的精度也未能达到预期效果。本文采用视觉进行距离测量，测量误差两米范围内在1mm以内，角度误差1度以内。图17是测量前结果，图18反映了视野中任意两点距离测量结果。

图19 是图像选择了10组10个等距标志点进行两两测距的误差统计，x轴表示每一组所选距离，y轴表示每组平均误差。由图可知，在本文标定范围内，测量误差在2mm以内，图20是图像选择了10组10个两两之间等角度斜线与色带的角度误差统计，x轴表示每一组所选角度，y轴表示每组平均误差。由图可知，在本文标定范围内，测量误差在1度以内。

3.3 鲁棒性分析

在相同地面高度与摄像机倾斜角度的情况下，选取不同的试验场景，包括多条色带场景，光照干扰场景，倾斜色带场景，混合色带场景等多种情况，计算平面透视点纵坐标偏差不超过5%，这种情况对于最终标定结果几乎没有影响，图21是多条色带原始图像，图22是经校正后的结果。

3.4 实时性分析

自动搬运车控制系统要求有较高的实时性，本文采用DM642高速处理器，间隔扫描方式，每10次数据处理完成指示灯闪烁一次，通过记录特定时间内指示灯闪烁次数来计算处理速度，表1是自动搬运车不同速度下所需最小平均处理时间，衡量标准是AGV不脱离路径并能顺利识别工位点，停车精度在10mm以下，最终处理频率在12Hz，完全达到导引要求。

图19 等距误差统计

图20 倾斜误差统计

表1 不同速度所需最小处理频率

4 结论

本文提出了一种可根据导引色带进行动态标定的方法，该方法对采集图像滤波处理后，采用增大纵向模板权值的Sobel算子提取边界，改进霍夫变换查找边线方程，计算图像地面坐标系下的透视交点，进行倾斜畸变校正。从实验结果分析，可以看出本文提出的方法测量精度高，可精确感知车体托盘距离，控制系统鲁棒性、实时性较好，对提高单目视觉自动导引叉车视觉导引精度，以及叉车对接托盘过程中实时测距具有实用价值。

图21 多色带原始图像

图22 校正处理图像