一种阴影条件下的非结构化道路检测方法

黄妙华，吴益鹏

(1.武汉理工大学 现代汽车零部件技术湖北省重点实验室, 湖北 武汉430070;2.武汉理工大学 汽车零部件技术湖北省协同创新中心, 湖北 武汉430070)

道路检测是无人驾驶车辆视觉导航研究的核心和关键技术。道路分为结构化道路和非结构化道路，结构化道路一是指高速公路和一些结构化程度很高的道路，这类道路具有清晰的车道线，针对这类道路的检测可以简化为车道线的检测，目前已经比较成熟；在现实生活中，非结构化道路广泛分布于城镇和农村之中，大多数道路为非结构化道路，故研究非结构化道路的检测算法具有极为重要的意义。由于这类道路没有车道线标记，而且容易受到阴影的干扰，因此针对非结构化道路的检测技术目前尚处于研究阶段。

常见的非结构化道路检测算法可分为三类：基于特征的方法[1-4]、基于模型[5-6]的方法和基于神经网络[7]的方法。文献[1]融合色彩特征不变和二维最大熵法检测道路，能够在一定程度上消除阴影干扰，但对于道路区域和非道路区域边缘界线不明显的情况会出现误检现象。文献[4]将彩色图像转换到HSI空间，结合色度、饱和度来分割道路图像，抵抗阴影效果也不尽人意。文献[5]结合混合高斯模型和抛物线模型进行非结构化道路检测，对光阴影有较强的抗干扰性，但实时性较差且不能适应复杂道路形状。文献[7]采用RGBD图像和卷积神经网络进行快速道路检测，抗干扰能力强，但该方法也存在一定错分小区域的问题，而且需要大量已知样本进行训练。

针对道路图像，文献[8]提出以下两个比较接近实际情况的假设:

假设1：车辆正前方为道路区域；

假设2：道路区域为一大块特征类似的连通区域。

假设1和2一般都是成立的。考虑到上述文献方法的不足之处和以上两个合理假设，笔者提出一种基于光照无关图[9]和Ransac算法相结合的非结构化道路检测方法。将彩色图像每个像素点转换到对数色度空间，然后再向光照无关方向投影得到光照无关灰度图，极大消除了光照变化和阴影干扰[10]。利用Ransac算法进行道路边界拟合，增强了非结构化道路检测的抗干扰能力。

1　道路光照无关图像的获取

在许多基于摄像机的视觉系统中，阴影和反射等光照不均匀现象严重影响着系统的检测性能。Finlayson等人根据阴影特性，提出了光照不变图理论[11]，根据输入的彩色图像生成相应的与光照无关的灰度图像。提取光照无关图需要满足的条件如下：光源为普朗克光源，图像是基于Lambertian模型，相机的窄带效应较为理想。

对于摄像机采集的道路彩色图像，将RGB值代入色度对数坐标系中进行计算。R与G及B与G之间的色度对数差为：

(1)

(2)

其中：

Si=lg[S(λi)×λi-5c1]

(3)

Di=-c2/Tλi

(4)

式中：lg(R/G)和lg(B/G)分别为红绿分量间对数差和蓝绿分量间对数差；c1、c2为常数；T为色温；λi为波长，i=R,G,B。

将式(1)、式(2)转换为向量形式，得：

(5)

式中：

ρ=(lg(R/G),lg(B/G))T

(6)

S=(SR-SG,SB-SG)T

(7)

D=(DR-DG,DB-DG)T

(8)

由Si和Di的定义可知，S与光照强度无关，只与相机的响应频率和物体的表面反射特性有关，D只与相机的响应频率有关，而与物体表面的反射特性和光照强度都无关。式(5)表示了一条直线，以色温T为参数。即同一颜色在不同色温的光源照射下，其向量ρ对应的点在一条直线上，而不同颜色的特性直线相互平行，且方向与D一致。如果将每个像素点向D⊥(D的垂直方向)投影，可得一个标量值，该值与T无关，D的方向称为光照无关方向。图1中4条短线给出了4种颜色在不同色温下的分布。对图像上每一点进行上述投影，再求其指数，可得到一副与光照无关的灰度图像，即：

I=exp(ρTD⊥)

(9)

式中：I为光照无关图像的灰度值；D⊥ =[cosθ,sinθ]，θ为光照无关角。

图1　色度数坐标系

由于光照无关角θ只与摄像头有关，因此不需要对每张图片求取θ。本文所用图像来自KITTI数据集，如图2(a)所示，相机传感器为SONY ICX204，采取文献[9]提出的最小熵值法离线求取θ，文中θ取为40°。将道路图像在色度对数空间中按照θ方向投影即可以得到光照无关图像，如图2(b)所示，阴影被完全消除，当向其他方向投影时，如图2(c)、图2(d)所示，阴影干扰仍然存在。

图2　沿各方向投影结果

2　道路区域分割及边界拟合

2.1　道路分割

对于光照无关图像的分割，文献[12-13]提出了一种基于种子区域直方图的方法。光照不变图像为I，图像灰度处于[0,1]，如图3(a)所示。基于假设1，可在I的底部均匀地放置NS个KS×KS大小的种子区域，文中NS选为9，KS选为20，如图3(b)所示，以此来估计道路模型。然后根据种子区域的像素得到相应的归一化直方图，作为道路区域的概率密度分布，用类条件概率密度P(I(p)|Road)表示，可以确定一个固定的阈值λ来判断图像I中像素是否属于道路类，如图3(c)所示，道路分类器定义如下：

(11)

其中：p为I中像素，I(p)为p的光照不变灰

图3　基于种子区域直方图的分割

度值。在道路概率密度分布图中以I(p)为横坐标得到P(I(p)|Road)，λ为一个经验性的阈值。通过上述分类器，可以得到道路分割结果，如图3(d)所示。由上述描述可知，该方法不需要知道背景模型P(I(p)|Background)，只需要估计道路模型P(I(p)|Road)，就可以快速分割出道路区域。

用一个固定的阈值λ对I进行分类并不合理，经验性的λ不一定适用于每一张图像，因此笔者基于种子区域直方图，采用一种置信区间的方法来进行分类。图像I已经消除了光照影响，对于n个种子区域的像素点，基于假设2，提取的道路区域种子块灰度分布可以看作正态分布，即I(p)～N(μ,σ2)，文中选取置信水平1-φ=0.95，对应的置信区间为[λ1,λ2]，其中:

(12)

道路分类器定义如下：

(13)

通过该分类器，可以得到道路二值图。

2.2　道路边界拟合

采用文献[1]提出的Mid-to-side方法搜索道路边缘点。由于搜索到的道路边界候选点中包含许多非车道边界的干扰点，因此采用Ransac算法来拟合直线，排除干扰点。由于Ransac算法迭代次数太多，为了增加算法实时性，可以适当降低图片像素和选取感兴趣区域[14]。

通过边界点搜索和直线拟合即可以得到道路边界线，如图4所示。

图4　道路边界检测

3　实验结果及分析

为了评估笔者所提出的算法性能，选用KITTI道路数据集无车道标记的城市道路图片进行测试(urban unmarked)，包括train和test两个图片库共198张非结构化道路图片，图片像素为1 242×375，考虑到图片像素较高，将其像素调整为414×125。实验所用硬件配置如下：处理器为Intel(R) Core(TM) i3-2370M CPU B970@ 2.40 GHz，内存为4 GB，64位操作系统，window版本为Windows 7 旗舰版，算法编写环境为MATLAB 2014b。

3.1　评估标准

为了定量描述本文算法的有效性，使用文献[15]所述方法，对于单幅道路图像，该方法规定，至少有80%的道路区域被包含在左右车道线内才算检测成功，即：

(14)

式中：TP为正确检测的道路区域，即检测结果和地面实况重合区域；FN为漏检的道路区域。

假设在N幅图像中有n幅图像检测成功，则检测准确率为：

C=(n/N)×100%

(15)

3.2　性能评估分析

笔者提出算法检测结果如图5所示，图5(a)、图5(b)中图像按从上到下从左到右顺序依次为：原图、本文方法得到的灰度图、文献[2]方法灰度图和文献[3]方法灰度图。对比可以看出，本文方法得出的灰度图去除了阴影干扰，但对比度有所下降；文献[2]中利用gabor滤波提取的灰度图对边缘敏感，但对阴影抵抗能力一般；文献[3]基于HSI空间提取S分量图，对颜色变化敏感，但抗阴影性差。图5(c)为各种阴影条件下本文最终提取的车道边界，可以看出本文算法能够适应各种复杂阴影状况，准确拟合道路边界。

图5　检测结果

对于选自KITTI数据集的198张图片，将本文方法与文献[3]基于HSI空间的方法和文献[2]基于gabor纹理特征的方法对比，检测性能如表1所示。

表1　不同算法检测性能对比

文献[2]中算法成功识别出141张图，文献[3]中算法成功识别出105张图，本文算法成功识别出159张图，本文算法准确率优于其他两种算法。基于gabor滤波的方法对边界规则而且清晰的道路识别效果好，对于形状复杂的道路识别效果较差，抗阴影性能一般；基于HSI空间的方法只能抵抗弱阴影的干扰，当有强阴影的时候，检测结果误差很大。本文算法对每张图像的处理时间为200 ms左右，主要是由于Ransac算法迭代次数太高，影响算法实时性。注意到道路区域主要在图像下方，如果选取下方2/3区域为感兴趣区域，运行时间降为150 ms左右，如果采用C语言编程和GPU加速等措施能进一步缩短检测时间到100 ms以内，能够满足实时性要求。

4　结论

针对无人驾驶车辆在复杂环境下的非结构化道路检测困难的问题，提出了一种基于光照不变图像和Ransac算法相结合的方法。通过获取道路图像的光照不变图像，并采用基于置信区间的种子区域直方图方法分割光照不变图像，得到了很好的分割效果，提高了算法在图像分割过程中对光照变化、阴影等干扰因素的鲁棒性。采用Ransac算法能在很大程度上排除干扰点，提高算法鲁棒性。实验结果表明本文算法能够在阴影条件下准确拟合非结构化道路边界，兼顾鲁棒性和实时性。但是，在某些更为复杂的场景，本文算法还需要进一步完善。

参考文献：

[1]郭秋梅,黄玉清.基于二维熵和轮廓特征的非结构化道路检测[J].计算机应用,2013,33(7):2005-2008.

[2]Kong H, Audibert J Y, Ponce J. General Road Detection from a Single Image[J]. IEEE Trans on Image Processing, 2010,19(8):2211-2220.

[3]Rotaru C, Graf T, Zhang J. Color Image Segmentation in HSI Space for Automotive Applications[J]. Real-Time Image Process, 2008，3(4):311-322.

[4]魏武,龚树锋.基于机器视觉的非结构化道路检测算法研究[J].传感器与微系统,2010,29(1):39-41.

[5]刘媛,宋晓琳,张伟伟.基于多模型结合优化的非结构化道路检测算法[J].工程设计学报,2013,20(2):157-162.

[6]武历颖,余强.一种快速准确非结构化道路检测方法研究[J].计算机仿真,2016,33(9):174-178.

[7]曲磊,王康如,陈利利.基于RGBD图像和卷积神经网络的快速道路检测[J].光学学报,2017,37(10):1010-1019.

[8]管琰平,贺跃,刘培志.基于彩色图像的非结构化检测[J].计算机应用,2005,25(12):2931-2934.

[9]常华耀,王军政,陈超.一种基于光照无关图的车道检测方法[J].北京理工大学学报,2011,31(11):1313-1317.

[10]Bingxi Jia, Jian Chen, Kaixiang Zhang. Recursive Drivable Road Detection with Shadows Based on Two-camera Systems[J]. Machine Vision and Applications, 2017,28:509-523.

[11]Finlayson G D, Hordley S D, Lu C, et al. On the Removal of Shadows from Image[J]. IEEE Trans On Pattern Analysis and Machine Intelligence, 2006,28(1):59-68.

[12]Jose M álvarez, Antonio M López. Road Detection Based on Illuminant Invariance[J]. IEEE Transactions on Intelligent Transportation Systems, 2011,12(1):184-193.

[13]Jose M álvarez, Antonio M López, Theo Gevers, et al. Combining Priors, Appearance, and Context for Road Detection[J]. IEEE Transactions on Intelligent Transportation Systems, 2014,15(3):1168-1178.

[14]Wang B, Frémont V, Rodríguez S A. Fast Road Detection from Color Images[C]∥Intelligent Vehicles Symposium.[S.l.]：IEEE, 2014:31-36.

[15]Jose M álvarez，Antonio M López. 3D Scene Priors for Road Detection[C]∥IEEE Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010:57-64．