基于车载摄像机的雨量传感器算法研究

（湖南工业大学 电气与信息工程学院，湖南 株洲 412007）

1 研究背景

雨刮器是保证下雨等不良天气中行车安全的重要部件。自动雨刮器能够针对周围环境的变化自动运行，进一步提高了驾驶的安全性和便利性，是现今汽车先进驾驶辅助系统（advanced driver assistant system，ADAS）的重要应用之一。雨量传感器是自动雨刮器的核心部件，被用于感测挡风玻璃上的雨滴。目前，应用较为广泛的雨量传感器是红外雨量传感器，此类传感器主要由红外发射端和红外接收端组成，其工作原理如图1所示。

图1 红外雨量传感器工作原理示意图Fig.1 A schematic diagram of infrared rain sensors

晴天时，发射端以特定角度发射出的红外光线会在挡风玻璃外壁上发生全反射；雨天时，红外光线会因为雨滴的存在而发生折射并被雨水吸收。因此，接收端可根据两种情况下接收到的红外光强度差异所造成的电信号变化感测雨滴[1]。红外雨量传感器的感测效果较好、灵敏度较高，但是这种传感器的感测范围有限，且不能反映挡风玻璃上雨水分布的相关信息。此外，传感器可能会占据挡风玻璃中央的较大区域，影响视觉舒适度。

由于车载摄像机在汽车ADAS中的运用越来越多，因此，对于视觉型雨量传感器的相关研究也不断出现[2-3]。视觉雨量传感器的一般模型如图2所示。

图2 视觉雨量传感器的一般模型示意图Fig.2 General model of visual rain sensors

视觉雨量传感器通过车载摄像机实时获取挡风玻璃的图像，并运用图像处理技术检测挡风玻璃上的雨滴，从而达到判断降雨状况的目的。视觉雨量传感器的主要优点在于：1）具有较大的感测范围；2）能够获得挡风玻璃上的雨滴分布信息，更好地反映驾驶员的视野状况[3]。

成像条件对于视觉传感器而言是极为重要的。成像条件的不同，会使雨滴以及其他景物所呈现的视觉特征发生较大变化。因此，针对不同的成像条件，必须使用不同的方法来提取雨滴信息。

总体来看，如果把挡风玻璃上的雨滴作为前景，车外景物作为背景，则视觉雨量传感器的成像效果有图3所示3种情形。据此，可将视觉雨量传感器的成像条件主要分为如下3种[4]：

1）摄像机聚焦于挡风玻璃外壁，使得前景清晰但背景模糊，如图3a；

2）摄像机聚焦于车外景物，使得前景模糊但背景清晰，如图3b；

3）摄像机聚焦位置适中，使得前景与背景都相对清晰，如图3c。

图3 3种常见视觉雨量传感器的成像效果图Fig.3 Image renderings of three common visual rain sensors

在相关研究中，成像条件1）是较早且较多被采用的。针对该条件，J.Park等[5]使用Soble梯度算子分割出图像中的雨滴，在夜间环境下使用高频滤波器提取高亮度区域的雨滴。这种方法的成像效果较理想，但由于其他视觉型ADAS应用往往不在该成像条件下工作，因此需专门配置摄像机，经济性不佳。S.Gormer等[6]针对这一缺陷，对传感器结构进行了改良，使摄像机部分聚焦于挡风玻璃上，从而使传感器能够与其他视觉型ADAS应用共用摄像机。但相对地，传感器感测区域变小了，且可维护性降低。

针对成像条件2），A.Cord等[2]使用形态学方法，对原图像进行亮暗区域分割，之后通过背景减法以及分水岭算法分别提取模糊雨滴，并对这两种方法进行了对比实验。分析实验结果后发现，分水岭算法取得了较好的效果，但该算法在处理过程中需要使用较大的高斯模板进行平滑，运算速度较慢。

A.Cord等[7]对在成像条件3）下挡风玻璃图像上的雨滴提取方法进行了研究，其通过平均化多个连续帧使背景模糊化，再使用梯度算子、模式识别等方法分割出雨滴。但是在车速较快且背景较为复杂的情况下，多帧平均化会产生额外的背景干扰。此外，算法中使用了一个较大的统计排序滤波器，影响了系统运算速度。

许多视觉型ADAS都可在成像条件3）下运作，因此本研究也针对这一成像条件设计雨滴分割算法，从而使得传感器能与其他视觉型ADAS共用摄像机，有效提高其便利性和经济性。针对传统方法在复杂背景下会出现较多误检、漏检现象且处理速度较慢等缺点，本文以梯度算子为基础，设计一种相对传统方法能够有效降低误检和漏检现象，并具更快处理速度的雨滴分割算法，以提高雨量传感器的实用性。

2 雨滴检测算法设计

以车外的景物为背景、挡风玻璃上的雨滴为前景，本文将选择较为适中的摄像机聚焦位置，使得前景和背景都能够较为清晰地呈现出来。由于行车记录仪等视觉型ADAS的应用都采用这一成像条件，因此能够使雨量传感器与这些应用共用摄像机，提高系统的经济性。

设计雨滴检测算法除了要确定摄像机的成像条件外，还需要对该成像条件下挡风玻璃上的雨滴特征进行分析。

2.1 雨滴特征分析

通过查阅文献，对比前景清晰背景模糊和前景及背景都清晰这两个条件，可以发现雨滴在这两个条件下都具有类似的特征，即：

1）雨滴对光线的折射使得其在图像中较暗的部分主要表现为一小块高亮度区域，而在较亮的部分则主要表现为一小块较暗的区域；

2）雨滴有着类似透镜的效果，会倒映出部分车外景物，由于车外景物的变化多样性，雨滴随之具有不规则的纹理；

3）雨滴的光学特征使其在图像中呈现出局部高梯度特征，并且具有可见的边缘[8]；

4）在较短的时间内，雨滴在挡风玻璃上保持相对静止。

已有相关研究表明，在背景模糊的情况下，梯度算子的检测效果是比较理想的[5-6]。因此，在背景和前景都较为清晰的情况下，如果能将背景模糊化并保留前景的高梯度特征，那么使用梯度算子就能有效地分割出图像中的雨滴。此外，由于雨滴在短时间内保持相对静止，多个连续帧图像的平均化等操作将不会对图像中的雨滴产生明显影响。

2.2 整体方案设计

本研究的整体设计方案如图4 所示。

图4 整体设计方案Fig.4 Overall design scheme

本文所设计的雨滴检测算法使用的图片均来自帧率为30 fps的行车记录仪所拍摄的视频，所有图像均为大小为1 080×500的24位真彩色图像。对真彩色图像的处理方式，均为对RGB 3个颜色通道的单色图像进行处理后再合成为RGB彩色图像。算法在安装Windows 7系统的PC机上使用C++程序运行，PC机使用主频3.3 GHz的Intel Core i5-4590处理器，内存为8 G。

根据雨滴的视觉特征及已有相关研究，本文设计了如下雨滴提取算法方案：1）雨滴分割。图像暗区与亮区雨滴的视觉特征有所不同，因此采用分区局部处理的方式分割雨滴。2）去噪。使用梯度算子提取雨滴后，暗区往往仍会存在较多噪声，因此需要进行去噪处理。实际中，亮区往往是天空等较为平滑的区域，且雨滴的视觉特性不像暗区那样明显，因此需要进行增强处理，同时不必在分割后再进行去噪处理。3）合成。最后，将两个区域的分割结果合成就得到全局的分割图像。

2.3 背景模糊化

对多个连续帧图像求平均能够使得背景在一定程度上模糊化，而其中处于相对静止状态的雨滴则几乎不受影响。但在车速较快时，多帧平均化效果不佳，甚至会产生更多的干扰。如图5所示为车速较快时的原图像与通过6个连续帧获得的平均图像。

图5 原图像与通过6个连续帧获得的平均图像Fig.5 The original image and the average image obtained by 6 consecutive frames

由图5可知，车速较快状态下的多帧平均化效果不佳。因此，本研究首先对多个连续帧图像中坐标相同的像素取平均值，从而获得一个平均图像

式中K为连续帧数量，本研究使用6个连续帧进行计算，即K=6。

然后，使用均值滤波器对平均图像进行平滑处理，均值滤波器的处理公式为

式中n为均值滤波器的窗口大小，对均值滤波器而言，n的取值越大，则图像平滑处理的效果越强，但与之相对应的运算速度越慢。因此，这里先使用窗口大小为31×31的均值滤波器对平均图像进行平滑处理；接着，将平滑图像与平均图像做并集处理，两幅图像的并集图像是由两幅图像中具有相同坐标的一对像素点间灰度值较高的像素点组成的，定义为

最后，对并集图像使用一个3×3大小的均值滤波器进行平滑处理，此时所获得的图像最大限度地保留了雨滴的高梯度特征，同时将背景有效地模糊化了。图5b经背景模糊化处理后的图像如图6所示。

图6 经过背景模糊化处理后的图像Fig.6 The output image after background blurring process

观察图6可知，经过背景模糊化处理后，虽然图像中较暗部分的雨滴梯度得到了很好的保留，但是较亮部分的雨滴梯度反而被弱化了。因此，需要对图像中的较亮部分进行另外的处理。

2.4 增强亮区雨滴

在图像的较亮部分，雨滴的梯度往往不如在暗区的高，其与背景的灰度差也明显减小，但由于雨滴本身在较亮区域会表现为一块较暗的区域，实际上仍是肉眼可辨别的。如果为了锐化亮区的低梯度特征而在整幅图像上使用效果较强的梯度检测算子，部分不被期望的背景梯度将会被强调出来，成为新的干扰。因此，将图像的亮区和暗区分开处理是有必要的。本研究选用将亮区的雨滴进行增强处理，对雨滴进行增强处理后的图像如图7所示。

图7 亮区雨滴增强效果图Fig.7 Enhancement effect of the rain in bright areas

观察图7可以发现，图像经过对亮区雨滴进行增强处理后，亮区的雨滴会表现为一个与周围区域之间对比度很小的亮斑，并且原有的小块较暗区域也变得难以辨别。为此，可以在将彩色图像灰度化之后，使用幂律变换对图像中高亮度像素进行对比度增强，其公式为

式中：a，b为变换前后的像素值；L为像素位数；γ为幂值。

本文选取γ值为8的幂律变换来增强亮区雨滴，再使用大小为3×3的均值滤波器对图像进一步平滑，以消除幂律变换所产生的噪声。这样，亮区的雨滴就能在背景模糊化的同时被有效地凸显出来。需要说明的是，γ值为8的幂律变换将使得较暗像素的对比度被大大压缩，因此暗区的细节会被大幅度弱化。

2.5 雨滴检测

虽然图像经过了背景模糊化处理，但是图像中仍存在一些具有干扰性的细节，因此选择使用检测效果较弱的Robert梯度算子来提取雨滴，其计算式为

由于图像中亮区和暗区的雨滴往往呈现出不同的梯度（不同光亮区的阈值图像如图8所示），因此，需要对这两个区域选取不同的阈值来进行二值化处理，从而分割出雨滴。本研究在暗区所选取的阈值为20，但是在亮区选取的阈值为5。由于暗区部分实际上存在的干扰点较亮区的要多很多，因此在阈值处理之后，还需要使用一个大小为3×3的十字形结构元对二值化图像进行灰度级形态学闭操作，以消除这些干扰点。

图8 不同光亮区阈值图像Fig.8 Dark area threshold image and bright area threshold image

此后，需要将亮区与暗区的检测结果进行合成以得到全局图像。由于梯度算子会不可避免地突出亮区与暗区相互分界处所产生的梯度，因此，本研究提出先对同一平均图像分别使用亮区雨滴分割和暗区雨滴分割，从而获得两个区域的雨滴分割结果；然后，使用文献[2]中的亮暗区域分割方法，先使用半径为40像素的圆形结构元对平均图像进行腐蚀操作，之后使用最大类间方差自适应阈值算法对所得腐蚀图像进行二值化处理。考虑到亮暗区域边界的干扰，因此再次用该圆形结构元对二值化的腐蚀图像及其反转图像进行腐蚀，从而扩大黑色区域。灰度级形态学腐蚀定义如下：

将这两幅二值图像作为模板，通过交集操作分别遮盖亮区雨滴分割图像的暗区部分和暗区雨滴分割图像的亮区部分。最后，将两个区域的雨滴分割图像使用并集操作合并，即可得到雨滴检测图像。所得合成阈值图像与其标记效果见图9。

图9 合成阈值图像及其标记效果图Fig.9 Synthetic threshold image and its mark effect

3 雨滴检测算法效果分析

雨滴检测算法的性能指标主要为正检率（correct detection rate,CDR）、误检率（false detection rate,FDR）以及漏检率（missed detection rate，MDR），其计算公式分别如下：

以上各式中：R为原图像的有效雨滴总数；RM为漏检雨滴总数；PF为错误位置总数；RC为正检雨滴总数。

部分极小的雨滴并不会对驾驶员视野造成太大影响（如图5a中下方的极多细小雨滴），因而所有小于等于5×5像素大小的雨滴都不计入有效雨滴总数之内。较大的错误位置同样按照所占领域的大小计算，每超过5×5像素领域大小的错误位置记为1个，其他单独出现的任何误检都记为1个。使用一个全程没有运作雨刮器的行车记录仪视频作为雨滴数据库，并且以文献[7]所采用的方法进行对比，所得实验结果如表1所示。

表1 实验数据Table 1 Experimental data %

分析表1所示实验结果可以得知，本文所提方法的正检率基本上与文献[7]不相上下，同时误检率和漏检率有所降低。在计算速度上，本文所提方法相较于文献[7]的也有较大提升。这是由于文献[7]在算法中使用了一个21×21大小的统计排序滤波器及模式识别方法，而本文所使用的所有算子均不需要复杂的计算处理，因而在处理速度上有了很大的改善。

4 总结与展望

本文所设计的雨滴检测算法所要求的成像条件与大多数视觉型ADAS应用所设置的成像条件是相同的，因此可以与这些ADAS应用共用摄像机而提高经济性，同时也保留了视觉型雨量传感器本身的优势，检测效果和检测速度也相对较理想。但是从实验结果来看，所提出的算法还存在一些缺点。如对某些在汽车行进过程中时常存在的高梯度背景干扰，尤其是灰度较高的干扰，背景模糊化没有取得很好的效果，使得在使用梯度算子检测后这些干扰仍然存在。实际的行驶中常常会出现一些总是保持相对静止状态的景物，例如与本车保持相对静止的车辆、远景、亮暗区域分界处等，这些景物所造成的干扰很难通过背景模糊化处理的方式予以消除，且算法也没有考虑夜间环境下的雨滴检测。

为了改进这些缺点，下一步工作可以朝以下两个方向进行：1）使用模式识别等方式对背景中的一些干扰进行进一步消除；2）以分区处理为基础，进行夜间算法的设计。

雨滴检测算法除了可被应用在自动雨刮控制上，还可满足某些ADAS应用所需雨天环境下的图像修复需要，进一步提高车载电子系统智能化程度。

[1]孙晓冰，王德生，刘海波，等.红外全反射式雨量传感器设计研究[J].仪表技术与传感器，2010(9)：96-98.SUN Xiaobing，WANG Desheng，LIU Haibo，et al.Total Internal Reflection Infrared Rain Sensor[J].Instrument Technique and Sensor，2010(9)：96-98.

[2]CORD A，GIMONET N.Detecting Unfocused Raindrops：In-Vehicle Multipurpose Cameras[J].IEEE Robotics and Automation Magazine，2014，21(1)：49-56.

[3]肖 滢.基于图像的智能雨刮控制方法研究[D].长沙：湖南大学，2013.XIAO Ying.Research on the Image-Based Intelligent Control of Vehicle Wipers[D].Changsha：Hunan University，2013.

[4]WAHAB M H A，SU C H，ZAKARIA N，et al.Review on Raindrop Detection and Removal in Weather Degraded Images[C]//International Conference on Computer Science & Information Technology.Amman：IEEE，2013：82-88.

[5]PARK J H，KIM M H，IM H J，et al.Development of Vision Based Control Smart Windwhield Wiper System for Intelligent Vehicle[C]//International Joint International on Sice-ICASE.Busan：IEEE，2007：4398-4403.

[6]GORMER S，KUMMERT A，PARK S B，et al.Vision-Based Rain Sensing with an In-Vehicle Camera[C]//Intelligent Vehicles Symposium.Xi’an：IEEE，2009：279-284.

[7]CORD A，AUBERT D.Towards Rain Detection Through Use of In-Vehicle Multipurpose Cameras[J].Intelligent Vehicles Symposium，2011，32(14)：833-838.

[8]KURIHATA H，TAKAHASHI T，MEKADA Y，et al.Raindrop Detection from In-Vehicle Video Camera Images for Rainfall Judgement[C]//International Conference on Innovative Computing.Beijing：IEEE，2006：544-547.

[9]YOU S，TAN R T，KAWAKAMI R，et al.Adherent Raindrop Modeling,Detection and Removal in Video[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2015，38 (2)：1721-1733.

[10]许航飞.汽车雨量传感器设计与自动雨刮控制系统[D].杭州：中国计量学院，2013.XU Hangfei.Automobile Rain Sensor Design and Automatic Wiper Control System[D].Hangzhou：China Jiliang University，2013.