基于红外与可见光图像融合的交通标志检测

李舒涵 许宏科 武治宇

摘  要： 针对大多数交通标志检测方法易受光照和天气影响的问题，提出一种基于红外与可见光融合的交通标志检测方法。首先，分别在红外与可见光图像中提取交通标志的形状和颜色特征，对目标进行粗定位，并将结果放入候选组内进行分类与整理;然后，将候选组放入卷积神经网络，对粗定位结果赋予相应的置信度;最后，根据置信度对红外与可见光的粗定位结果进行决策融合，并将融合结果展示在可见光图像中。实验结果表明，该算法对检测环境的变化更加鲁棒，在白天、夜晚和不良天气等多种环境下有效地提高了检测效率，具有良好的适用范围。

关键词： 交通标志检测; 图像融合; 目标粗定位; 卷积神经网络; 定位结果分类; 红外图像; 可见光图像

中图分类号： TN911.73?34                        文献标识码： A                        文章编号： 1004?373X（2020）03?0045?05

Traffic sign detection based on infrared and visible image fusion

LI Shuhan1， XU Hongke1， WU Zhiyu2

（1. School of Electronic & Control Engineering， Changan University， Xian 710064， China;

2. School of Mechanical?Electrical Engineering， Xidian University， Xian 710071， China）

Abstract： A traffic sign detection method based on infrared and visible image fusion is proposed to deal with the fact that the traffic sign detection is susceptible to light and weather. In the method， the shape and color features of traffic signs are extracted from infrared and visible images respectively to roughly locate the targets， and the results are put into the candidate groups for classification and sorting. Then the candidate groups are placed in the convolutional neural network to give corresponding confidence to the rough positioning results. Finally， the rough positioning results from infrared and visible light images are fused according to the confidence， and the fused results are displayed in visible images. The experimental results show that the proposed method is more robust to the change of detection environment， effectively improves the detection efficiency in various environments such as daytime， night and adverse weather conditions. Therefore， the application scope of the proposed method is wide.

Keywords： traffic sign detection; image fusion; target rough positioning; convolutional neural network; positioning result classification; infrared image; visible image

0  引  言

交通标志识别系统（Traffic Sign Recognition，TSR）作为先進辅助驾驶系统（Advanced Driver Assistance Systems，ADAS）的重要组成部分[1]，能够为驾驶员提供实时的道路信息，为司乘人员提供行车安全保障。交通标志识别系统通常分为检测和识别两个部分，精准的检测能为后续的识别、辅助定位与导航提供有效保障[2]，因而标志检测一直是交通标志识别系统的重点。

由于大部分的交通标志都被设立在户外环境中，标志检测容易受到天气、光照、能见度等因素的影响。现有的检测方法，如基于颜色与形状特征的检测算法[3?6]和基于深度学习的特征提取检测算法[7?8]，在光照变化剧烈或能见度低的条件下，鲁棒性较差，检测准确率较低。……