基于多模态特征融合的自主驾驶车辆低辨识目标检测方法

邹 伟 殷国栋 刘昊吉 耿可可 黄文涵 吴 愿 薛宏伟

东南大学机械工程学院，南京，211189

0 引言

实时有效的环境感知是自主驾驶车辆安全行驶的前提和基础。目前，国内外研究者应用深度学习技术在车道、车辆、 行人、标识感知识别方面做了大量工作，识别率和实时性也获得了极大的提高，尤其很多针对理想环境下的行人和车辆的目标检测算法[1-6]受到广泛关注。但大量的研究工作以理想环境为背景，缺乏针对复杂环境下特征不明显的低辨识目标检测算法研究。自主驾驶车辆在真实场景下行驶的过程中不可避免地会遇到各种复杂环境，尤其是雨雪天、夜间等环境下目标特征不明显，各种传感器会受到很大的影响，此时由具有特定特征的图像训练得到的模型将不能很好地识别出低辨识目标。

近年来，计算机视觉领域的学者也初步开展了复杂环境下目标智能识别方法的研究，尤其在多模态图像的融合和辨识方面提出了很多富有创新性的想法。SIMON等[7]使用卷积神经网络( convolutional neural network, CNN)融合彩色图像、深度图、红外图像实现对人脸的检测，实验结果表明，相比单模态检测方法，多模态的融合方法极大地提高了识别的准确率。ZHOU等[8]提出了一种新颖的夜间视觉增强算法，通过导引滤波器来实现红外图像和彩色图像的融合。另外，许多研究人员试图解决在不利照明条件下行人和车辆检测的问题。GONZALEZ等[9]比较了由彩色图像、红外图像、彩色图像和红外图像组合训练的深度神经网络的性能，结果表明，两种模态的图像结合的方式可以提高行人检测的识别率，尤其是在夜晚的环境条件下，这种提高特别明显，即红外图像可以提高夜间行人的辨识。……