基于注意力的毫米波雷达与视觉融合方法*

杨 猛，沈 韬，曾 凯

（昆明理工大学，云南 昆明 650500）

0 引 言

毫米波雷达与视觉传感器融合是一种准确感知车辆周围环境的低成本方式。按照融合层次分类，主要有数据层、特征层和决策层3种融合方法，这3种融合方法各有优势和不足。

数据层融合通常是在空间上的融合，主要分为两步：先是利用毫米波雷达点云产生感兴趣区域（Region of Interest，ROI）；视觉传感器再对ROI进行检测，验证是否存在障碍物[1-3]。这种融合方法只检测有毫米波雷达信息的区域，可以明显地缩小视觉传感器检测区域，提高视觉检测效率。但由于毫米波雷达分辨率较低，难以检测横截面积较小的物体，会漏检行人、自行车等小物体。

决策层融合通常是分别将毫米波雷达与视觉预测的结果进行融合，产生最终的预测结果[4-6]。但是这种融合方法需要分别计算各个传感器的检测结果，计算成本太高，并且很难建立两种检测结果的概率分布模型。

特征层融合是目前研究较多的方法，主要是将雷达的一些信息作为通道特征，附加在图像特征通道上，利用卷积神经网络学习点云与视觉图像之间的关系，提取两者的特征进行融合[7-10]，然而这种融合方法存在特征权重难以分配的问题。

通过分析毫米波雷达与视觉融合存在的问题。本文从空间和通道两个维度考虑，提出一种基于空间软注意力（Spatial Soft Attention，SA）的数据层融合和基于通道注意力权重学习（Channel Attention Weight Learning，CAL）的特征层融合的混合融合方法，用于毫米波雷达与视觉融合检测障碍物，并将该方法命名为“RVF-SCA”。……