室外光照易变场景下的回环检测方法*

刘凌云， 蔡成林， 吴 芊

(湘潭大学 自动化与电子信息学院，湖南 湘潭 411105)

0 引 言

同时定位与地图构建(simultaneous localization and mapping，SLAM)是应用于室内外机器人导航、无人驾驶技术、增强现实(AR)和虚拟现实(VR)的关键技术之一，SLAM系统长时间运作会产生累计误差，最终使定位结果严重偏离现实情况。回环检测是以相机为传感器的视觉SLAM[1]中的关键环节，它能够评估当前图像与历史图像的相似程度，判断相机是否回到历史位置，以此来消除累计误差。传统的回环检测方案多基于视觉词袋(bag of visual words，BoVW)方法[2]，该方法利用特征点构造词袋，通过相似性计算检测回环。早期方案使用实值特征进行特征提取，限制了算法效率，Mur-Artal R等人提出的ORB-SLAM[3]使用二进制特征ORB降低了计算复杂性，提高了算法效率。针对图像中重复特征较多的环境，Lee S等人提出了一种抑制重复特征占用图像直方图的算法[4]。徐慧等人针对动态场景下算法不稳定的问题，提出了一种动态场景下基于场景流的回环检测算法[5]。上述方法暂未考虑光照变化明显的室外场景。在室外坏境下，光照不稳定会造成图像过曝或者曝光不足，图像中有效信息减少，进而影响回环检测的准确性。

本文结合一种可在线删增视觉词的词袋模型[6]，提出了一种适用于光照易变场景的回环检测方法，先对图像进行曝光情况检测，再利用基于曝光区域的自适应直方图均衡对图像进行预处理，恢复图像的部分细节。实验结果表明，该方法在保证实时性的同时，在室外光照易变场景下增强了算法的鲁棒性，提升了100 %准确率下的召回率。

1 基于BoVW的回环检测

1.1 BoVW模型

BoVW是用于图像检索和分类的图像表示方法。该方法从离线图像中提取特征，聚类生成视觉词，再利用视觉词构建词袋。如图1所示。

图1 BoVW模型

1.2 相似性得分计算

当查询图像A输入时，先对A提取特征点，利用查找算法查询词袋中对应的视觉词。然后利用TF-IDF对不同的视觉词加上权重，设所有特征数量为n，视觉词为wi,wi的数量为ni，wi的权重为TF与IDF的乘积

(1)

图像A可由下式表示

A={(w1,η1),(w2,η2),…,(wN,wN)}≜vA

(2)

若给定图像vA和vB，可用L1范数来计算图像A与图像B的相似性得分

(3)

经归一化处理后，将s与设定的阈值比较判断是否产生回环。

2 光照易变环境下的回环检测算法

2.1 算法整体流程

本文提出的回环检测算法流程如图2所示。该算法无需离线构建词袋，首次输入的图像将被用于初始化词袋，后续输入图像中提取的视觉词将可能被添加到词袋中。

图2 光照易变环境下的回环检测算法流程图

2.2 基于信息熵的图像曝光检测算法

相机传感器因光照原因采集到的部分图像曝光不正常，不利于特征点提取及视觉词生成，最终导致回环检测失败。需先将非正常曝光图像筛选出来，本文基于信息熵提出了一种图像曝光检测算法。首先，根据Shannon提出的图像熵[7],将灰度图像的图像熵表示为

(4)

在图像饱和度检测中，可用像素活动来捕获熵的变化[8]。首先用f(x,y,t)重写熵方程以表示图像。f(x,y,t)表示第t次精细到粗略变换后在位置(x,y)处的像素的归一化亮度等级

(5)

文献[8]中，像素活动被定义为式(5)相对于变换步骤的偏微分

(6)

其中，δ为熵产生密度

(7)

用上述公式将式(6)重写为

(8)

通过傅立叶变换可直接计算该熵方程的解。为将傅立叶偏微分方程应用于导电扩散方程，可将经过精细到粗略变换后的图像的归一化像素值表示为

f(x,y,t)=

(9)

(10)

(11)

因为熵微分的平方梯度值分布反映了图像区域中的信息量，所以熵微分可度量原始图像的局部信息。因此，当熵值的微分接近于零时，可以将其视为没有信息的饱和区域。

设像素的熵微分阈值T=0.01，若a(x,y)≤s,可判定该像素处于非正常曝光状态，反之则处于正常曝光状态。设图像曝光阈值为d=0.0015E，E为像素个数，则图像曝光情况可由下式检测

(e-N(u2+v2)-1)}

(12)

式中M为低熵像素个数，若SUM[am(x,y)]≥d,则判断该图像过曝光及曝光不足较为严重，需进行后续的图像增强处理。

2.3 基于不同曝光区域的自适应直方图均衡算法

目前，对于非正常曝光图像可利用多图像融合技术[9]进行处理，该方法不适用于传感器为单一相机的纯视觉SLAM。本文考虑利用直方图均衡(histogram equalization，HE)调节图像整体对比度，恢复图像更多细节。

传统HE对图像整体进行无差别处理，容易过度增强图像，增加背景干扰信息的对比度并降低有用信息的对比度。考虑到ORB特征的FAST角点提取策略，算法应侧重于使图像主体信息区域的灰度值分布均匀，更利于特征点的提取。本文改进了一种基于不同曝光区域的自适应直方图均衡算法，使其能改善图像中主体信息区域的对比度。

假设图像中有M个离散灰度等级，共有N个像素点，nk表示灰度等级k的像素个数，k∈[0,M-1]。其累积密度函数可表示为

(13)

则像素灰度值的输入输出映射关系可由下面的公式表示

yout=ymin+(ymax-ymin)Fk(yin)

(14)

式中ymax和ymin分别为图像中像素灰度级的最大值和最小值。

将图像的直方图按照灰度等级划分为暗、中和亮三个大小相等的区域，分别对三个区域进行加权直方图均衡处理。加权因子可通过计算每个区域的灰度标准差得到

(15)

式中m为区域灰度平均值，yj为像素点j的灰度值，nj为灰度值为yj的像素点个数，N为该区域中像素点总个数，i∈[1,3]。σi反映了该区域直方图分布情况，当σi值很小时，说明该区域直方图集中在平均亮度附近，直接处理可能导致伪像的产生，应对该区域进行低权重处理，σi值过大时同理。当σi介于较大值和较小值之间时，应对该区域设置更高的权重进行处理。改进后的算法与HE处理效果对比见图3和图4。

图3 人物原图及经两种算法处理后的图像对比

图3中左图是过曝光人物原图。中间为HE处理后的图像，图像整体产生了冲洗后的伪像感，背景部分的区域(浅色框)被过度增强，人物部分(深色框)灰度值被拉低，人物对比度较低，且人物与背景衔接处噪点被放大。右图是改进的算法处理后的图像，人物与背景对比明显，人物部分对比度提高，图像主体部分的细节得到恢复，图像整体没有多余噪点产生。

图4中灰度直方图分别对应于图3。原图的像素灰度集中在145～255灰度级之间，表明图像整体偏亮，过曝现象严重。中间图像灰度集中在0～176之间，原高亮区域向灰暗区转移，人物局部过暗。右图中像素分布于整个灰度区间内，不同像素灰度值之间过渡较为平滑，图像对比度较好，主体信息区域突出，有利于特征点的提取。

图4 人物原图及经两种算法处理后图像的灰度直方图

图5为图像的ORB特征点提取结果。原图中，仅在人物面部(浅色框)和肩部(深色框)提取到了少量特征。中间图像特征点集中在人物边缘处以及背景部分。右图中，在人物面部和肩部提取到了大量特征点，这说明图像中的主体信息被算法充分捕获，这将对后续的回环检测产生积极的影响。

图5 ORB特征点提取结果对比

2.4 可在线删增视觉词的BoVW

传统BoVW需利用离线图像构建词袋，当实际环境与离线图像差别明显时，算法将产生难以消除的误差，且词袋中冗余的视觉词会降低检索效率。本文利用可在线删增视觉词的方法构建词袋：首先随机选择K个描述子作为聚类中心；然后根据每个剩余输入描述子的汉明距离将它们分配给最近的聚类中心；递归地重复此过程，直到一个簇中的描述子数量低于某个阈值S。层级树示例如图6所示。

图6 层级树示例(K=2,S=3)

视觉词删增及词袋更新策略：计算查询图像特征的描述子；用层级树检索和新描述子匹配的描述子；若匹配失败，评估叶节点上的描述子数是否超过S，若超过则递归重建该节点，新描述子添加到原始描述子中，反之则将描述子直接附加到叶节点；删除经评估无效的描述子，对其附加节点和上级节点进行递归修订，若被删描述子与聚类中心重合，则随机选择一个新的中心。

3 实验与分析

本文在实验部分与基于词袋的iBoW-LCD[10]算法进行了对比实验，分别在室外数据集City Centre和New College上进行性能测试，该实验主要考虑算法在100 %准确率下的召回率。实验中所用计算机配置CPU为AMD R7—3800X(3.9 GHz)，内存16GB，系统平台为Ubuntu16.04。

表1为本文提出的算法与iBoW-LCD算法的性能测试结果对比，在City Centre数据集的测试中，召回率仅少许提升，该数据集中受不正常曝光影响的图像较少，因此算法性能提升不明显。而在New College数据集中，部分图像存有大面积不正常曝光区域，召回率相比提高了8.6 %。此外，部分图像细节恢复使可提取特征增加，词袋容量有所增大。同时，词袋容量变大以及图像预处理模块的引入，算法处理每帧图像的平均耗时有所增加。

表1 本文提出的算法与iBoW-LCD对比

将基于多哈希索引的MILD[11]加入实验测试中。三种算法均在数据集New College上进行测试，其P-R曲线如图7所示。实验结果显示，在100 %准确率下，本文提出的算法和MILD的召回率明显高于iBoW-LCD，且本文算法的召回率略高于MILD。在召回率达到92.8 %时，三种算法准确率先后开始加速下降，最终在召回率达100 %时，准确率仅为50 %左右。显然，本文提出的算法性能在大部分情况下均优于其他两种算法，仅在召回率为95 %附近时与MILD表现出极为相近的结果。

图7 三种算法的准确率—召回率(P-R)关系曲线

4 结 论

本文提出了一种适用于光照易变场景的回环检测方法。将图像预处理模块融入在线删增视觉词的BoVW，先对图像曝光情况进行检测，对非正常曝光图像进行预处理后再交由后续回环检测模块处理。实验结果表明:本文提出的算法在光照易变场景下性能优于iBoW-LCD以及MILD算法，在New College数据集测试中保证实时性的同时召回率比iBoW-LCD提高8.6 %。下一步计划将光照变化场景与动态场景处理模块融合，提高回环检测技术在复杂环境下的鲁棒性。