基于组合特征和级联分类器的防震锤检测算法

王赛娇，李 黎，徐晓宇

(1.台州广播电视大学 高职学院，浙江 台州 318000；2.杭州电子科技大学 计算机学院,浙江 杭州 310018)

0 引 言

目前，无人机(unmanned aerial vehicle，UAV)技术用于高压输电线路巡检已受到广泛关注，用于检测防震锤的图像处理相关技术得到了一定的发展。算法主要有基于LSD算法和机器学习的防震锤变形检测算法、巡线机器人视觉检测算法、基于深度学习的目标检测算法以及基于Haar特征与级联AdaBoost的检测算法等[1,2]。虽然这些算法在防震锤检测和定位上取得了一定的进展，但同时对于待检测图像的拍摄要求也比较严格，在某些环境下存在着误检率较高的现象。

针对以上算法存在的问题，现提出基于分块的Haar特征、基于区域的LBP特征以及HOG特征一起作为组合特征来检测防震锤[3]的方法。实验结果表明，该算法能较好地提高防震锤检测的精确率、召回率和准确率。

1 算法基本思想

无人机巡检作业方式得到的防震锤图像测试集有如下特征：

(1)尺寸大小不一，形状、颜色等信息差别较大。由于无人机在巡检拍摄时离高压输电线路的距离不同，以致近景拍摄的防震锤图像形状大而清晰，得到的信息会比较多，而远景拍摄的防震锤图像形状小而模糊，得到的信息则会比较少；

(2)存在漏检或误检现象。高压输电线上环境复杂，拍摄时防震锤可能会被电路塔等设施所遮挡，造成漏检或误检；

(3)存在着倾斜角度各异的现象。无人机在飞行过程中采用的是多角度拍摄，因此，得到的防震锤图像存在着倾斜角度各异的现象。

基于以上3个特征，对于高压输电线上的防震锤检测，现提出基于组合特征和级联分类器的算法。具体步骤包括：①对待检测的图像进行去噪、调整亮度、调整大小等预处理操作。②对归一化互相关匹配算法进行优化与改进，再通过缩放和旋转模板进行模板匹配，得到防震锤疑似区域样本集。③提取防震锤疑似区域的组合特征，包括基于区域的Haar特征BHaar、基于区域的LBP特征RLBP和HOG特征。④使用级联分类器对防震锤疑似区域进行多级分类(初分类使用HOG特征，多级分类使用BHaar特征和RLBP特征)。⑤统计分类的准确率。算法流程如图1所示。

图1 算法流程

2 防震锤检测的实施

2.1 预处理

无人机在巡检作业时，因受到天气或其它意外因素的影响，拍摄得到的图像容易存在着曝光不足或曝光过度等问题，这会影响后续图像特征的提取操作。因此，首先对拍摄得到图像进行预处理，处理过程包括去除噪声、调整亮度和调整大小等共3个步骤。

2.1.1 图像亮度情况判别

设待检测图像为Iu，首先使用中值滤波的图像去噪方法进行处理，然后进行图像灰度化，得到灰度图Ig。 计算Ig的平均偏差MD(mean deviation)，根据MD判断图像的亮度是否正常，MD的计算方法如式(1)所示

(1)

2.1.2 图像亮度调整

通过分析图像测试集获得正常图像的亮度值mean(本文mean值取128)。比较MD和mean值的大小并选择相应的图像亮度调整策略(图2)：若MD=mean，表示图像亮度合适，不作任何处理；若MD>mean，表示图像偏亮，使用Gamma校正的方法进行处理；若MD

图2 图像亮度调整策略

如图2所示，灰度图Ig经图像亮度调整策略调整后，得到了整体亮度较为均匀的初始化图像Ir。

2.1.3 图像大小调整

由于防震锤检测的速度和准确率会受到图像分辨率的影响，为了避免图像测试集中存在着图像分辩率过高现象，故将所有图像的分辨率归一化为1024×768。

设预处理后的图像为Ir，表1列出了预处理图像Ir的结果示例。从表1中可知，处理后的图像具有更多的细节信息。

表1 预处理结果示例

2.2 防震锤疑似区域生成

由于防震锤都是悬挂在输电线上的，无人机在拍摄图像时，防震锤可能会被高压输电线上的电路塔等设施所遮挡，因此，待检测图像Iu中可能存在着“防震锤疑似区域”，该区域包括防震锤区域，也可能包括电路塔、绝缘子等干扰区域。为了减少漏检和误检，需先对防震锤进行初定位，再进行模板的匹配。

2.2.1 匹配模板归一化

如图3所示，初始化后的图像Ir经过尺度归一化、灰度化处理和求平均的3个步骤生成统一尺寸大小的最终模板图像It。 其中，初始化后图像Ir是以人工方式在原始图像中选择若干张防震锤信息比较清晰的图像，再标定图像中的防震锤区域得到。

图3 模板图像生成方法

2.2.2 改进归一化互相关匹配算法

防震锤疑似区域样本集的生成可通过模板匹配技术实现。模板匹配是图像识别中最基本的也是最具代表性的方法。在现有的模板匹配算法中，归一化互相关匹配算法具有较好的抗噪能力和抗光照能力，是一种常用的经典算法。但另一方面，该算法也存在着一些不足之处，如不具有抗旋转和缩放的能力等，而且该算法计算量大、匹配速度慢，难以满足系统较高的实时匹配要求，因此，需对该算法进行适当的优化与改进。

设待匹配图Ir为r(x,y)，图像尺寸为w×h，Ir的子图像的尺寸为m×n，匹配的模板图像It为t(x,y)，图像尺寸也为m×n。归一化互相关匹配算法计算相似度NCC(x,y) 的方法如式(2)所示

(2)

其中，μr为Ir子图像的灰度均值，计算方法如式(3)所示

(3)

μt为模板图像的灰度均值，计算方法如式(4)所示

(4)

相似度NCC(x,y) 的取值范围为[-1,-1]，相似度值的大小反映了图像匹配度的高低。

Sμ(x,y)=r(x,y)+Sμ(x-1,y)+
Sμ(x,y-1)-Sμ(x-1,y-1)

(5)

Sσ(x,y)=r2(x,y)+Sσ(x-1,y)+
Sσ(x,y-1)-Sσ(x-1,y-1)

(6)

Sc(x,y)=r(x,y)·t(x,y)+Sc(x-1,y)+
Sc(x,y-1)-Sc(x-1,y-1)

(7)

其中，当参数x或y<0时，Sμ(x,y)=Sσ(x,y)=Sc(x,y)。

待匹配图像Ir的子图像在x,y处的灰度均值的计算方法如式(8)所示，平方值的计算方法如式(9)所示、互相关值的计算方法如式(10)所示

电网调控模型中心体系架构与关键技术//季学纯,徐春雷,杨志宏,吴海伟,李昊,杨启京//(16):127

(8)

(9)

(10)

模板图像It在x,y处的灰度均值、平方和互相关值的计算方法只需构造相应的求和表并计算即可，与待匹配图像Ir的子图像的计算方法类似。

2.2.3 模板匹配

通过分析模板匹配结果取最合适的值为阈值T(本文中T取值为0.85)，对初始化后的图像Ir使用改进的归一化互相关匹配算法进行模板匹配，则当相似度值NCC>T时，说明当前窗口为防震锤疑似区域，为防止再次匹配到重叠区域，将该结果值赋值为-1。

2.2.4 旋转模板再匹配

将模板图像It旋转得到新模板图像I′t，旋转角度为-30°、-20°、-10°、10°、20°、30°，并重复模板匹配过程。

2.2.5 缩放模板再匹配

将模板图像It进行缩放并重复模板匹配，缩放比例为原尺寸的70%、80%、90%、110%、120%、130%，并重复模板匹配过程。

图4列出了检测防震锤疑似区域的结果示例。图4中3列分别为初始化后图像Ir、 匹配结果图和防震锤疑似区域Isr。 其中第二列的匹配结果图是由初始化后的图像Ir与匹配模板图像It进行相似度计算后得到，计算方法是：若图像Ir与匹配模板的相似区域相近则表现为白色(且越相近颜色越亮)，若不相近则表现为黑色。第三列的防震锤疑似区域Isr为最终检测结果图，其尺寸与使用的模板图像的尺寸相同。另外，由于模板图像经过了匹配与再匹配的过程，虽然减小了漏检区域，但同时也相应地增多了误检区域。

图4 模板匹配示例

2.3 组合特征提取

分析图像测试集中的防震锤以及电路塔等区域的特点，提取基于分块的Haar特征(BHaar)和基于区域的LBP特征(RLBP)，并与HOG特征一同作为组合特征来描述图像中的防震锤。实验结果表明，该方法能有效地区分防震锤区域以及电路塔等干扰区域。

Haar特征是计算机视觉领域一种常用的特征描述算子，在人脸检测、车辆检测以及行人检测等目标检测上应用广泛。Haar特征值反映了图像的灰度变化情况，是像素分模块求差值的一种特征。现有的Haar主要分为以下4类：边缘特征、线性特征、对角线持征和中心特征，共有15种，如图5所示。

图5 Haar特征分类

Haar特征用于检测物体时，主要通过平移与缩放来获得特征值。当Haar模板在待检测图像中进行平移时，滑动的位置是从左到右再从上到下，每次滑动的位置都会得到一个对应的特征值。同时，Haar模板也可以进行任意比例的缩放，缩放时模板中的黑白区域的面积比不会发生改变，所以Haar特征值用于目标检测是比较方便的。但是，Haar特征值的计算量非常大，因为Haar模板的每一次滑动与缩放都会产生一定数量的特征值，即使使用积分图像的图像处理算法进行加速，其计算效率仍然偏低。

防震锤是由两个铸铁锤头、一根短钢绞线以及固定在钢绞线上的夹线板组成，具有较明显的线性特征以及较好的对称性。另外，对防震锤疑似区域样本集中的正样本进行分析，可以发现大部分的防震锤处于图像Isr的中心位置。根据这个特点，现设计改进的Haar特征模板4种，如图6所示。

图6 本文改进的Haar特征模板

由于防震锤疑似区域检测算法得到的防震锤疑似区域Isr中至多存在一个防震锤，所以，若Haar特征模板的尺寸大小与防震锤疑似区域Isr的尺寸大小相同，则可以省去原Haar特征模板的平移以及缩放的计算过程，仅需将图像Isr灰度图中对应的位置与Haar特征模板相乘累加即可，这样就可以减小计数量，有效提高计算效率。计算时，模板中白色区域与黑色区域的权值分别设为1和-1。

表2给出了改进的Haar特征示例，第一列至第三列分别为防震锤疑似区域Isr、 本节使用的Haar特征以及Haar结果图。其中第三列的Haar结果图为图像Isr的灰度图与Haar特征模板对应的位置相乘得到。由于Haar特征模板中白色区域的权值为1，黑色区域的权值为-1，所以，对应的Haar结果图中白色区域的值与图像Isr的灰度图对应区域的值相等，黑色区域的值则与图像Isr的灰度图对应区域的值相反。

表2 改进的Haar特征示例

为了比较Haar模板的有效性，集中随机抽取若干张防震锤疑似区域的正样本与负样本，分别计算这些图像对应于4个Haar模板的特征值。计算结果如图7所示。

图7 Haar特征值的计算结果

比较4个 Haar模板特征值的计算结果图，发现Haar模板1、Haar模板2和Haar模板4中正样本和负样本的特征值有较大的交集，而Haar模板3中正样本和负样本的特征值没有交集，说明Haar模板3在区分正样本和负样本上存在着明显的优势，能更好地区分防震锤以及电路塔等干扰区域。因此，本文的分类特征采用Haar模板3。

2.3.2 基于分块的Haar特征(BHaar)的提取

因为Haar模板的尺寸与防震锤疑似区域Isr的尺寸大小一样，计算得到的特征维度较低。同时，考虑到防震锤具有较好的对称性，所以把防震锤疑似区域样本Isr进行左右二等分，并计算两个子图像块对应的Haar特征值。其计算过程如下：

(1)灰度化处理防震锤疑似区域Isr，同时归一化图像尺寸为96×48，得到防震锤疑似区域灰度图Isg。

(2)对图Isg进行二等分，得到尺寸为48×48的两个左右子图像块Isg1和Isg2。

(3)设定Haar模板3的尺寸为48×48，计算子图像Isg1和Isg2对应的Haar特征值，分别记为value1和value2。其计算方法如式(11)所示

valuei=sum(白色区域像素)-2·sum(黑色区域像素)

(11)

(4)计算value1、value2差值的绝对值，记为D-value，如式(12)所示。D-value在此用于衡量子图像Isg1、Isg2的相似度，D-value越小，则相似度越高

D-value=|value1-value2|

(12)

(5)得到最终的BHaar特征。如式(13)所示

BHaar=[value1,value2,D-value]

(13)

表3列出了基于分块的Haar特征(BHaar)的示例。由表中数据可知，若防震锤位于图像Isr的中心区域附近，则得出对应的value值较大。其次，由于防震锤的结构对称性较好，子图像Isg1、Isg2的相似度较高，对应的value值比较接近，因此D-value值比较小，而电路塔等干扰区域像素值分布没有规律可循且不具有对称性，子图像Isg1、Isg2的相似度较低，对应的value值比较小，因此D-value值比较大。但也存在着特殊情况，表3中最后一行结果显示，当干扰区域的对称性较好时，也会造成误检。

表3 BHaar特征示例

2.3.3 基于区域的LBP新特征(RLBP)的提取

LBP主要用于提取图像的纹理特征，常用在人脸识别、行人检测、纹理分析等，在计算机视觉的许多领域都得到了广泛的应用，由于原始的LBP特征的计算存在着一定的随机性。因此，借鉴LBP特征以及超像素的概念，提出基于区域的LBP特征(RLBP)，其计算过程如下：

(1)灰度化处理防震锤疑似区域Ir，同时归一化处理图像尺寸为96×48，得到灰度图Isg。

(2)将图Isg进行3×3的九等分，则每个子图像块的尺寸大小为32×16。以左上角子图像为起点，按顺时针方向依次标记各个子图像块为Isg1、Isg2、 …、Isg9，其中，中心区域的图像块为Isg9。

(3)计算9个子图像Isg1、Isg2、 …、Isg9的灰度均值，分别记为g1、g1、 …、g9。

(4)比较8个相邻子图像Isg1、Isg2、 …、Isg8与中心图像Isg9的灰度均值大小，若gi(1≤i≤8)大于g9则记为1，小于g9记则为0，如式(14)所示

(14)

(5)得到最终的RLBP特征，如式(15)所示

RLBP=[K1,K2, …,K8]

(15)

表4列出了RLBP特征的示例。表中前三行图像中，RLBP特征中的元素基本全为1，这是因为这3个图像中周围8个相邻子图像的内容主要为天空或导线或电路塔，其对应的灰度均值gi(1≤i≤8)较大，而中心区域的图像块Isg9的主要内容为防震锤部分，其对应的灰度均值g9较小，所以得出的RLBP特征为1的个数比较多。而表中的第四和第五行图像中，RLBP特征中0的个数比较多，仅含有少数的1，这是因为各个子图像的内容变化性大，对应的RLBP特征的元素值比较任意，周围相邻子图像的灰度值低于图像中心区域的灰度值。另外，表中最后一行的结果同时也说明了当电路塔等图像的灰度分布接近于防震锤区域时，会出现误检的情况。

表4 RLBP特征示例

2.4 级联分类器

级联分类器是一种层次型分类器，是由若干个强分类器或弱分类器按照一定的次序组合而成。使用级联分类器的优势是：在保证分类准确性的前提下能降低计算的复杂度。级联分类器的结构如图8所示。

图8 级联分类器结构

图中级联分类器主要由3个SVM分类器级联组成，使用级联分类器分类的具体过程如下：

(1)对防震锤疑似区域样本集进行初分类。以HOG特征作为SVM1分类器的分类特征对防震锤疑似区域样本集进行初分类，所得的预测结果中有正样本和负样本，分别记为PS_1和NS_1。

(2)对PS_1进行二次分类。以基于分块的Haar特征(BHaar)作为SVM2分类器的分类特征对PS_1进行二次分类，分类所得的预测结果同样也有正样本和负样本，分别记为PS_2和NS_2。

(3)对NS_1进行二次分类。以基于区域的LBP特征(RLBP)作为SVM3分类器的分类特征对NS_1进行二次分类，分类所得的预测结果同样也有正样本和负样本，分别记为PS_3和NS_3。

2.5 统计级联分类器的分类结果

统计级联分类器的分类结果，正样本数NPS(number of positive sample)的计算方法如式(16)所示

NPS=PS_2+PS_3

(16)

级联分类器分类的准确率Accuracy表示正样本和负样本被正确预测的比例，计算方法如式(17)所示

(17)

3 实验结果及分析

为了验证算法的合理性和有效性，本文使用MS-660四旋翼无人机对高压输电线路进行巡检，采用的是无人机飞控程序自动控制和人工操控相结合的飞行控制方式，即巡检过程中先使用飞控程序控制无人机，当到达已知线路路径信息的目标杆塔上方且与杆塔的距离约为15 m时，切换为人工控制模式进一步靠近目标杆塔。巡检采集得到的测试集图像共2980张，其中含有防震锤的图像1960张。对含有防震锤的图像依据防震锤疑似区域检测的算法进行防震锤疑似区域检测，得到防震锤疑似区域样本集Isr。Isr中共有6400张图像，去除电路塔等干扰区域图像2270张，余下含防震锤区域的图像有4130张。

3.1 不同算法的比较

表5列出了基于Haar特征、基于LBP特征、基于 GLCM 特征与本文算法的比较结果，比较以精确率、召回率和准确率这3个指标作为测评指标。

由表5中的精确率、召回率和准确率可知，基于 GLCM 特征的算法所对应的这3项指标最低，说明该算法具有较差的性能，而本文提出的算法这3项指标最高，说明具有最好的性能。这是因为在拍摄图像时，拍摄距离不

表5 不同算法比较/%

同，得到的图像中防震锤的纹理也不同，电路塔等干扰区域的纹理复杂度也不同，而本文提出的算法综合考虑了局部纹理信息、梯度信息、图像的灰度分布等情况，所以相比其它算法具有最好的性能。

3.2 组合特征性能比较

表6列出了仅使用Haar特征、BHaar特征、RLBP特征以及使用HOG+BHaar+RLBP的组合特征的性能比较结果。由表中可知，虽然HOG的精确率、召回率和准确率比BHaar和RLBP均要高，性能比较好，但HOG+BHaar+RLBP的组合特征的精确率、召回率和准确率得到了更进一步的提高，性能更好。另外，BHaar特征对应的精确率值比RLBP特征高，说明BHaar特征对负样本的识别能力相对较强，因此，剔除PS_1中被误分的负样本时使用BHaar特征作为SVM2的分类特征。但BHaar特征对应的召回率比RLBP特征低，说明BHaar特征对正样本的识别能力没有RLBP特征强，因此，剔除NS_1中被误分的正样本时使用RLBP特征作为SVM3的分类特征。

表6 不同特征性能比较/%

3.3 级联分类器性能验证

图9为比较不同级联程度的SVM分类器对应的性能指标。图中的SVM_1、SVM_2和SVM_3分别表示级联了不同分类器对应的分类性能。

图9 级联分类器性能比较

从图9可知，SVM_1、SVM_2、SVM_3对应的精确率、召回率和准确率中，仅使用SVM1分类器的SVM_1性能值最低，而级联了SVM1、SVM2和SVM3分类器的SVM_3性能值最高。SVM_2级联了SVM1和SVM2，相比SVM_1精确率和准确率有所提高，是因为SVM_2在初次分类的基础上对PS_1进行了二次分类，部分被误分的负样本被剔除了，但由于正样本没有二次分类，所以召回率没有提高。而SVM_3在SVM_2的基础上再增加了对NS_1 的二次分类，被误分的正样本在这个过程中被剔除，所以精确率、召回率和准确率这3个指标均得到了提高。

3.4 特征参数设定对性能的影响

实验中将BHaar特征维度设为3维，特征计算时将图像Isr进行分块，分成左右两个子块。为了验证分块的有效性，在分块的基础上再继续分块，分成4块、8块、16块和32块，对应的BHaar特征的维数分别为5维、9维、17维和33维。分块时计算左右两边图像块对应的value均值的差值，并作为这些分块方式对应的BHaar特征的最后一维元素的D-value值。依次将这些特征作为SVM2分类器的分类特征对PS_1进行分类，得出结果如图10所示。从图10中可知，BHaar特征中特征维数越多，精确率、召回率以及准确率越低，当维数为3时，3个性能指标最高。

图10 BHaar特征中特征维数与值的关系

4 结束语

图像处理算法应用在输电线路上的防震锤智能巡检具有重要意义。本文算法基于分块的Haar特征、基于区域的LBP特征以及HOG特征一起作为组合特征来检测防震锤。在检测防震锤时，进行了预处理、模板匹配、提取组合特征、多级分类等过程。实验结果表明，该算法有效地提高了高压输电线路上的防震锤检测的准确率，为后续高压输电线路上防震锤的移位、脱落等故障检测工作奠定了良好的基础。