基于SLIC分层分割的无人机图像极小目标检测方法

赵 坤 张羽君 张建龙 王 勇

(1.中国电子科技集团公司第二十七研究所,郑州,450047;2.西安电子科技大学电子信息工程学院,西安,710071)

基于SLIC分层分割的无人机图像极小目标检测方法

赵 坤1张羽君2张建龙2王 勇1

(1.中国电子科技集团公司第二十七研究所,郑州,450047;2.西安电子科技大学电子信息工程学院,西安,710071)

针对无人机可见光图像目标小、对比度弱的问题，本文提出一种基于简单线性迭代聚类(Simple linear iterative clustering，SLIC)分层分割的极小目标检测方法。首先使用预处理方法提高原始图像的对比度，并利用Top-hat融合方法进行初始分割以确定目标区域，其次利用SLIC方法完成目标精细分割，并采用改进的具有噪声的基于密度的聚类方法(Density-based spatial clustering of applications with noise,DBSCAN)对SLIC分割结果进行超像素聚类，最后提取目标的邻域熵等多种底层特征，使用特征匹配方式检测目标，获取最终检测结果。本文提出了一种全局检测和局部检测相结合的检测策略，极大提高了检测速度。仿真结果表明，本文方法可以有效提高无人机小目标的检测性能,加速检测速度。

无人机；简单线性迭代聚类；具有噪声的基于密度的聚类方法；融合检测策略

引 言

弱小目标检测是图像处理领域中的热点和难点问题之一。所谓小目标指的是目标的成像尺寸属性,就是指目标在图像中所占的像素面积小,根据国际组织SPIE的定义小目标为在256像素×256像素的图像中目标面积小于80个像素,即小于256像素×256像素的0.12%就为小目标。由于目标距离较远或者其本身的弱小特性，同时加上复杂背景杂波的干扰，小目标可能几乎完全淹没在背景杂波及噪声之中。在这种低信噪比条件下，要直接检测出目标变得异常困难。但是，由于其在军事等诸多领域应用中的关键性作用，弱小目标检测的研究依然有着重要的意义。国内外众多学者对此展开了大量研究。Sebastien Razakarivony[1]等提出了差别自编码器的概念，并采用最近度量学习技术训练自编码器，使其在优化正样本重构的同时能够使流形远离负样本，该算法相比传统的自编码器有更好的小目标检测效果。文献[2]等根据图像的稀疏表示理论，提出了一种新的红外小目标检测算法，其根据二维高斯模型构造了红外目标的超完备字典，计算测试图像的图像块在超完备字典中的表示系数，根据图像子块中含有目标与否，其表示系数显著不同这一事实来完成目标检测任务，该方法可以有效地对目标进行检测，但其中范数最小化问题还有待更好的解决方法。文献[3]提出了一种基于局部灰度均值确定红外小目标尺寸及其位置信息的算法，该算法在选择合适参数的基础上，可有效地给出非单像素红外小目标的尺寸估值和位置信息。但是在检测速度方面，该算法仍有待进一步提高。文献[4]提出了一种新的小目标检测算法，采用方向加权的动态规划算法和二值航迹关联，克服了低信噪比下目标机动和传感器的不稳定对小目标检测的影响，实现了对深空背景下运动方式任意、速度最大达1像素/帧的弱小运动目标的有效检测。文献[5]针对无人机视频中的目标定位问题，提出在不同的视频图像状况下，运用金字塔LK光流法与连续自适应均值平移法相互补充，实现人工干预方式下的检测定位，这种处理方式进行侦察任务的目标定位具有良好效果，但算法的鲁棒性还需要进一步的提高。

无人机具有尺寸小、机动性高和适应性强等特点，使用无人机采集图像并进行目标检测、跟踪和识别是无人机重要的应用方向。由于无人机可见光图像中目标也具有弱小目标性质，而小目标由于像素尺寸过小，难以有效提取HOG,LBP等区域特征，加上无人机可见光图像分辨率一般都选择1 920像素×1 080像素级别，目标尺寸大小在100像素以内，小于图像尺寸的0.003%，属于极小目标，因此无人机可见光小目标检测显得尤为困难。传统目标检测方法无法解决无人机可见光图像目标过小、特征提取困难和高分辨率导致运算量大的问题，本文针对高分辨率无人机可见光图像小目标检测困难和速度较慢问题，提出了一种基于简单线性迭代聚类(Simple linear iterative clustering,SLIC)分割的分层结构检测方法，利用Top-hat进行粗分割定位初始目标区域，引入SLIC超像素分割方法进行精细分割，并利用目标特征匹配确定最后的目标位置，同时将全局检测和局部检测有效结合提高检测速度，仿真实验证明该方法能够快速准确地检测出无人机图像小目标。

1 本文检测方法的整体流程

针对无人机极小目标检测存在的问题，本文提出一种分层结构检测方法，检测结构如图1所示。首先对图像进行增强处理，主要包括中值滤波和对比度扩展处理，其次采用分层分割方式寻找待检测区域：其中粗分割采用形态学方式，利用Top-hat和Bottom-hat融合检测结果得到若干疑似目标区域；精细分割引入SLIC[6]超像素算法，在粗分割结果基础上完成精细分割，此时分割后的单元不再是像素级别，而是超像素级别。再次利用改进的具有噪声的基于密度的聚类算法(Density-based spatial clustering of applications with noise,DBSCAN)对SLIC分割结果进行区域合并，并提取合并区域的的均值方差、邻域熵等底层特征与原始目标进行特征匹配完成目标检测，最后利用全局与局部结合检测策略来提高连续帧的检测速度，得到最终的检测结果。

图1 无人机图像小目标检测方法Fig.1 Framework of small target detection method for UAV image

2 分层分割和改进的聚类算法

2.1 预处理

中值滤波是一种典型的非线性滤波技术,它在一定条件下可以克服线性滤波器带来的图像细节模糊，而且对滤波脉冲干扰及图像扫描噪声非常有效。它的基本原理是：把窗口邻域中的像素按灰度值等级进行排序，然后选择该组的中间值作为输出像素值。对于奇数个元素，中值为大小排序后中间的数值；对于偶数个元素，中值为排序后中间两个元素灰度值的平均值,其一般公式为

(1)

式中：f(x-i,y-j)为原始输入图像；g(x,y)为中值滤波后图像；S为邻域窗口，其大小为3×3[7-8]。由于待检测图像中的噪声干扰会对检测结果产生消极的影响，所以采用中值滤波处理原图像以便去除其中的椒盐噪声。之后再用Gamma变换拉伸图像灰度，使低亮度区域的亮度提高便于后续处理,其中Gamma值为0.3。Gamma变化的数学式为

(2)

式中：c和γ为正常数,r和s分别为原始像素值和变化后的像素值，其取值范围皆为[0,1]。输入图像和增强后的图像分别如图2(a，b)所示。

2.2 分层分割

(1)形态学初始分割

数学形态学是一种常用的图像处理方法，它是以腐蚀膨胀运算对为基础的。由腐蚀膨胀运算对可以定义出一种称之为和的变换对，即称顶帽变换和底帽变换对，通称Top-hat变换。图像形态学中的顶帽变换与底帽变换的定义式为

(3)

(4)

式中:f和b分别为输入图像和结构元素函数。顶帽变换可以获取图像中的亮区域，而底帽变换则可以获取图像中暗区域,所以将两种变换相结合就能够达到滤去图像中低频背景区域的目的，从而留下包含点目标在内的高频区域[9-11]。经过Top-hat[12]处理后的图像如图3(a)所示，再经过膨胀处理后并映射到原图的结果如图3(b)所示。Top-hat运算速度较快，因此非常适合用于初始分割。

(2)SLIC精细分割

(5)

基于坐标空间距离为

(6)

两个距离融合为

(7)

输入：图像I，目标块个数K，紧密系数m

输出：最终的分割结果I′

(2) 设置类标签label[i]=-1,i=1,2,…,N和距离dis[i]=M，其中M为一个很大的正数，此数组记录每一个像素点到最近邻超像素中心的距离。

(3) 对每个聚类中心Ck，计算Ck的2S×2S邻域内每个像素i到Ck的距离D，如果D

(4) 更新数据，计算新的聚类中心，并计算其总的改变量ΔE。如果ΔE>ε(其中ε>0是一个给定的阈值)，转到步骤(3)。

(5)结束。

由于无人机极小目标分割困难，运算量大，使用一种方法无法做到效率最佳，因此本文将Top-hat分割和SLIC分割相结合，提出一种分层分割方法。其中Top-hat速度较快，但精度较差，因此将其用于初始分割，寻找目标初始区域，而SLIC分割精度高，但运算量相对较大，适于底层精细分割。分割过程如图4所示，其中图4(a)表示经过形态学分割后的图片，图4(b)表示从形态学初始分割的图像中选取的一超像素块，图4(c)则表示对该超像素块采用SLIC算法进行分割，由图4中结果可以看出分割效果理想，可以将人物目标较为精确地分离出来。

图4 SLIC分割过程Fig.4 Process of SLIC

2.3 改进的DBSCAN聚类

图5 DBSCAN聚类结果和iDBSCAN聚类结果对比图Fig.5 Comparison chart of DBSCAN result and iDBSCAN result

iDBSCAN算法的具体步骤为：

(1) 将SLIC分割后的图像块中每一个区域的中心点作为聚类数据库D，Minpts选为1，Eps选为5。

(2) 判断数据库D中的某一个点o是否为核心点。若点o的Eps邻域至少包含最小数目的Minpts个点，则称o为核心点。

(4) 反复执行上述过程，直到所有的点都被归为某个簇中，即得到所有的密度连通集。

算法设计的特点是对每个对象逐个进行上述分类处理，采取由核心点向周围蔓延的方式生成密度连通集，以保证密度连通集逐个形成。对SLIC分割后的图像块中的区域进行聚类的效果如图6所示。

图6 DBSCAN聚类效果图Fig.6 DBSCAN clustering result

3 识别与检测

为了从合并后区域准确检测出目标，本文从输入数据中标记人物目标模板，并提取目标模板的均值μ、方差σ和熵H，对比目标模板特征和待检测区域的特征完成特征匹配，最终检测出目标。目标模板中均值表征了图像像素值分布的中点位置，方差表示了图像各像素点相对于中点的偏离程度，熵则代表了图像信源的平均信息量。其中计算熵H的公式为

(8)

式中：pi为图像中灰度值为i的像素所占比例。特征匹配步骤如下：(1) 判断DBSCAN聚类得到的区域S是否为封闭性区域，若是，则提取S的灰度均值μ和领域熵H特征。(2) 若S满足特征约束条件，则S为目标区域，其中，σ表示目标模板灰度均值、标准差及领域熵；K1及K2为相似度阈值,由经验而定。特征匹配后的结果如图7所示。

一次分割图像中的小面积区域均要通过SLIC分割、DBSCAN聚类和特征匹配的处理，将每1个小面积区域中得到的目标位置对应到原图中，即可得到第一帧图像完整的检测结果图，如图8所示。从图8中可以看出在检测人物目标时，在目标周围会有标靶和影子等干扰存在，但是分层分割依然能够将人物目标准确地识别出来。

图9 全局检测与局部检测相结合的过程图Fig.9 Combination of global and local detection

为了进一步提高检测速度，利用无人机目标的时间和空间连续性,本文提出了一种全局检测和局部检测相结合的检测策略，如图9所示。Dg帧表示采用全局检测方式，检测范围为整帧图像,检测方法为Top-hat和SLIC相结合的分层检测，Dl帧表示采用局部检测方式，即以上一帧检测结果为中心在其上下左右4个方向各增加若干个像素的长度，以得到1个大小为检测结果1.5倍的区域，并将这个区域的位置对应到Dl帧图像上，便可以得到Dl图像的待检测窗，继而使用SLIC分割在检测窗内完成检测。这一策略的目的在于有效地提高分割速度。全局检测帧间隔M帧,主要消除积累误差,降低漏检概率。其具体过程如图9所示。

4 实验及结果分析

由于目前无人机图像还没有公开的数据库，所以采用自己拍摄的无人机视频图像作为实验数据，该无人机拍摄视频为25 f/s。其中视频的帧数为100帧,视频图像分辨率为1 920像素×1 080像素。本实验选取了两种场景差异较大的视频图像，其中第1种场景较为简单，人物目标明显，而第2种场景则相对复杂，干扰较多，给目标检测加大了难度。图10给出了不同算法对两组视频图像中目标检测的结果，其中图10 (a)(d),(b)(e),(c)(f)分别为级联结构算法、Mean-shift[18]算法和Turbopixels算法对两种场景视频图像的检测结果。图10中的标记部分，反映了目标检测位置。仿真实验的环境如下：CPU Intel(R) Core i3-530 2.93 GHz,内存2GB,Windows 7操作系统，仿真软件版本Matlab2012b。

图10 无人机可见光图像目标检测Fig.10 UAV visible light images target detection

表1为检测算法性能比较表，其中GT表示全局检测方式，LT表示局部检测方式。其对比了不同算法的耗费时间和检测结果的漏警、虚警情况，从表1中可以看出相比于Mean-shift和Turbopixels算法，分层检测算法在检测精度和检测速度两个方面都有较为突出的表现。其中在检测精度方面，对第1组数据而言，分层检测算法可以在虚警率为0的前提下将83.33%的目标检测出来，而传统的Mean-shift算法在多数帧中仅能检测出33.33%～50%的目标，且虚警较高，甚至达到了原有目标的2倍,Turbopixels算法虽能将大部分目标检测出来，但相比于分层算法仍有差距；在对第2组数据进行检测时，3种方法的对比更加明显，分层检测算法对目标检测率是100%，且虚警目标很少，而Mean-shift算法不但无法正确地检测出目标，虚警目标的数目更是达到了原有目标的25～40倍之多，相比较而言Turbopixels算法虚警较低，但产生了1个漏警。且在检测速度方面分层检测算法的优势也显而易见。在检测第1种场景图像时，Mean-shift的检测时间约为分层检测算法的27倍，Turbopixels算法为其7倍；而对于场景更为复杂的第2种场景，Mean-shift的耗时更是分层检测算法的67倍之多，Turbopixels算法为10倍。另外，对比表3中分层检测算法中的全局检测和局部检测的实验结果可以看出全局与局部结合检测策略可以有效地降低单帧检测时间。分层检测算法具有这样的优势是因为在检测过程中，采用了形态学变换将预处理后的图片进行了粗分割，这一举措滤除了大部分背景区域，为之后的SLIC精确分割减少了工作量，同时还加入了全局与局部结合检测策略来完成连续帧的检测，该策略能够有效地降低检测时间。而Mean-shift算法是对全局图像进行分割，此方法不但会使分割耗时长，而且会导致在颜色变化较大的区域上产生大量的虚警，且这些虚警在之后的识别过程中很难被剔除。由图10(a)中可以看出有1人物目标在3帧图像中始终没有被检测出来，这是因为该目标与其相邻车的Lab颜色特征相近，所以SLIC算法无法将此目标与其周围的物体精确地分割开来。

5 结束语

本文提出了一种基于SLIC分割的无人机图像弱小目标检测方法， 该方法结合形态学变换和SLIC分割算法分割图像。其针对SLIC算法分割略慢，Top-hat变换分割较为粗略的问题，将Top-hat变换和SLIC算法的优势和劣势进行互补，以达到精确、快速分割的效果。对于分割后的区域,本文采用DBSCAN聚类对其进行聚类分析，并对聚类簇进行模板匹配识别得到初步的检测结果，最后利用全局与局部结合检测策略来完成连续帧的检测，以提高检测速度。实验证明该分层检测算法在检测精度和检测速度方面都有较好的表现，能够较理想地完成无人机图像中的极小目标检测。然而在目标和周围干扰的空间信息和颜色信息都很相近的超像素块中，SLIC无法将人物目标有效地分离出来，对于这一问题，可以考虑在SLIC分割距离中加入更多的信息，从而使目标和干扰能够更加容易地区分开来。

表1 检测算法性能比较

[1] Sebastien R,Frederic J.Discriminative autoencoders for small targets detection[C]∥International Conference on Pattern Recognition (ICPR),2014 22nd. Stockholm:IEEE,2014：3528-3533.

[2] 赵佳佳,唐峥远,杨杰,等.基于图像稀疏表示的红外小目标检测算法[J].红外与毫米波学报,2011,30(2):156-163.

Zhao Jiajia,Tang Zhengyuan,Yang Jie,et al.Infrared small target detection based on image sparse representation[J].Journal of Infrared and Millimeter Waves,2011,30(2):156-163.

[3] 刘运龙,薛雨丽,袁素真,等.基于局部均值的红外小目标检测算法[J].红外与激光工程,2013,42(3):814-822.

Liu Yunlong,Xue Yuli,Yuan Suzhen,et al.Infrared small targets detection using local mean[J].Infrared and Laser Engineering,2013,42(3):814-822.

[4] 陈尚峰,陈华明,卢焕章.基于加权动态规划和航迹关联的小目标检测技术[J].国防科技大学学报,2003,25(2):46-51.

Chen Shangfeng,Chen Huaming,Lu Huanzhang.Detection and tracking of dim targets based on dynamic programming and track matching[J].Journal of National University of Defense Technology,2003,25(2):46-51.

[5] 田丰,闫建国,曹莹慧.无人机视频中的目标定位研究[J].计算机测量与控制,2010,18(4):900-905.

Tian Feng,Yan Jianguo,Cao Yinghui.Research on target location of UAV video[J].Computer Measurement & Control,2010,18(4):900-905.

[6] Radhakrishna A,Appu S,Kevin S,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282.

[7] 张丽,陈志强,高文焕,等.均值加速的快速中值滤波算法[J].清华大学学报,2004,44(9):1157-1159.

Zhang Li,Chen Zhiqiang,Gao Wenhuan,et al.Mean-based fast median filter[J].Journal of Tsinghua University,2004,44(9):1157-1159.

[8] 胡旺,李志蜀,黄奇.基于双窗口和极值压缩的自适应中值滤波[J].中国图像图形学报,2007,12(1):43-50.

Hu Wang,Li Zhishu,Huang Qi.An adaptive median filter based on the double windows and extremum-compressing[J].Journal of Image and Graphics,2007,12(1):43-50.

[9] 张文超,王岩飞,陈贺新.基于Tophat变换的复杂背景下运动点目标识别算法[J].中国图象图形学报,2007,12(7):871-874.

Zhang Wenchao,Wang Yanfei,Chen Hexin.Moving point target detection in complex background based on Tophat transform[J].Journal of Image and Graphics,2007,12(7):871-874.

[10]汤井田,李灏,李晋,等.Top-hat变换与庐枞矿集区大地电磁强干扰分离[J].吉林大学学报,2014,44(1):336-343.

Tang Jingtian,Li Hao,Li jin,et al.Top-hat transformation and magnetotelluric sounding data strong interference separation of lujiangzongyang ore concentration area[J].Journal of Jilin University,2014,44(1):336-343.

[11]曾明,李建勋.基于自适应形态学Top-hat滤波器的红外弱小目标检测方法[J].上海交通大学学报,2006,40(1):90-94.

Zeng Ming,Li Jianxun.The small target detection in infrared image based on adaptive morphological Top-hat filter[J].Journal of Shanghai Jiaotong University,2006,40(1):90-94.

[12]白相志,周付根,解永春,等.新型Top-hat变换及其在红外小目标检测中的应用[J].数据采集与处理，2009,24(5):643-649.

Bai Xiangzhi,Zhou Fugen,Xie Yongchun,et al.New top-hat transformation and application on infrared small target detection[J].Journal of Data Acquisiton and Processing,2009,24(5):643-649.

[13]张亚亚,刘小伟,刘福太,等.基于改进SLIC方法的彩色图像分割[J].计算机工程,2015,41(4):205-300.

Zhang Yaya,Liu Xiaowei,Liu Futai,et al.Color image segmentation based on improved SLIC method[J].Computer Engineering,2015,41(4):205-300.

[14]滕秀花,胡文瑜,陈敏.一种基于SLIC的超像素快速色彩传递算法[J].哈尔滨师范大学自然科学学报,2014,30(3)77-80.

Teng Xiuhua,Hu Wenyu,Chen Min.A fast color transfer algorithm based on the super-pixel of SLIC[J].Natural Science Journal of Harbin Normal University,2014,30(3)77-80.

[15]夏鲁宁,荆继武.SA-DBSCAN:一种自适应基于密度聚类算法[J].中国科学院研究生院学报,2009,26(7):530-539.

Xia Luning,Jing Jiwu.SA-DBSCAN:A self-adaptive density-based clustering algorithm[J].Journal of the Graduate School of the Chinese Academy of Sciences,2009,26(7):530-539.

[16]蔡颖琨,谢昆青,马修军.屏蔽了输入参数敏感性的DBSCAN改进算法[J].北京大学学报,2004,40(3):479-486.

Cai Yingkun,Xie Kunqing,Ma Xiujun.An improved DBSCAN algorithm which is insensitive to input parameters[J].Acta Scientiarum Naturalium Universitatis Pekinensis,2004,40(3):479-486.

[17]He Yaobin, Tan Haoyu, Luo Wuman, et al.Mr-descan: A scalablemapreduce-based descan algorithm for heavily skewed data[J].Frontiers of Computer Science,2014,8(1)83-99.

[18]Youness A G.A sufficient condition for the convergence of the mean shift algorithm with Gaussian kernel[J]. Journal of Multivariate Analysis,2015,135(3):1-10.

Very Small Target Detection Method for UAV Image Based on SLIC Hierarchical Segmentation

Zhao Kun1, Zhang Yujun2, Zhang Jianlong2, Wang Yong1

(1.The 27th Research Institute, China Electronics Technology Group Corporation, Zhengzhou, 450047, China;2.School of Electronic Engineering, Xidian University,Xi′an,710071, China)

For the problem of the small target and the weak contrast of UAV image, we propose a method for minimal target detection based on simple linear iterative clustering (SLIC) hierarchical segmentation. Firstly, pretreatment methods are utilized to improve the contrast of the original image, and Top-hat fusion is used as initial segmentation to detect the initial target area. Then SLIC segmentation method is utilized to obtain the fine segmentation, and improved density-based spatial clustering of applications with noise(DBSCAN) is introduced to accomplish ultra-pixel classification according to the segmentation result. Finally, the target is detected through feature matching by extracting the neighborhood entropy of the target and other low-level features. Also a detection strategy combining global detection and local detection is proposed to accelerate the detection speed.The experimental results show that the proposed method can improve the detection performance for the minimal targets in UAV image and accelerate the detection speed.

UAV; simple linear iterative clustering(SLIC); density-based spatial clustering of applications with noise(DBSCAN); fusion detection rule

2015-06-24；

2016-01-13

TP391.4

A

赵坤(1987-),男，工程师，研究方向：无人机飞行器任务规划及信息处理技术,E-mail:zhaokun3156@sina.com。

王勇(1976-)，男，高级工程师，研究方向：无人飞行器信息处理技术。

张羽君(1993-),女，硕士研究生，研究方向：机器学习、模式识别，E-mail：zhangyujun@stu.xidian.edu.cn。

张建龙(1976-),男，副教授，研究方向：图像视频处理、无人机视觉系统和目标跟踪与检测。