基于双支路神经网络的无人机图像识别方法

薛 珊,陈宇超,吕琼莹,曹国华

(1. 长春理工大学机电工程学院,吉林 长春 130000;2. 长春理工大学重庆研究院,重庆 400000)

1 引言

近年来随着科学技术的不断进步,无人机飞行器得到迅速发展。鉴于无人机具有成本低、机动性强、便于操作等优点[1],如今已被广泛应用于军事、农林业、化工业、城市规划等诸多领域,同时也成为广大爱好者旅行航拍的首选装备。但由于部分爱好者的非法操作所导致的无人机“黑飞”事件屡见不鲜。例如2016年5月28日成都双流机场东跑道飞行空域因无人机“黑飞”阻碍航班正常起降,导致机场东跑道停航关闭1小时20分钟,55架航班无法正常起降,大量旅客滞留机场。

无人机“黑飞”给公民人身安全与社会财产安全造成了一定问题,反无人机系统随之出现。能够准确识别无人机并对其进行拦截打击成为解决无人机“黑飞”的关键技术,也是反无人机系统的关键之一。目前常见的探测识别技术有雷达探测、光电探测、音频探测、无线探测等[2]。章鹏飞[3]等人提出了一种多角度雷达观测微动特征融合的无人机识别方法,但是雷达观测所需要的设备造价昂贵,且雷达与光电设备联动配合的同步性方面存在一定困难[4];丘恺彬[5]等人提出了一种基于音频特征提取的无人机识别方法,但是由于声音识别对距离的要求较为苛刻,需要在较近的范围内才能采集到无人机的音频数据。综合考虑各种识别方法的优缺点,目前利用目标的光电图像特征对其识别的方法较为普遍。图像识别具有成本低、视场灵活性较高的特点,可以在数百米的范围内对“黑飞”无人机实现识别操作。

为了提高无人机图像识别的准确率,本文提出了一种双支路并行卷积神经网络(Double Branches Parallel Convolutional Neural Network, DBPCNN),运用此算法识别无人机,提高识别准确率。

2 无人机图像数据集建立

本文选取两类四旋翼无人机作为研究对象,通过光学镜头与转台集成的图像采集设备获取无人机的原始图片,该设备如图1所示。

图1 图像采集设备

为了使图片能够输入卷积神经网络中,还需要对拍摄的原始图片进行图像预处理操作。主要流程如图2所示:首先通过图像灰度化将彩色图片转化为灰度图片以提高处理速度;其次通过边缘检测[6]、滤波去噪[7,8]、图像二值化以及图像形态学方法[9]增强无人机的边缘特征;接下来根据无人机的边缘特征寻找无人机轮廓的最小外接矩形;最后根据最小外接矩形裁剪图片并填充黑色区域补齐为长宽像素相等的图片,将补齐图片的尺寸统一修改为100×100像素。

图2 图像预处理流程图

图像预处理的分步结果示意图如图3所示,共计352张无人机原始图片通过该操作转化为可以输入卷积神经网络的像素尺寸规则的图片。

图3 图像预处理分步结果示意图

为避免由于数据量较小产生的过拟合问题[10]还需要对预处理后的图片进行数据扩增。如图4所示,将尺寸归一化的图片分别沿顺时针方向旋转90°、180°和270°。将数据扩增后得到的共计1408张图片作为本文设计的卷积神经网络的数据集。实验中该数据集将随机划分为卷积神经网络的训练集和测试集,划分比例为7: 3。

图4 数据扩增结果示意图

3 双支路并行卷积神经网络的设计

由于本文建立的无人机图像数据集所包含的图片样本较少,因此本文网络设计的主要思路在于尽可能降低网络参数从而避免出现过拟合[11]问题。

本文设计的改进卷积神经网络在Inception V1模块的启发下对传统卷积神经网络进行改进,该模块主要应用于2014年的GoogLeNet网络模型[12],其结构如图5所示。该模块结构由于增加了网络宽度,从而增加了网络对多尺度的适应性[13]。

图5 Inception V1模块

而2015年提出的Inception V2模块与Inception V1模块相比,V2模块参考了VGGNet的思想。VGGNet[14]将网络中的卷积核全部改用尺寸为3×3、步长为1的小卷积核,同时使用卷积层堆叠的方式对大卷积核做等效替换。该方法可以在保证要求的感受野的同时降低网络的计算量[15],例如:假设输入和输出均为C个通道,在不考虑偏置数量的情况下,由三个3×3卷积核堆叠的网络参数的计算公式如式(1)所示

3×(3×3×C×C)=27C2

(1)

而一个7×7卷积核的网络参数的计算公式如式(2)所示[16]

7×7×C×C=49C2

(2)

因此本文设计的DBPCNN网络基于Inception模块的思想对传统卷积神经网络进行改进。网络结构如图6所示:选用两条具有不同大小卷积核的并行支路对同一输入图片进行处理,其中支路1使用3×3卷积核(Conv1＿1, Conv1＿3),支路2使用1×1卷积核(Conv2＿1, Conv2＿3)。同时在两条支路中引入1×1的卷积核(Conv1＿2, Conv1＿4, Conv2＿2, Conv2＿4)用作特征图升维,降低网络的参数数量。激活函数选择ReLU函数,池化方式选择2×2最大池化(Pool1＿1, Pool1＿2, Pool2＿1, Pool2＿2)。随后将两条支路的输出沿深度方向合并,合并后的结果经过全连接层FC1、FC2后通过Softmax分类器完成分类操作。DBPCNN网络参数如表1所示。

表1 DBPCNN网络参数设置以及参数数量

图6 DBPCNN网络结构

DBPCNN网络选用两条并行支路结构:通过增加网络深度或宽度是目前设计卷积神经网络并使其性能更好的主流观点[17],但如果选用过多的支路结构,网络参数将大大增加。以参考表1内容对网络参数进行计算为例:若设置的支路数为n,每条支路输出的特征图均为25×25×32,全连接层FC1仍设为1024个神经元。在不考虑每条支路参数数量的情况下,仅通道融合后进入全连接层FC1的网络参数与两条支路相比增加数量的计算公式如式(3)所示:

25×25×32×(n-2)×1024=20480000×(n-2)

(3)

分析式(3)可知,网络每增加一条支路,仅全连接层部分就会增加20480000个网络参数。为避免由于网络参数过多产生的过拟合问题,因此本文设计的DBPCNN选用双支路结构。

4 实验与分析

4.1 实验环境

本文实验使用的计算机环境为:Windows 10系统,Intel(R) Core(TM) i9-10900F CPU @ 2.80GHz 2.81GHz处理器,32G RAM;所用程序基于开源深度学习框架Tensorflow,使用Python 3.7软件编写,通过Sublime软件运行。

4.2 CIFAR-10数据集识别实验

为验证本文设计的网络可行性,在CIFAR-10数据集上对网络进行实验。CIFAR-10数据集包含10类彩色图像,图像大小为32×32像素,数据集由50000个训练样本和10000个测试样本组成[18]。

为了比较DBPCNN的识别效果,本文设计了两个对比的卷积神经网络Conv＿Layer＿2和Conv＿Layer＿3。两个对比网络结构如表2所示。

表2 两个对比网络结构

Conv＿Layer＿2网络参照传统卷积神经网络LeNet-5[19]设计,其结构如下:输入→卷积层Conv1→池化层Pool1→卷积层Conv2→池化层Pool2→全连接层FC1→全连接层FC2→ Softmax分类器输出。

Conv＿Layer＿3网络在Conv＿Layer＿2的基础上增加一个卷积层,提取更深一层特征,其结构如下:输入→卷积层Conv1→池化层Pool1→卷积层Conv2→卷积层Conv3→池化层Pool3→全连接层FC1→全连接层FC2→ Softmax分类器输出。

本文选择CIFAR-10数据集中的两个类别共计12000张图片对DBPCNN、Conv＿Layer＿2、Conv＿Layer＿3网络进行实验。实验结果如图7所示,其中左侧柱表示训练集,右侧柱表示测试集。经过500次训练,DBPCNN、Conv＿Layer＿2、Conv＿Layer＿3识别CIFAR-10数据集的测试集准确率分别为84.8%、84.5%和83.6%。实验结果证明了所设计网络的可行性。

图7 DBPCNN与Conv＿Layer＿2、Conv＿Layer＿3识别CIFAR-10数据集结果

4.3 无人机数据集识别实验

在无人机数据集上对DBPCNN进行实验,运行网络程序,绘制DBPCNN网络的准确率曲线与损失函数曲线如图8所示。

图8 DBPCNN网络的准确率曲线(上)和损失函数曲线(下)

分析图8可知,当实验训练次数超过500次时,DBPCNN网络在训练集和测试集上的准确率曲线和损失函数曲线呈平稳趋势。为减少网络的训练时间,本文实验选取前500轮实验数据作为DBPCNN网络的识别结果。

对设计好的两个对比卷积神经网络使用自行建立的无人机图像数据集同样进行500次训练。实验中选取测试集准确率作为评价卷积神经网络的性能指标,提取两个对比网络的测试集准确率曲线与DBPCNN网络的测试集准确率曲线进行比较,结果如图9所示。其中,当训练次数达到500时,测试集准确率曲线从上至下分别为DBPCNN、Conv＿Layer＿3、Conv＿Layer＿2,分别用蓝、绿、红三种颜色表示。

图9 DBPCNN与Conv＿Layer＿2、Conv＿Layer＿3的测试集准确率对比曲线

为便于观察,实验中每训练100次记录一次三者的测试集准确率,对比结果如表3所示。分析表3可知,经过500次训练,本文设计的DBPCNN网络对自建无人机数据集识别的测试集准确率为96.7%,与之对比的两个传统网络的准确率分别为90.5%和94.3%。结果表明了DBPCNN网络能够完成对无人机图像的识别任务并具有较高的准确率。

表3 DBPCNN、Conv＿Layer＿2和Conv＿Layer＿3网络测试集准确率

5 结论

1) 为了提高反无人机系统中识别无人机图像的准确率,提出了一种改进的卷积神经网络模型。使用自制图像采集设备获取所需识别的无人机原始图片,对无人机原始图片进行预处理,通过数据扩增操作避免网络过拟合,自行构建无人机图像数据集。

2) 设计一个双支路并行卷积神经网络DBPCNN,通过实验验证DBPCNN对无人机图像数据集的识别性能,实验结果表明:DBPCNN网络对标准数据CIFAR-10和自建无人机样本数据集的准确率均高于与之对比的传统卷积神经网络,证明了用DBPCNN识别无人机图像的可行性。