基于轻量卷积结合特征信息融合的玉米幼苗与杂草识别

孟庆宽 张 漫 杨晓霞 刘 易 张振仪

(1.天津职业技术师范大学自动化与电气工程学院， 天津 300222； 2.天津市信息传感与智能控制重点实验室， 天津 300222；3.中国农业大学现代精细农业系统集成研究教育部重点实验室， 北京 100083)

0 引言

杂草与作物争夺水分、养分和光照，阻碍了作物正常生长，对农业生产造成不利影响[1-3]。杂草控制是农业生产中的一个重要环节，对提高作物产量与品质起着重要作用。化学除草是当前广泛采用的一种除草方式，具有实施成本低、适合大面积作业等特点。然而，粗放式大规模药剂喷洒将产生环境污染和食品农药残留等一系列问题[4-6]。随着精准农业技术的发展，自动化机械除草逐渐成为杂草防控领域的研究热点。在自动化机械除草作业过程中，实时、准确地对作物与杂草进行检测识别是实现精准高效除草的关键。

目前，国内外学者进行作物与杂草识别的方法主要包括全球卫星导航定位、接近式传感器和机器视觉技术[7-9]。由于机器视觉具有信息完整丰富、非接触测量、价格成本低等优点，在田间作物与杂草识别中得到广泛应用。传统的作物与杂草检测方法通过提取作物与杂草的颜色、纹理、形状、高度等特征信息，将一种或多种特征的组合输入到特征分类器，实现分类检测[10-14]。此类方法需要人工进行特征选取标定，选取特征依赖于设计者的经验，而且由于光照变化、背景噪声、目标形态多样性等因素的影响，难以设计出适应性好、稳定性高的特征提取模型。

随着深度学习技术的发展，卷积神经网络在机器视觉领域逐渐得到广泛应用，并取得良好效果[15-18]。卷积神经网络利用一系列线性和非线性变换对输入图像进行层层抽象，由浅入深提取图像不同层次特征，将不同层次特征进行组合，形成表征能力强、鲁棒性好、歧义性少的高层次特征，实现对图像本质特征的有效表达。在作物与杂草识别领域，文献[19]通过超像素分割法对获取的大豆与杂草图像进行预处理，基于Caffe框架训练深度卷积神经网络实现了作物与杂草的有效检测。文献[20]提出了基于卷积神经网络提取多尺度分层特征的玉米杂草识别方法，通过将多尺度分层特征与超像素分割相结合，提高了目标识别的准确性。文献[21]在多层卷积神经网络中引入二进制哈希层构建杂草识别模型，并利用提取到的全连接层特征码和哈希特征码进行分类，相比于无哈希层的普通模型，该模型的准确率和收敛速度都有所提高。文献[22]对AlexNet模型进行改进，构建了一种空洞卷积与全局池化相结合的卷积神经网络模型，使用更宽的网络结构，增加了特征图的多尺度融合，对不同作物幼苗与杂草具有较强的识别能力。文献[23]提出一种基于Faster R-CNN模型的作物检测方法，利用ResetNet101网络代替原始的VGG16网络，提高了作物检测精度。上述研究普遍采用多层深度卷积神经网络进行特征提取，通过增加网络的深度与宽度实现更高的准确率，但导致识别模型复杂度升高、检测速度降低。

为提高作物与杂草检测实时性，并降低识别模型的参数规模，本文在现有SSD模型的基础上进行优化，提出基于轻量卷积神经网络结合特征层信息融合机制的改进SSD目标检测框架。首先，采用深度可分离卷积结合SENet模块构建轻量型特征提取单元，通过密集化连接构成轻量前置网络，以减少网络模型参数计算量，提高图像特征提取速度和精度；然后，引入不同分类特征层信息融合机制，将扩展网络中深层语义信息与浅层细节信息进行融合，丰富预测回归位置框和分类任务输入的多尺度特征图，增强识别模型对小尺寸目标以及作物与杂草叶片相互遮挡情况的检测准确性。

1 玉米与杂草识别模型

SSD算法的本质是选择不同尺度和长宽比的先验框均匀地对图像不同位置进行密集抽样，利用卷积神经网络提取特征后直接进行分类回归并通过非极大值抑制操作得到检测结果，整个过程只需要一步，具有良好的实时性[24-25]。同时，由于采用不同尺寸的特征图进行预测，使目标检测精度得到较大提升。

SSD检测模型由前置基础网络和扩展网络组成，前置基础网络用于图像特征提取，扩展网络由多尺度特征图构成，负责目标分类检测。在特征图的每个单元位置设置多个不同尺度和长宽比的先验框，输出各类别在该位置的置信度评分与物体真实位置相对于先验框的转换值，如果检测目标共有C个类别，SSD需预测C+1个置信度，第1个置信度指的是不含目标或者属于背景的评分。物体真实位置相对于先验框的转换值包括4个量，分别为位置偏移量Δx、Δy和长宽比例量Δw、Δh。

1.1 轻量化前置基础网络设计

SSD算法的前置基础网络主要用于对输入图像重要特征进行提取，为后续网络层提供信息输入。为实现复杂应用场景下特征提取的低延迟与高准确性，本文将深度可分离卷积与SENet网络结构相结合设计了轻量特征提取基本单元，通过密集化连接构成轻量化前置基础网络，在保证识别精度的基础上，降低网络参数数量，提高网络运行速度。

1.1.1轻量化特征提取单元设计

深度可分离卷积是一种可分解的卷积结构，能够将标准化卷积分解为深度卷积(Depwise convolution)和逐点卷积(Pointwise convolution)[26]。运算时先通过深度卷积操作对每一个输入特征通道进行卷积，然后利用逐点卷积对深度卷积的输出进行组合，这种将卷积分解的过程可以有效降低网络模型参数规模与计算量。深度可分离卷积与标准卷积的计算量比例公式定义为

(1)

式中K——深度可分离卷积的卷积核尺寸

M——输入特征图数量

O——输出特征图数量

一般情况下，网络结构中O≫K2，因此深度可分离卷积的计算量约为标准卷积的1/K2。深度可分离卷积通过对特征通道进行分组计算，使网络模型轻量化，具有更快的计算速度，但在进行图像特征提取时没有对特征通道的相关性加以利用，造成通道间信息相互独立，准确率低于常规卷积网络。

不同特征通道对特征图的重要程度不一样，如果通过学习的方式使每个通道获取一个权重，根据权重强化重要通道特征，抑制非重要通道特征，则可以提高网络模型的准确率。SENet网络模块即基于上述思路设计而成，SENet模块由Squeeze、Exiciation、Reweight 3部分构成，显式地构建了特征通道间的相关性[27]。Sequeeze利用全局平均池化法(Global average pooling)将空间维度上每个二维通道特征图压缩为一个实数，使其具有全局感受野，在输出维度上与输入通道数相同；Exiciation建模特征通道间的相关性，为每个特征通道生成权重；Reweight将生成的权重与先前对应通道特征相乘，在通道维度上对原始特征重新标定。

为使前置基础网络在快速提取特征的同时也具有较高的准确性，本文将深度可分离卷积与SENet模块相结合，构成轻量化特征提取基本单元，其结构如图1所示。首先对输入信息的每个通道采用尺寸为3×3的卷积核进行深度卷积，获取每个通道空间特征；然后利用1×1逐点卷积对深度卷积的输出进行组合，得到一系列新的特征输出。为加快训练过程和解决梯度消失问题，在深度卷积与逐点卷积之后分别进行了批量归一化处理(Batch normalization, BN)和ReLU非线性激活操作。SENet作为输出特征的旁路单元，经过全局平均池化、2个全连接层(Full connection, FC)、修正线性单元(Rectified linear unit, ReLU)和Sigmoid归一化等一系列操作，得到各特征通道权重，然后将权重与原特征信息对应通道的每个元素相乘，完成通道信息强度重标定。图1中，X为输入特征图，X′为输出特征图，W、H、C分别为特征图长度、宽度和通道数，r为压缩系数用来降低计算量，Scale为通道权重设定。

图1 轻量化特征提取单元Fig.1 Feature extraction unit based on light weight convolution

1.1.2特征提取单元密集化连接

将轻量化特征提取单元作为前置网络的基本组成元素，为最大化网络中所有单元的信息流，将网络中的每一个单元以前馈方式与其他单元进行连接，即每个单元的输入为前面所有单元的输出并集，而这个单元的输出又作为后面所有单元的输入。这种单元间的密集化连接，能够增加每个单元输入多样性，最大程度实现特征重复利用，使得网络参数更少且计算效率更高。卷积神经网络经过下采样降低特征图尺寸，轻量特征提取单元间的密集连接需要特征图尺寸保持一致，为此密集连接网络由密集块(Dense block)和连接块(Connection block)构成。密集块包含若干个轻量特征提取单元，每个单元输出特征图的尺寸相同，各单元之间采用密集连接方式进行信息传递；连接块用于连接相邻的2个密集块，由一个1×1卷积核与2×2池化层(Pooling)构成，起到降低特征图尺寸与压缩模型的作用。图2为密集连接轻量前置基础网络示意图，密集块中的彩色模块代表轻量化特征提取单元，C1、C2表示特征通道数量，图中包含了3个密集块，每个密集块包括一定数量的轻量化特征提取单元，在实际应用中可根据需要进行调整。

图2 基于密集连接的轻量前置基础网络示意图Fig.2 Diagram of light weight base network based on dense connection

1.2 多层级特征图信息融合

卷积神经网络中，浅层特征图分辨率较高、感受野较小，纹理细节信息丰富，但语义信息表征能力弱；深层次特征图分辨率较低，感受野较大，语义信息丰富，但纹理细节信息表征能力不足。标准SSD模型采用多尺度特征图以回归的方式预测物体类别和位置偏差，通过具有较大感受野的深层特征图预测大物体，具有较小感受野的浅层特征图预测小物体，由于浅层特征图缺乏全局语义信息，导致SSD对小尺寸目标的检测效果不佳。为提高SSD对小尺寸物体的检测能力，本文引入逆卷积运算将SSD模型深层语义信息与浅层细节信息进行融合，融合后的特征图具有足够的分辨率和更强的语义信息。

逆卷积相当于卷积在神经网络结构的正向和反向传播中做相反运算，这里的相反是指矩阵的转置，因此逆卷积也称为转置卷积[28]。逆卷积能够对特征图进行上采样(Up sampling)，从而提升特征图尺度，使具有不同尺度的2个或者多个特征图连接在一起。SSD模型中深层特征图与浅层特征图具有不同的分辨率和通道数，进行特征信息融合前先利用逆卷积对深层特征图进行上采样提高分辨率，使其与浅层特征图保持一致；然后采用1×1卷积将深层特征图通道数转换到与浅层特征图相同的维数；最后将两者特征图在对应通道上进行加法运算，实现特征融合。融合后的特征图可以重复上述操作继续与浅层特征图进行融合，本文所设计的特征融合结构可以表示为

Sij=Xi+δc{Tc(Yj)} (i≠j;i,j∈Fs)

(2)

式中Sij——融合后的特征图

Xi——浅层特征图

Yj——深层特征图或前一次融合的特征图

Tc——逆卷积变换

δc——通道变换

Fs——特征图集合

特征融合后的网络结构中，浅层高分辨率特征图将具备更丰富的语义信息与更强的拟合能力，可以有效提高对小尺寸物体的检测能力。

标准SSD模型用于目标类别判定和位置回归时多尺度卷积层共有6层，前3层尺寸较大，感受野较小，全局语义信息缺乏，属于浅层特征图，可以从后面更深层特征图中获取高级语义信息进行融合；后面3层尺寸较小，感受野较大，语义信息丰富程度较高，属于深层特征图，进行特征融合后在小目标检测效果上提升程度有限，为避免过多的引入逆卷积增加计算量，不对这3个层进行特征融合处理。图3为基于特征融合的SSD网络结构模型。

图3 基于特征融合的SSD网络结构模型Fig.3 SSD network model based on feature fusion

2 模型训练损失函数

本文训练过程中采用多任务损失函数完成目标种类置信度判别和位置回归，损失函数定义为位置损失(Localization loss)与类别置信度损失(Confidence loss)的加权和，定义式为

(3)

式中Nnum——与标注框相匹配的先验框数量

x——标注框与先验框是否匹配，x∈{0,1}，x=1表示匹配，x=0表示不匹配

c——目标类别置信度，c∈[0,1]

l——预测边界框位置参数

g——标注边界框位置参数

λ——权重因子，通常设置为1

Lconf——物体类别置信度损失函数，利用Softmax多分类误差函数计算类别置信度损失

Lloc——物体位置损失函数，为预测框与标注框参数之间损失

3 作物与杂草识别试验

3.1 试验平台

试验硬件平台采用Dell XPS8930型台式计算机，CPU型号为Intel Core i7 8700，16 GB内存，NVIDA GTX1070显卡，统一计算设备架构为CUDA 10.0，深度神经网络加速库选择CUDNN V10.0，操作系统为Windows 10，利用Python语言基于TensorFlow深度学习框架对本文算法模型进行程序设计与性能验证。

3.2 图像采集

选择自然环境下玉米及其常见伴生杂草为试验对象，利用改进SSD深度学习模型进行目标识别和定位，通过试验结果对本文识别检测模型进行性能分析评估。图像样本数据采集于天津市宁河农场，选用BasleracA2440-20gc型相机进行拍摄，图像分辨率为480像素×720像素。采集图像包括3～6叶期玉米幼苗和刺菜、藜、打碗花、田旋花等杂草。为提高样本图像的丰富程度，本文在不同种植地块、不同光照强度、不同生长阶段共采集2 000幅图像，以期数据集能较好地反映自然环境下玉米及伴生杂草的真实特点。

采用分层抽样法对经过数据增广处理的玉米与杂草图像(4 000幅)，按照8∶1∶1比例划分为训练集、验证集和测试集。基于分层抽样法进行数据划分，可以使训练集、验证集和测试集中各检测对象类别在本集合中所占比例与总体数据中各检测对象类别所占比例保持一致，避免因样本类别分配不均衡而造成检测模型泛化误差较大。

3.3 评价指标

采用端到端的学习方式基于训练集样本数据构建深度学习模型。将测试集数据输入到训练好的网络模型，对作物与杂草的种类和位置进行预测，如果目标类别和位置预测正确，则认为检测成功，否则认为检测失败。将检测结果进行整理记录，为模型性能评价提供数据支撑。检测模型预测得到的目标对象置信度大于设定置信度阈值则标定为正样本P，小于设定置信度阈值标定为负样本N，预测边界框与真实标注框的交集与并集的比值(Intersection over union，IOU)大于设置阈值认为检测正确，检测结果设为T，否则认为检测结果错误设为F。

分别将基于VGG16网络的标准SSD模型与本文提出的深度学习检测模型进行分析对比，选择平均精度均值(Mean average precision, MAP)、检测速度、网络参数规模作为性能量度指标，以验证本文方法的有效性。平均精度均值为多类别平均精度的平均值，是多类别目标检测算法中常用的精度衡量指标，即在给定IOU阈值下计算所有类别平均精度(Average precision，AP)然后求平均，作为这个IOU阈值下的检测精度指标。平均精度与精准率(Precision)、召回率(Recall)有关，在本文应用场景中，精准率P表示在测试集样本中网络模型正确检测出的玉米和杂草目标与预测为玉米和杂草目标的比值，召回率R表示在测试集样本中所有的玉米与杂草目标被正确预测的比例。精准率与召回率计算式为

(4)

(5)

式中TP——正确检测出的目标对象数量

FP——错误检测的目标对象数量

FN——未检测出的目标对象数量

P——精准率，%

R——召回率，%

通过对精准率与召回率曲线进行积分计算得到P-R曲线与坐标轴构成的面积即为平均精度，模型检测效果越好，平均精度越高，计算式为

(6)

式中Ap——平均精度

3.4 参数设置

本文使用随机梯度下降法将检测模型基于NVIDA GTX1070显卡进行训练，为降低系统硬件在深度学习模型构建和特征提取时的压力，训练集图像进一步缩放至300像素×300像素。根据现有硬件设备可承载的运算能力，设置图像批处理数量为8，学习动量为0.9，权值衰减为0.000 5，衰减率为0.9，每经过5 000次迭代衰减一次，每间隔10 000次迭代进行一次模型保存，以避免长时间训练过程中出现断电、宕机、异常退出等情况导致训练模型出现损失。

4 试验结果分析

4.1 不同检测模型性能对比分析

基于测试集样本数据分别对本文提出的轻量型SSD推理模型与基于VGG16特征提取网络的标准SSD模型进行性能测试，IOU设定为0.5，表1为2种算法模型性能参数对比结果。由表1可以看出，本文深度学习推理模型对玉米及其伴生杂草的平均精度均值比标准模型高2.66个百分点，由于对前置特征提取网络进行轻量化设计使得目标检测速度比标准模型高33.86%，网络参数降低66.21%左右，具有实时性高、参数规模小的特点，适合应用于硬件系统资源有限且对检测速度具有较高要求的农业移动设备。

表1 标准SSD模型与本文模型作物与杂草检测结果比较Tab.1 Comparison of detection results between improved SSD and original SSD

图4为2种模型的P-R对比曲线，曲线上的一个点代表某一置信度阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为负样本，此时按照式(4)、(5)计算的结果即为对应的召回率与精准率。由图4可以看出，随着召回率的增加2个模型的精准率整体呈下降趋势，当召回率在0～40%区间时，本文模型精准率与标准SSD模型精准率近似相同；当召回率在40%～100%区间时本文模型精准率高于标准SSD模型，说明在这个区间内本文模型错误检测出的目标数量低于标准SSD模型。同时，本文模型P-R曲线与坐标轴合围形成的面积大于标准SSD模型，表明本文模型检测效果更佳。

图4 不同检测模型P-R曲线Fig.4 P-R curves of different detection models

4.2 不同环境条件下作物与杂草对比检测试验

为验证不同农田环境下目标推理检测模型的有效性以及适应性，本文选择不同光照条件、不同土壤背景、不同生长阶段的玉米幼苗及杂草，利用本文模型和标准SSD模型进行对比检测试验，为区别2种检测模型效果，本文方法在回归边框左上角的目标名称和置信度区域加入背景颜色，试验结果如图5～9所示。从试验图像可以看出，不同环境条件下本文方法均可以正确检测出作物与杂草对象，但标准SSD模型存在漏检和类别预测错误的情况(图7a、图9a)。此外，本文算法对于大多数目标对象的预测置信度高于标准SSD模型，预测边框能够准确覆盖目标对象投影区域，没有出现边框过大包含较多背景或者边框过小导致部分目标区域没有被包括的情况。试验表明在复杂环境下本文算法对检测目标具有更强的特征提取能力和更准确的位置预测性能。

图5 晴天棕色土壤4叶期玉米识别检测Fig.5 Identification results of maize with four leaves under brown soil back ground on sunny day

图6 阴天灰色土壤6叶期玉米识别检测Fig.6 Identification results of maize with six leaves under gray soil back ground on cloudy day

图7 高密度杂草(藜)环境识别检测Fig.7 Identification results under high density weed condition

图8 成株期田旋花识别检测Fig.8 Identification results of convolvulus in maturation period

图9 幼苗期打碗花识别检测Fig.9 Identification results of bowl flower in seedling period

4.3 叶片交叠与小尺寸目标检测对比试验

自然农业环境中，作物与杂草叶片分散生长，植株位置具有随机性，当生长位置距离较近时会出现叶片交叠遮挡的情况，要对不同类别对象进行准确识别定位是目前作物与杂草检测研究中的一个难点。此外，杂草生长阶段具有多样性，存在萌芽期、幼苗期、成株期共存的情况，对于小尺寸萌芽期杂草准确识别是提高自动化除草作业质量的一个重要保证。实际上叶片交叠与小尺寸目标均会减少检测对象的有效识别面积，两者对于识别模型特征提取所产生的困难具有相似性。图10、11为2种检测模型对于叶片交叠情况的识别效果，可以看出本文模型能够准确检测定位出作物和杂草信息，而标准SSD模型则存在将2株作物预测为1株以及杂草没有被检测到的情况。图12为小尺寸杂草检测对比结果，与本文模型相比，标准SSD模型存在2个萌芽期杂草没有识别出的情况。通过试验结果可以得出，相比于标准SSD模型，本文模型采用不同分类特征层信息融合机制使浅层特征图的高级语义信息丰富程度增加，具有更强的多尺度识别能力，对小尺寸目标和叶片交叠情况下的作物与杂草检测具有良好的泛化能力和鲁棒性。

图10 玉米叶片交叠检测对比Fig.10 Identification results of maize with leaves overlapping

图11 玉米与杂草叶片交叠检测对比Fig.11 Identification results of maize and weed with leaves overlapping

图12 小尺寸杂草(刺菜)识别检测对比Fig.12 Identification results of weed in germination period

5 结论

(1)利用深度可分离卷积与SENet模块相结合设计了轻量化特征提取单元，通过对各特征提取单元以前馈方式进行密集化网络连接，构成轻量前置网络，有效降低了深度学习检测模型复杂程度，并提高了特征提取精度，与标准SSD模型相比，检测精度提高了2.66个百分点，检测速度提高了33.86%，参数规模降低了66.21%。

(2)引入逆卷积运算将SSD模型深层语义信息与浅层细节信息进行融合，融合后的高分辨率浅层特征图具有丰富的语义信息与更强的拟合能力，有效提高了对小尺寸作物杂草以及叶片交叠情况的检测能力。