基于深度学习的无人机影像玉米倒伏区域提取

郑二功，田迎芳，陈 涛

(1.空军航空大学 航空作战勤务学院，吉林 长春 130022; 2.河南省农业科学院，河南 郑州 450002;3.中国人民保险集团股份有限公司 吉林省分公司，吉林 长春 130000)

倒伏是玉米在生长过程中因风雨或管理不当而植株倾斜或着地的一种生产灾害。在我国东北和华北两大玉米主产区，玉米生长期盛行夏季季风，暴雨、大风等灾害性天气频发，易发生大面积倒伏。倒伏不仅影响玉米植株的光合作用和养分输导的正常进行，还易使玉米植株发生各种病虫害。研究表明，玉米在不同生长时期倒伏对产量有不同的影响，吐丝期后倒伏越早，穗粒数越少，百粒质量越低，减产越多[1]，抽雄期不同倒伏程度可减产5.8%～89.9%[2]。灾害发生后，快速准确地获取玉米倒伏信息，有助于农业生产管理部门和农业保险公司确定受灾面积、评估减产损失，并及时采取各项灾后生产管理和救助措施。

目前，获取玉米倒伏信息的方法主要有人工法和遥感法。人工法是调查人员采取逐块或抽样方式，实地勘查、测量倒伏面积的方法，存在工作效率低、随机性大等缺点。遥感法是根据遥感影像中倒伏玉米与未倒伏玉米在光谱、色彩、纹理等特征上的差异，识别并获取倒伏信息的方法。王猛等[3-4]利用地物光谱仪采集玉米的冠层光谱数据，对比分析显示，倒伏后玉米冠层光谱反射率增加，可见光波段的改变幅度大于近红外波段；杨粉团等[5]设置不同倒伏程度的田间模拟试验，分析了倒伏角度与高光谱参数之间的相关关系；韩东等[6]利用卫星雷达影像，筛选出最佳敏感后向散射系数作为倒伏程度评价指标；李宗南等[7]利用高分辨多光谱卫星影像分析倒伏玉米的光谱和纹理特征，估算倒伏面积；王立志等[8]利用多时相CCD卫星影像构建基于植被指数变化分析的玉米倒伏灾情遥感监测模型。卫星遥感虽有覆盖范围大、高效的优点，但也受时空分辨率和光谱波段等性能的限制，遥感数据应用具有多解性和不确定性[9]。近年来，随着无人机技术的飞速发展，无人机遥感得到越来越广泛的应用。李宗南等[10]通过小型无人机遥感获取的RGB彩色图像，研究灌浆期玉米倒伏的图像特征，利用图像的色彩和纹理特征提取玉米倒伏区域。在农业保险领域，一些保险公司开始使用无人机遥感勘查玉米倒伏面积，探索“按图理赔”的农险新模式[11-12]。但是，目前对获取的无人机影像还主要依赖目视解译来确定玉米倒伏信息。

深度学习属于机器学习的一个分支，其概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示[13]。2012年以来，深度学习在计算机视觉三大任务——分类[14-16]、检测[17-18]和分割[19]中均取得了突破性进展，在图像分类任务中卷积神经网络(Convolutional neural network，CNN)甚至超过了人类水平[20]。全卷积网络(Fully convolutional network，FCN)[19]是CNN的一种扩展结构，可以实现图像的像素级分类，2015年一经提出就在图像分割领域得到广泛应用[21-24]。深度学习技术的突破，为基于机器学习自动获取玉米倒伏信息奠定了技术基础。基于此，本研究提出一种基于深度学习的无人机影像中玉米倒伏区域提取方法，该方法将玉米倒伏区域提取建模为图像分割问题，首先利用无人机遥感采集影像，通过人工标注建立玉米倒伏分割图像库，然后构建FCN图像分割网络，学习大量玉米倒伏图像的实际样本，最终实现对玉米倒伏区域的自动分割，为运用无人机遥感进行玉米倒伏灾害评估提供依据。

1 材料和方法

1.1 研究区域概况

吉林省地处中纬度地带，属温带大陆性季风气候。春季干燥多风，夏季温暖多雨，秋季晴冷温差大，冬季漫长干寒。作物种植为一年一熟制，主要农作物是玉米、水稻和大豆。玉米一般在4月下旬至5月上旬完成播种，同年10月收获。夏季易发洪涝并伴随大风，导致玉米大面积倒伏。

1.2 数据获取

本研究数据来源于2016年9月14日在吉林省长春市德惠市米沙子镇三胜村进行的无人机遥感试验。采用多旋翼无人机挂载索尼QX1型CCD相机，图像分辨率为5 456×3 632像素，设计飞行相对航高170 m，航线4条，航向重叠率为80%，旁向重叠率为60%，地面采样距离不大于5 cm/像素，航拍获取了玉米农田及周边区域约2 000张图像。

1.3 数据处理

选取第1条航线拍摄的图像构建图像分割的训练集和验证集，具体步骤如下：

(1)初步筛选：利用姿态数据筛选出无人机姿态平稳、高度稳定时拍摄的含有倒伏玉米区域的316幅原始图像。

(2)人工标注：通过目视解译，将玉米倒伏区域标注为前景(用1表示)，其他区域标注为背景(用0表示)，建立标签图像，作为分割训练或评价的标签。

(3)裁剪：将(1)、(2)步骤得到的图像分别裁剪成互不重叠的512×512像素的小图，为克服类别不平衡问题，只保留图像中玉米倒伏区域占比为20%～80%的小图，共得到4 969幅小图，其中3 962幅作为训练集，1 007幅作为验证集。

(4)数据扩增：研究表明，数据扩增可以提高神经网络的泛化性能[14]。因此，对训练集和验证集中的每一幅图像做5种数据扩增方式，分别是：旋转90°、180°、270°，水平和垂直翻转。最终，训练集有23 772幅图像，验证集有6 042幅图像。

为避免训练集与测试集图像中地物有重叠，选取第4条航线拍摄的图像构建测试集。人工标注玉米倒伏区域，得到由180幅5 456×3 632大小的图像组成的测试集，图1所示为其中4幅玉米倒伏地块图像。

1.4 倒伏区域提取方法

将玉米倒伏区域提取看作图像分割问题，利用深度学习技术中的全卷积神经网络对图像进行像素级分类，从而实现倒伏区域提取。

图1 玉米倒伏地块图像

1.4.1 FCN图像分割网络架构 图像分类CNN在卷积层之后使用全连接层来获得固定长度的特征向量进行分类，由于全连接层必须是固定尺寸输入，这就导致输入图像的尺寸必须固定。与经典CNN不同，FCN将全连接层转化卷积层，并对最后几个卷积层采用反卷积进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生一个预测，同时也保留了原始输入图像中的空间信息。FCN的明显优点是，可以接受任意大小的输入图像，而不用要求所有的训练图像和测试图像具有相同的尺寸。

本研究采用基于VGG16[15]的FCN-8s[19]网络架构作为图像分割网络，它由编码器和解码器两部分组成，如图2所示。其中，上半部分为编码器，基于VGG16图像分类模型；下半部分为解码器，对编码器的输出卷积层conv7进行反卷积上采样，并利用跳转连接，融合编码器中的池化层pool4和pool3，来帮助确定更精确的位置信息，最后通过8倍反卷积上采样得到原始图像大小的分割预测结果。需要指出的是，与原始FCN-8s不同，由于本研究对倒伏玉米区域的分割，相当于二分类，所以在原始FCN-8s架构的21类分割预测层之后增加了一个1×1卷积层，从而得到二类分割预测。

图2 FCN图像分割网络架构

1.4.2 FCN图像分割网络的训练 神经网络的训练分为前向传播和反向传播2个阶段。前向传播计算网络输出值与期望值之间的误差，反向传播则根据前者计算的误差，利用链式求导法则和梯度下降法，反向逐层调整神经网的权重。利用大量数据对这2个阶段反复迭代，最终得到一组优化的神经网络权重参数。

本研究采用DIGITS+Caffe的深度学习软件配置。DIGITS是英伟达(NVIDIA)公司开发的一个网页版交互式深度学习GPU(Graphics processing unit，图形处理器)训练系统，目前后端支持Caffe、Torch和Tensorflow 3种深度学习框架，可以方便地实现深度神经网络的设计、训练和可视化。具体训练参数设置：损失函数为交叉熵损失函数，优化算法选择随机梯度下降法，批大小设为2，训练周期设为30，初始基准学习率设为0.000 1，并且每过10个训练周期学习率衰减10倍。此外，用在PASCAL VOC2012[25]图像语义分割数据集上预训练的FCN-8s模型作为本研究分割网络的初始化权重，然后用1.3中构建的训练集和验证集进行训练。深度学习训练需要大量的数据，在数据量有限的情况下，采用这种迁移学习[26]的方法，比随机初始化网络参数、从头开始训练的收敛速度更快，得到的网络权重更好。

2 结果与分析

在硬件配置为英特尔i7-7700K处理器、GTX1080Ti GPU、32 G内存的电脑上，FCN图像分割网络训练共耗时约47 h。为了评价分割网络提取玉米倒伏区域的性能，采用1.3中构建的测试集，计算准确率(Precision)、召回率(Recall)和F1分数3个评价指标[27]。准确率表示被分割为前景的区域中实际是前景的占比；召回率表示实际为前景的区域中被分割为前景的占比；F1分数是准确率和召回率的调和均值，定义如式(1)所示，数值范围为[0,1]，反映了图像分割的综合性能，数值越大表示性能越好。

图3给出了对图1中4个地块的分割结果，表1给出了在4个地块上的性能指标。可以看出，无论是带状还是片状倒伏区域，本研究方法都能够提取出来，特别是对于大面积倒伏区域(如地块2、4)，具有更高的提取精度。表1还给出了在整个测试集上的平均性能，F1分数达到90%以上。

图3 倒伏区域提取结果

训练集和测试集都是未经正射校正的图像，为了进一步测试分割网络对正射影像的分割性能，选取10幅连续拍摄的图像，用PhotoScan软件进行正射校正和影像拼接，得到1幅10 499×13 633像素的正射影像，如图4a所示。图4b给出了倒伏区域提取结果，以人工标注结果为基准，准确率、召回率、F1分数分别为93.65%、83.89%、88.50%。可见，本方法对正射影像也具有很好的泛化性能。

图4 正射影像的倒伏区域提取

3 结论与讨论

本研究将深度学习应用到无人机影像中玉米倒伏区域的提取，利用全卷积网络图像分割方法提取玉米倒伏区域。结果表明，基于深度学习的方法能够有效识别和分割出倒伏的区域，且不需要手工提取图像特征，实现了端到端的学习，对光照、拍摄角度及其他地物干扰等具有较强的适应能力。本研究既可为运用无人机遥感进行玉米倒伏灾害评估提供技术支撑，也可为大数据背景下人工智能+现代农业领域的其他应用提供有益参考。但受条件限制，研究过程还有一些不足之处需要进一步完善。一是要丰富图像数据的多样性，不同的生长时期、不同的倒伏角度以及倒伏后不同的时间段，倒伏玉米具有不同的光谱特征，需要采集更丰富多样的玉米倒伏图像，进一步提升分割网络对各种复杂情况的泛化能力；二是要提高图像数据的标注质量，与道路、房屋等地物具有明显的边界不同，倒伏玉米与未倒伏玉米之间的边界具有一定的模糊性，需要具有相关知识的专家进行准确的手工标注，才能训练出更好的神经网络模型参数。