基于卷积神经网络的水稻虫害识别

2017-11-30 00:50梁万杰曹宏鑫
江苏农业科学 2017年20期
关键词:二化螟卷积神经网络深度学习

梁万杰+曹宏鑫

摘要:针对水稻虫害识别问题,提出一种基于卷积神经网络模型的水稻二化螟虫害识别方法。图像预处理后,选择包含水稻二化螟成虫、幼虫、卵或蛹的图片1 658张作为正样本,不含水稻二化螟的农作物图片1 652张作为负样本构建了模型训练测试数据集。设计一个10层的卷积神经网络模型,采用Torch 7在Ubuntu 14.04系统上实现模型系统的开发和运行。Holdout交叉验证结果显示,模型命中率、精度分别为86.21%、89.14%,误测率8.67%,AUC(area under the receiver operating characteristic curve)值0.95。试验结果表明,模型可有效地提取图像的特征,对水稻二化螟害虫识别具有很好的抗干扰性和鲁棒性。

关键词:深度学习;卷积神经网络;水稻虫害识别;二化螟

中图分类号: TP391.4 文献标志码: A 文章编号:1002-1302(2017)20-0241-03

随着农业信息化技术的飞速发展,农作物图像及其处理和模式识别技术逐步在农作物病虫害诊断、农作物营养元素缺失识别诊断、农作物草害识别、监测农作物生长等农业领域得到了广泛应用研究,并取得了较好的应用成果[1-4]。随着物联网、图像采集等技术的发展,农业相关的视频、图像数据迅速进入大数据时代。植物病虫灾害是中国三大自然灾害之一,对其识别、监测、预警、防控具有重要的信息支撑作用[5]。农作物病虫害自动化识别可以为防治赢得时间,最大限度地减少经济损失,同时可以为精确施药提供信息支持,从而减少农业残留,提高农产品品质[6-7]。因此,基于大数据的深度学习算法在农作物病虫害识别方面的研究具有重要的理论和实际意义。

近年来,深度学习作为机器学习的新兴研究领域越来越受到人们的关注,通过深度学习构建的深度网络在无监督特征提取方面表现出优异性能[8-9]。卷积神经网络(convolutional neural network,CNN)模型是深度学习中一种有效的自主学习特征的方法,可以从原始图像中重构图像的高层语义特征,利用权值共享提高训练性能。目前,该模型已成功应用于手写字符识别[10]、人脸识别[11]、MNIST 识别[12]等领域。同时在农业上也有较好的应用,并受到很多農业研究者的关注。王琨等把卷积神经网络模型应用于茶叶嫩芽的识别,取得了较好的识别效果,提高了茶产业的规模化、产业化水平[13]。张帅等提出一个8层卷积神经网络深度学习系统用于植物叶片识别,对单一叶片取得90%以上的识别率,并对复杂背景的叶片取得较好的识别效果[14]。刘云等采用卷积神经网络对苹果缺陷进行检测,取得了5个/s的检测速度、高达97.3%的正确率[15]。

本研究针对水稻虫害识别,提出了一种基于卷积神经网络的识别方法并对图像预处理方法、训练和测试样本集、卷积神经网络模型架构进行了详细的设计和论述。采用Torch7实现模型算法、模型训练、模型测试及模型性能结果统计分析和输出。最后对水稻虫害识别方法进行综合讨论和评价,提出未来发展方向。

1 卷积神经网络

卷积神经网络最早出现于 20 世纪 80 年代[16-17],并在数字手写体识别[18]方面取得显著进展,但因计算复杂,运算量大,在硬件条件下影响了其推广应用。Hinton等认为,多层神经网络具有优异的学习能力,学习到的特征能对数据进行更本质的表示,有利于模式分类,深度神经网络在训练上的难度,可通过逐层初始化来有效克服[19]。2012 年,Krizhevsky等将卷积神经网络的结构进行多层扩展[20],建立深层卷积神经网络,并在 ImageNet 视觉竞赛中取得成功。卷积神经网络的关键是网络结构(卷积层、下采样层、全连接层等) 和反向传播算法等。其中卷积和反向传播算法如下:

卷积以上一层的特征图(feature map) 为输入与可学习的卷积核进行卷积,然后通过激活函数(activation function)运算得到输出特征图。每个输出特征图可以卷积多个特征图的值[21]:

式中:ylj是卷积后输出值;f(·)是激活函数,常用sigmoid 、 tanh、ReLU等函数; zlj是卷积层l的第j个通道的净激活(netactivation);xl-1i是l-1层输出特征图;Mj是输入特征图子集;klij是l层卷积核矩阵;“*” 是卷积符号;blj是偏移量。

反向传播算法是神经网络有监督学习中的一种常用方法,其目标是根据训练样本期望输出值与真实值之间的误差,反向调整网络各层的参数。反向传播算法主要基于梯度下降方法,网络参数首先被初始化为随机值,然后通过梯度下降法向训练误差减小的方向调整。其中误差损失函数定义为[21]:

式中:tn是第n个样本的类别标签真值;yn是第n个样本通过前向传播网络预测输出的类别标签。

2 材料与方法

2.1 数据预处理

本研究以水稻二化螟为研究对象。首先收集含有二化螟成虫、幼虫、卵或蛹的图片,然后把图片分割成64×64大小的图片,从中挑选出含有二化螟不同生长阶段图像的图片作为水稻虫害识别训练和测试正样本。收集水稻、小麦、玉米等主要农作物的图像资料,分割成64×64大小的图片,作为水稻虫害识别训练和测试负样本。处理后的部分图像见图1。从图1可以看出,正样本图像只含有二化螟的部分部位,图像分辨率、害虫占图像的比例等不同,图像背景复杂,这些都对虫害的识别具有很大的干扰。

2.2 卷积神经网络模型设计

本研究设计的水稻虫害识别卷积神经网络模型结构见图2。模型共有10层,包括1个输入层、3个卷积层、3个下采样层、2个全连接层、1个输出层。输入为3通道、大小64×64的图像;C1和C2卷积层的卷积核大小为5×5,C5卷积层采用4×4大小的卷积核;激活函数采用修正线性单元(rectified linear unit,ReLU)函数,该函数具有单侧抑制、较宽阔的兴奋边界及稀疏激活性的特点,更加符合神经元信号激励原理。每层特征图个数和大小详见图2。输出值为1和2,其中“1”代表正样本(有虫害)、“2”代表负样本(无虫害)。endprint

2.3 数据集

数据集是构建识别模型的基础,同时也是测试构建的识别模型的基础数据集,本研究在图像预处理的基础上,构建了一个用于模型训练和测试的数据集。数据集包含3 310个 64×64的彩色图片,其中包含水稻二化螟成虫、幼虫、卵或蛹的图片1 658张(正样本),不含水稻二化螟的农作物图片 1 652 张(负样本)。整理分类后,把正样本图片转换为3×64×64的矩阵,并标记为“1”;把负样本图片转换成矩阵后,标记为“2”。最后把所有数据保存到数据文件中用于模型的训练和测试。

3 结果与分析

3.1 识别模型实现

深度学习能够广泛应用于众多研究领域,离不开许多优秀的开源深度学习仿真工具。目前,常用的深度学习仿真工具有Caffe、Torch、Theano等。Torch 是一个支持机器学习算法的科学计算框架。它是采用 Lua 脚本语言和 C 语言编写。Torch为设计和训练机器学习模型提供了一个灵活的环境,可支持Linux、Andriod、Mac OS X、iOS、Windows等平台。最新版本Torch 7使CNN的训练速度得到大幅度提升。综合对比后,本研究选择Torch 7在Ubuntu 14.04系统上实现模型系统的开发和运行。基于Torch主要实现了原始图片的预处理、數据集生产、模型训练和测试、性能参数统计等功能。

3.2 试验结果

为了验证模型的稳定性和性能,本研究采用Holdout交叉验证[22]方法对识别模型进行交叉验证。每次从数据集随机抽取1 000个样本作为测试样本,剩下的样本作为训练集,重复运行20次,并统计模型的命中率、误测率、精度和AUC值,最后求4个性能评价指标的平均值。模型交叉验证的结果见表1,从表1可以看出,模型的命中率和精度分别为8621%和89.14%,误测率8.67%,表明模型达到较高的识别能力同时能保证较低的误测率。AUC值的意义是其值越接近1表明模型的识别性能越好。本研究提出的识别模型AUC值达到0.95,表明模型具有较好的识别性能。模型的ROC曲线左边越靠近y坐标轴,上面越靠近y=1直线,模型的性能越好。模型各层输出特征图见图3,从图3可以看出,模型提取的水稻二化螟成虫的特征较为明显,说明模型通过局部感受野和权值共享,能够有效地提取图像的特征,具备一定的平移不变性[23]。模型的ROC曲线见图4,从图4模型的ROC曲线可以看出,模型具有较好的识别性能。表明本研究提出的识别模型具有10个层次,结构较为复杂,可以有效学习数据集中隐含的特征信息,从而达到较好的识别效果。

4 结论

从图像预处理和数据集的构建过程可知,用于模型训练和测试的数据集有如下特点:(1)图片光线、拍摄角度、取景远近各不相同;(2)仅对原始图片进行简单的分割,并没有做进一步的处理;(3)选择的负样本干扰性较大。这些特点对模型的训练和测试具有较大的挑战性。

本研究提出了一种基于卷积神经网络的水稻二化螟害虫识别方法,并详细阐述了数据预处理、数据集构建、识别模型结构设计以及模型开发实现技术等。通过交叉验证和模型性能评价指标分析,可知此识别模型可有效地提取图像的特征,也可有效学习数据集中隐含的特征信息,从而达到较好的识别效果,模型具有很好的抗干扰性和鲁棒性。

为了达到推广应用的效果,今后还需要开展以下方面的研究:(1)丰富正样本集,并进一步研究图像预处理方法,减少噪音干扰,提高模型训练效果,达到提高模型识别水平;(2)研究模型对害虫不同生育阶段的识别能力,从而提高模型的应用能力和水平。

参考文献:

[1]管泽鑫,姚 青,杨保军,等. 数字图像处理技术在农作物病虫草识别中的应用[J]. 中国农业科学,2009,42(7):2349-2358.

[2]杨 倩,高晓阳,武季玲,等. 基于颜色和纹理特征的大麦主要病害识别研究[J]. 中国农业大学学报,2013,18(5):129-135.

[3]田有文,陈 旭,郑鹏辉.基于嵌入式的农作物叶部病害分级系统[J]. 沈阳农业大学学报,2014,45(6):756-760.

[4]吴露露,马 旭,齐 龙,等. 改进Hough变换的农作物病斑目标检测方法[J]. 农业工程学报,2014,30(10):152-159.

[5]曹乐平. 基于机器视觉的植物病虫害实时识别方法[J]. 中国农学通报,2015,31(20):244-249.

[6]赵春江,陈天恩,陈立平,等. 迁飞性害虫精准施药决策分析方法研究[J]. 农业工程学报,2008,24(增刊2):149-154.

[7]张 震,高 雄,陈铁英,等. 农业自动化喷雾机械标靶害虫自动识别系统的研究[J]. 农机化研究,2016,38(8):126-130.

[8]胡正平,陈俊岭,王 蒙,等. 卷积神经网络分类模型在模式识别中的新进展[J]. 燕山大学学报,2015,39(4):283-291.

[9]周飞燕,金林鹏,董 军. 卷积神经网络研究综述[J]. 计算机学报,2017,40(6):1229-1251.

[10]高 学,王有旺. 基于CNN和随机弹性形变的相似手写汉字识别[J]. 华南理工大学学报(自然科学版),2014,44(1):72-76,83.

[11]汪济民,陆建峰. 基于卷积神经网络的人脸性别识别[J]. 现代电子技术,2015,38(7):81-84.

[12]余 萍,赵继生. 基于线性叠加特征和CNNs的图像分类方法[J]. 微电子学与计算机,2015(10):36-40.

[13]王 琨,刘大茂. 基于深度学习的茶叶状态智能识别方法[J]. 重庆理工大学学报(自然科学版),2015,29(12):120-126.endprint

[14]张 帅,淮永建. 基于分层卷积深度学习系统的植物叶片识别研究[J]. 北京林业大学学报,2016,38(9):108-115.

[15]刘 云,杨建滨,王传旭. 基于卷积神经网络的苹果缺陷检测算法[J]. 电子测量技术,2017,40(3):108-112.

[16]Rumelhart D E,Hinton G E,Williams R J. Learning representations by back-propagating errors[J]. Nature,1986,323(6088):533-536.

[17]Lecun Y,Boser B,Denker J S,et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation,1989,1(4):541-551.

[18]Lauer F,Suen C Y,Bloch G. A trainable feature extractor for handwritten digit recognition[J]. Pattern Recognition,2007,40(6):1816-1824.

[19]Hinton G E,Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science,2006,313(5786):504-507.

[20]Krizhevsky A,Sutskever I,Hinton G E. ImageNet classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012:1097-1105.

[21]Lecun Y,Bengio Y,Hinton G. Deep learning[J]. Nature,2015,521(7553):436-444.

[22]Devroye L,Wagner T J. Distribution-free performance bounds for potential function rules[J]. IEEE Transaction in Information Theory,1979,25(5):601-604.

[23]易超人,鄧燕妮. 多通道卷积神经网络图像识别方法[J]. 河南科技大学学报(自然科学版),2017,38(3):41-44.endprint

猜你喜欢
二化螟卷积神经网络深度学习
应用赤眼蜂防治水稻二化螟的效果评价
稻虾共作模式对稻田二化螟的影响
基于深度卷积神经网络的物体识别算法
MOOC与翻转课堂融合的深度学习场域建构
大数据技术在反恐怖主义中的应用展望