融合高光谱图像技术与MS-3DCNN的小麦种子品种识别模型

黄 敏，夏 超，朱启兵，马洪娟

融合高光谱图像技术与MS-3DCNN的小麦种子品种识别模型

黄 敏1，夏 超1，朱启兵1，马洪娟2

（1. 江南大学轻工过程先进控制教育部重点实验室，无锡 214122；2. 中化现代农业有限公司，北京 100045）

小麦品种的纯度和小麦产量密切相关，为了实现小麦种子品种的快速识别，该研究利用高光谱图像技术结合多尺度三维卷积神经网络（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）提出了一种小麦种子的品种识别模型。首先，利用连续投影算法（Successive Projections Algorithm，SPA）对原始高光谱图像进行波段选择，以减少MS-3DCNN模型的输入图像通道数量，降低网络训练参数规模；其次，利用多尺度三维卷积模块提取特征图的图像特征和不同特征图之间的耦合特征；最后，以6个品种小麦共6 000粒种子的高光谱图像（400～1 000 nm）为研究对象，基于SPA算法选择了22个波段高光谱数据，利用MS-3DCNN、支持向量机（Support Vector Machine，SVM）分别构建了识别模型。试验结果表明，MS-3DCNN模型取得了96.72%的测试集识别准确率，相较于光谱特征SVM识别模型和融合特征SVM识别模型分别提高了15.38%和9.50%。进一步比较了MS-3DCNN与基于二维卷积核、三维卷积核、多尺度二维卷积核构建的多个识别模型性能，结果表明多尺度三维卷积核能提取多种尺度的信息，其识别模型的准确率提高了1.34%～2.70%，可为小麦种子高光谱图像品种识别提供一种可行的技术途径。

小麦；种子识别；多尺度三维神经网络；高光谱图像

0 引 言

小麦是重要的粮食作物，在世界范围内广泛种植。随着中国经济持续高水平发展，对小麦种植环境的适应性以及品质需求有了进一步要求。为了满足用户的多样化品质需求和不同气候环境的种植需要，育种专家培育了数量众多的小麦品种[1]。这些品种在满足市场需求的同时，也带来了潜在的种子混杂风险。种子品种的准确鉴别对于减少种子混杂，提高种子纯度、保证市场流通秩序具有重要作用。传统基于理化分析的种子纯度检测方法存在鉴定时间长、对种子具有破坏性的特点，已难以满足现代农业需要。开发快速、无损的小麦种子品种识别方法对提高小麦生产效率有着极其重要的作用。

高光谱图像技术具有快速、无损检测样品的内部结构及化学成分的特性，已在农业工程领域得到广泛的研究[2-4]。在种子检测领域，许多学者开发了基于高光谱图像技术的种子品种识别方法[5-7]。这些种子高光谱图像识别方法多采用特征学习和分类器设计相分离的策略[8-10]。即首先依赖专家的先验知识提取种子高光谱图像数据的光谱、纹理或形态等原始特征，并利用特征选择（如无信息变量消除[11]、连续投影算法[12]等）或特征抽取（如主成分分析[13]）技术对原始特征进行选择或变换，获得不同品种种子的特征表示；然后基于获得的特征来训练一个分类器模型（如偏最小二乘线性鉴别分析[14]、支持向量机[15]等）。由于图像特征学习和分类器学习相分离，这类传统机器学习模式存在以下缺陷：1）特征生成依赖于人工经验，容易导致生成的特征不能有效抽取用于种子分类的图像信息；2）特征压缩与后续分类器的学习准则难以统一（例如主成分分析的学习准则是特征的相关性，而分类器的学习准则是识别精度），压缩后的特征往往无法保证后续分类器的识别精度。

自2016年以来，具有模型参数“端到端”学习的卷积神经网络被应用到高光谱图像识别领域[16-18]。例如：Ma等[19]使用近红外高光谱图像结合深度卷积神经网络构建了种子活力的识别模型，取得了比传统机器学习模式更高的识别精度；师芸等[20]采用流形学习方法对高光谱图像进行降维处理，并使用卷积神经网络对降维后的高光谱图像数据进行分类，提高了高光谱影像的分类精度，减少了分类时间。但这些基于卷积神经网络的高光谱图像识别方法多采用手动提取的光谱或图像特征（如光谱、纹理等）作为模型输入，其识别精度仍然依赖于手动提取特征的充分性。并且，这些基于卷积神经网络的方法多使用二维卷积进行分类特征的提取与压缩，难以兼顾高光谱图像数据光谱维度与图像维度，导致深度学习模型难以充分挖掘分类所需特征。

综上，为了克服手动提取特征对人员经验的依赖性，充分挖掘有效的分类特征，从而进一步提高分类模型的识别精度，本研究提出一种融合高光谱图像技术与多尺度三维卷积神经网络（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）的小麦种子品种识别模型。该模型利用连续投影算法（Successive Projections Algorithm，SPA）对原始高光谱图像进行波段选择，以减少MS-3DCNN的输入图像通道数量，降低网络训练参数规模。在此基础上，引入多尺度三维卷积模块，以充分提取每个特征图上的图像特征和不同特征图之间的耦合特征，提高种子品种识别模型的准确率，拟为小麦种子高光谱图像品种识别提供一种可行的技术途径。

1 材料与方法

1.1 试验材料

试验用小麦种子由中化现代农业有限公司（中国）提供，共包含百农矮抗、济麦、师栾、伟隆、新麦、周麦6个品种（表1）。这6类种子分别来自河南、山东、河北、安徽4个不同产地，均生产于2019年。试验前，所有种子样品由密封袋密封，并放置于玻璃干燥器内，以防止环境水分对试验样品的影响。

表1 小麦品种信息

1.2 高光谱图像采集系统

利用实验室自主开发的高光谱图像采集系统（图1）采集小麦种子的高光谱图像。采集系统的主要部件：光谱范围为400～1 000 nm（光谱分辨率2 nm，共300个波段）的快扫式高光谱相机（microHSI 410，康宁，康宁公司，美国）、光源（2个150 W卤素灯）和可编程逻辑控制器控制的黑色传送带（移动速度为1 mm/s）。相机与小麦样品的距离为30 cm，曝光时间为0.11 s。在采集图像时，为了避免传送带运动带来的麦粒晃动，将小麦放置于黑色塑料数粒板的凹槽内（凹槽尺寸为9 mm×4 mm× 2 mm，每个凹槽容纳1粒小麦种子，共100个凹槽）。试验共采集6个品种小麦种子的60幅高光谱图像（每个品种10幅图像，每幅图像包含100粒种子，共6 000粒）。由于光源强度分布及不均匀暗电流噪声的存在，为了提高获取图像的信噪比需要对样本进行黑白标定。每采集4幅小麦种子高光谱图像，采集1次全黑、白板（反射率约为100%）图像（盖上相机镜头，获得反射率约为0的全黑标定图像；放置白板，获得全白标定图像）。其黑白标定后的图像的相对反射率的计算为

式中为全白标定图像的反射光强度，为全黑标定图像的反射光强度，0为小麦种子高光谱图像的反射光强度。

1.3 高光谱图像数据预处理

该试验共采集60幅高光谱图像，每幅高光谱图像含有100粒小麦种子高光谱信息。在将图像输入至分类模型前需预处理原始高光谱图像，该处理过程依次为提取感兴趣区域，计算感兴趣区域的均值光谱、选择特征波段和重组高光谱图像。

5）选择步骤4中种子品种分类精度最高的波段组合作为SPA算法选择的最优波段组合。

本研究通过上述试验验证了由22个最优波段组成新的高光谱图像对小麦种子品种分类准确率最高。

重组高光谱图像：从原始图像中抽取22个最优波段下的图像并重组，以降低高光谱图像的维度。由于通过自适应阈值分割算法获得的单个小麦种子图像的空间尺寸大小不一致，对降维后的高光谱图像进行空间补零操作，最后得到70×40像素×22波段的小麦种子高光谱图像。

1.4 多尺度三维卷积神经网络模型的构建

卷积神经网络是一种由卷积层、池化层和全连接层构成的前馈神经网络。由于其使用卷积层的局部感受野，权重共享和池化层的思想，以结构重组的方式将特征抽取功能融合到多层感知器中，可省略传统分类器手动抽取图像特征的过程[23-24]，并大幅度减少网络中的参数。但传统的卷积神经网络多采用二维卷积操作，难以充分挖掘高光谱图像数据中不同波段之间的特征耦合关系[25]，进而难以获得高分类精度的卷积网络。为了解决上述问题，本研究引入了三维卷积模块以充分提取不同特征通道上的特征关系。三维卷积模块最早被用于人类行为识别[26-28]，其可以同时提取空间和时间维度上的特征，较之于二维卷积模块，具有更好的识别效果。第-1层特征通过三维卷积操作转换到第层特征图的数学表达式如式（2）所示[29]。

此外，卷积核的大小对卷积神经网络的性能有着重要影响。传统的卷积神经网络卷积核设计多采用在不同卷积层使用尺寸大小不同的卷积核形式，以实现特征感受域的调节。本研究借助于Inception卷积模型思想[30]，在同一卷积层采用了尺寸大小不同的多个卷积核，分别提取输入图像数据中多个尺度的卷积特征，再将这些特征在通道维度上进行融合（即将不同尺度卷积核得到的特征图在通道方向上进行拼接，增加特征图通道的维度）。多尺度特征的提取和融合使模型能更好地获取高光谱图像数据的卷积特征。多尺度卷积模块总计个卷积核，包含了/4个尺寸为5×5×5的卷积核、/4个尺寸为3×3×3的卷积核、/4个尺寸为5×5×3的卷积核和/4个尺寸为3×3×5的卷积核。由于卷积核的尺寸不同，在实施卷积操作时需要调节各维度上的步长和补零操作，以保证特征图各维度大小一致。最后，将这些特征在通道维度上进行融合。

另外，在三维卷积操作后接一个批次规则化层（Batch Normalization，BN），以减少模型的过拟合，加快网络收敛速度。三维卷积模块中的激活函数使用LeaKy_ReLU，以防止输入为负值时神经元无效，并经过池化层来压缩数据和参数的量，减小过拟合。本研究设计的用于种子高光谱图像识别的多尺度三维卷积模型如图2所示。该模型利用3个多尺度三维卷积层抽取输入高光谱图像的卷积特征，经过1个全连接层和1个输出层输出，输出层采用Softmax激活函数。

1.5 运行环境

本研究利用端到端的开源机器学习平台（TensorFlow）构建MS-3DCNN模型，使用NVIDIA GeForce GTX 1080Ti显卡进行训练和测试。在训练MS-3DCNN模型时，为了防止模型过拟合，基于随机丢弃（dropout）策略设置全连接层，即全连接层中的节点以50%的概率置为0。使用Adam动量优化算法，采用批量训练的方法，设置批大小为40。学习率设为0.001，采用指数衰减学习率，使得模型训练后期更加稳定。网络迭代150次后，趋于稳定。模型训练时的收敛曲线如图3所示，在前30次迭代内，损失值快速下降；经过60次迭代后，模型的损失值平稳地趋近于0，表现出了良好的性能和稳定性。

1.6 验证与评价

为了减少训练样本随机性对分类模型性能的影响，本研究按“训练集∶测试集 = 7∶3”的原则随机将数据集划分为5组训练集和测试集；随后，独立使用每一组数据的训练集训练模型，将相应的测试集输入分类模型，根据分类器输出的正确识别的样本数量（N）和错误识别的样本数量（N），利用式（3）计算准确率以评价模型[31]；最后，利用5次试验所得准确率的平均值评价分类算法性能。

1.7 其他分类模型

为了验证MS-3DCNN的性能，本研究将传统机器学习和深度学习方法设置为对比方法。

传统机器学习：支持向量机（Support Vector Machine，SVM）是一种典型的传统机器学习方法。在本研究中，SVM协同使用手工特征和径向基核函数（惩罚系数和径向基宽度采用梯度优化结合5折交叉验证方法获得）训练得到小麦种子品种分类模型。手工特征包括：44维光谱特征（感兴趣区域在22个波段下的均值光谱及光谱方差）；242维纹理特征（每个波段下有3个一阶特征和8个二阶统计量特征[2]）和12维形态学特征（面积、长宽比、圆度、稳度、圆形度、离心率、矩形度、内切圆半径、离散度、紧凑度、长轴、短轴）。根据使用的特征种类不同，本研究设置了光谱特征SVM识别模型和融合特征SVM识别模型。其中，光谱特征SVM识别模型以光谱特征为输入，融合特征SVM识别模型则以三类特征为输入。由于光谱、形态学和纹理特征的数值存在较大差异，这会导致数值较大的特征在模型训练的过程中占据支配地位，弱化数值小的输入特征的作用。因而，在特征融合前，对所有样本的每个维度进行均值为0、方差为1的标准化处理，使得所有特征在数量级上保持一致。

深度学习：在MS-3DCNN模型的结构基础上，分别用二维卷积核、三维卷积核、多尺度二维卷积核代替多尺度三维卷积核，构建二维卷积神经网络（2D Convolutional Neural Network，2DCNN）模型、三维卷积神经网络（3D Convolutional Neural Network，3DCNN）模型和多尺度二维卷积神经网络（Multi-Scale 2D Convolutional Neural Network，MS-2DCNN）模型。2DCNN模型、3DCNN模型和MS-2DCNN模型的网络层数、迭代次数与MS-3DCNN模型相同。3DCNN模型使用的三维卷积核尺寸为3×3×3，且每个卷积层的卷积核数量与MS-3DCNN模型相同。2DCNN模型的卷积核尺寸为3×3，MS-2DCNN模型使用的多尺度二维卷积模块仿照多尺度三维卷积模块设计（即每个模块包含/4个5×5卷积核、/4个3×3卷积核、/4个5×3卷积核和/4个3×5卷积核，为卷积层的卷积核数量）。需要说明的是，2DCNN模型与MS-2DCNN模型每层卷积核数量是MS-3DCNN的2倍，以保证各个模型训练参数数量相近。

2 结果与讨论

2.1 光谱特征及波段选择

6种小麦种子在400～1 000 nm波段范围内的均值光谱曲线如图4所示。曲线的总体趋势相似，光谱曲线在500～700 nm的波段范围内呈现明显的上升，在700～900 nm的波段范围内趋于平缓。另外，所有种子的若干吸收峰存在于相同的波长区间内。在400～500 nm处，均值光谱存在一个光谱吸收峰，该吸收峰与小麦种子的蛋白质含量相关[2]。在950～980 nm处存在一个由水、蛋白质和碳水化合物共同作用产生的吸收峰[2，32]。从不同小麦品种的相对反射率可以看出，伟隆169和济麦22品种相对反射率较高，与其他品种的差异明显，周麦33和百农矮抗58的相对反射率相近，师栾02-1与新麦26的两个品种的相对反射率较低，这些差异是由于不同品种小麦的蛋白质、淀粉、水等成分含量不同所导致。

通过SPA算法选择的22个最优波段如图5所示。从图中可以看出，除了反应蛋白质含量的1 000 nm附近的波段被选择外，其余所选的波段较为均匀地分布在500～850 nm波长范围内。500～850 nm波段范围包含了大量的反映小麦中淀粉、蛋白质、油脂等物质成分的C-H、N-H和O-H键的高频和合频吸收带信息。分析最优波段的选择结果可知：通过SPA算法选择的波段对应了可用于判定小麦种子品种种类的关键物质。针对小麦种子品种分类任务，SPA算法适用于降低原始高光谱图像的维度。

2.2 分类识别

本研究所提出的MS-3DCNN分类模型和两类SVM分类模型对训练集和测试集的识别结果如表2所示。对于传统方法而言，基于融合特征的分类模型性能远高于基于光谱特征的分类模型性能。这是因为图像特征（包括纹理特征和形态特征）中包含大量对品种分类有利的信息，使用图像特征作为输入能有效提升分类模型的性能。然而，图像特征与光谱特征均是基于人工经验进行提取的，难以充分挖掘对分类有利的信息。MS-3DCNN模型测试准确率相较于两类SVM模型分别提高了15.38%和9.50%，说明相比于手动提取的特征，使用三维卷积操作自动提取的特征包含了对分类任务更有效、更充分的信息，实现对分类特征的充分挖掘。

表2 多尺度三维卷积神经网络模型和传统分类模型识别结果

MS-3DCNN模型对测试集样本的分类混淆矩阵如表 3所示。分析混淆矩阵可知，MS-3DCNN模型对于6个品种种子的识别准确率均超过了90%。伟隆169的识别准确率最高（99.67％）。原因为伟隆169与其他品种在产地，亲缘关系上均无交集（表1），其特征与其它品种存在较大差异，因此易于识别。MS-3DCNN模型对百农矮抗58和周麦33识别较差，其识别准确率仅为92.00%和94.33%，且两者之间存在较多的错误识别样本。原因为百农矮抗58与周麦33不仅产地相同，且亲缘关系较近（周麦33是由百农矮抗58与郑麦366杂交获得）。

表3 测试集中多尺度三维卷积神经网络模型的分类混淆矩阵

2.3 多尺度三维卷积模块的作用

为了验证多尺度卷积和三维卷积的作用，本研究分别建立了MS-3DCNN、MS-2DCNN、3DCNN、2DCNN模型。4个模型在训练集上的分类准确率都达到了100%，但各模型对测试样本的分类准确率各有不同（图6）。随着迭代次数的增加，各模型的分类准确率都逐渐上升并趋于稳定。相比于3DCNN模型和MS-3DCNN模型，2DCNN模型和MS-2DCNN模型测试集准确率在迭代前期上升较快，但随着迭代次数的增加，2个模型的分类准确率提升有限。3DCNN模型分类准确率变化幅度较大，不如其他模型稳定。这是由于三维卷积提取的信息虽然丰富，但都是单一尺度的信息，信息冗余度较高，易使模型过拟合；多尺度三维卷积模块比之于三维卷积模块，含有不同尺度提取的信息，信息量更丰富，不仅能显著提高模型准确率，还拥有更好的泛化性能。

经过150代训练后，模型的精度已基本稳定，此时得到的MS-3DCNN、MS-2DCNN、3DCNN、2DCNN模型的最终分类准确率分别为96.72%、95.44%、95.17%和94.17%。相比于2DCNN模型，3DCNN模型分类准确率提升了1.06%；相比于MS-2DCNN模型，MS-3DCNN模型分类准确率提升了1.34%。试验结果验证了三维卷积核的引入改善了模型，提高了分类准确率。这是因为高光谱图像之间具有较强的波段相关性，三维卷积核通过在不同特征图上的滑动卷积操作，可以更好地提取出各特征图上的图像特征，有助于提高分类模型的准确率。MS-3DCNN模型相比于3DCNN模型分类准确率提升了1.63%，MS-2DCNN模型相比于2DCNN模型，分类准确率提升了1.35%，这是因为多尺度卷积核改善了单尺度卷积核难以充分提取物体的尺度变化信息的缺陷，有助于提高模型的分类准确率。

3 结 论

本研究提出了一种融合高光谱图像技术与多尺度三维卷积神经网络的小麦种子品种识别模型。采用连续投影算法（Successive Projections Algorithm，SPA）选择了最优波段，降低了原始波段的冗余性；在此基础上，构造了融合多尺度和三维卷积操作策略的多尺度三维卷积神经网络（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）种子品种分类模型。分析试验结果得出以下主要结论：

1）通过SPA算法可选择反应种子在淀粉、油脂与蛋白质含量上差异的波段。表明SPA算法适于高光谱图像数据的降维。

2）MS-3DCNN综合使用光谱信息、纹理信息和形态信息训练小麦种子品种分类模型。结果表明：识别模型对6个品种种子的分类准确率均超过了90%。相较于光谱特征SVM识别模型和融合特征SVM识别模型，MS-3DCNN模型对识别小麦种子品种的分类准确率提高了15.38%和9.50%；同时，MS-3DCNN模型的性能优于二维卷积神经网络模型、三维卷积神经网络模型和多尺度二维卷积神经网络模型。分析试验结果可知，MS-3DCNN模型能够充分提取高光谱图像数据中的信息，取得了96.72%的测试集识别准确率，可为小麦品种的准确快速识别提供一个可行的技术途径。

本研究仅利用MS-3DCNN模型对单一年份的6个品种小麦种子进行识别。根据机器学习理论，当待检测样本来自与训练样本不同的开放环境（如年份、产地等）时，模型的泛化能力存在退化的风险。近年来，一些利用迁移学习技术来改善深度神经网络模型泛化能力的方法被提出。然而，这些技术在基于深度卷积神经网络的种子品种识别领域的效果仍待检验，这也是本课题今后需要研究的重点问题。

[1] 张婷婷，赵宾，杨丽明，等. 基于高光谱成像技术结合SPA和GA算法测定甜玉米种子电导率[J]. 光谱学与光谱分析，2019，39(8)：2608-2613.

Zhang Tingting, Zhao Bin, Yang Liming, et al. Determination of conductivity in sweet corn seeds with algorithm of SPA and GA based on hyperspectral imaging technique[J]. Spectroscopy and Spectral Analysis, 2019, 39(8): 2608-2613. (in Chinese with English abstract)

[2] Huang M, He C J, Zhu Q B, et al. Maize seed variety classification using the integration of spectral and image features combined with feature transformation based on hyperspectral imaging[J/OL]. Applied Sciences, 2016, 6(6), 183.

[3] 张婷婷，向莹莹，杨丽明，等. 高光谱技术无损检测单粒小麦种子生活力的特征波段筛选方法研究[J]. 光谱学与光谱分析，2019，39(5)：1556-1562.

Zhang Tingting, Xiang Yingying, Yang Liming, et al. Wavelength variable selection methods for non-destructive detection of the viability of single wheat kernel based on hyperspectral imaging[J]. Spectroscopy and Spectral Analysis, 2019, 39(5): 1556-1562. (in Chinese with English abstract)

[4] Ambrose A, Kandpal L M, Kim M S, et al. High speed measurement of corn seed viability using hyperspectral imaging[J]. Infrared Physics & Technology, 2016, 75: 173-179.

[5] 张航. 基于高光谱图像技术的小麦种子分类研究[D]. 郑州：河南农业大学，2019.

Zhang Hang. Research on Wheat Seed Classification Based on Hyperspectral Imaging[D]. Zhengzhou: Henan Agricultural University, 2019. (in Chinese with English abstract)

[6] 杭盈盈，李亚婷，孙妙君. 基于高光谱图像技术结合深度学习算法的萝卜种子品种鉴别[J]. 农业工程，2020，10(5)：29-33.

Hang Yingying, Li Yating, Sun Miaojun. Classification of radish seeds using hyperspectral imaging and deep learning method[J]. Agricultural Engineering, 2020, 10(5): 29-33. (in Chinese with English abstract)

[7] 贾良权，祁亨年，胡文军，等. 采用TDLAS技术的玉米种子活力快速无损分级检测[J]. 中国激光，2019，46(9)：289-297.

Jia Liangquan, Qi Hengnian, Hu Wenjun, et al. Rapid nondestructive grading detection of maize seed vigor using TDLAS technique[J]. Chinese Journal of Lasers, 2019, 46(9): 289-297. (in Chinese with English abstract)

[8] Wei Y L, Li X F, Pan X, et al. Nondestructive classification of soybean seed varieties by hyperspectral imaging and ensemble machine learning algorithms[J]. Sensors, 2020, 20(23): 6980.

[9] Zhang T T, Wei W S, Zhao B, et al. A reliable methodology for determining seed viability by using hyperspectral data from two sides of wheat seeds[J]. Sensors, 2018, 18(3): 813.

[10] Huang M, Tang J Y, Yang B, et al. Classification of maize seeds of different years based on hyperspectral imaging and model updating[J]. Computers Electronics in Agriculture, 2016, 122: 139-145.

[11] Xia C, Yang S, Huang M, et al. Maize seed classification using hyperspectral image coupled with multi-linear discriminant analysis[J]. Infrared Physics & Technology, 2019, 103, 103077.

[12] Liu S, Tan X, Liu C Y, et al. Recognition of fusarium head blight wheat grain based on hyperspectral data processing algorithm[J]. Spectroscopy and Spectral Analysis, 2019, 39(11): 3540-3546.

[13] 杨小玲. 高光谱图像技术检测玉米种子品质研究[D]. 杭州：浙江大学，2016.

Yang Xiaoling. Detection of Maize Seed Quality Using Hyperspectral Imaging[D]. Hangzhou: Zhejiang University, 2016. (in Chinese with English abstract)

[14] Gao P, Zhang C, Liu X, et al. Visual identification of slight-damaged cotton seeds based on near infrared hyperspectral imaging[J]. Spectroscopy and Spectral Analysis, 2018, 38(6): 1712-1718.

[15] 彭丽君. 水稻种子鉴别的近红外光谱快速无损分析[D]. 广州：暨南大学，2018.

Peng Lijun. Rapid and Nondestructive Analysis for the Identification of Rice Seeds with Near Infrared Spectroscopy[D]. Guangzhou: Jinan University, 2018. (in Chinese with English abstract)

[16] 杨思成，舒在习，曹阳. 基于高光谱成像技术的稻谷品种鉴别研究[J]. 光谱学与光谱分析，2019，39(10)：3273-3280.

Yang Sicheng, Shu Zaixi, Cao Yang. Identification of rice varieties based on hyperspectral image[J]. Spectroscopy and Spectral Analysis, 2019, 39(10): 3273-3280. (in Chinese with English abstract)

[17] 谢忠红，徐焕良，黄秋桂，等. 基于高光谱图像和深度学习的菠菜新鲜度检测[J]. 农业工程学报，2019，35(13)：277-284.

Xie Zhonghong, Xu Huanliang, Huang Qiugui, et al. Spinach freshness detection based on hyperspectral image and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 277-284. (in Chinese with English abstract)

[18] 黄双萍，孙超，齐龙，等. 基于深度卷积神经网络的水稻穗瘟病检测方法[J]. 农业工程学报，2017，33(20)：169-176.

Huang Shuangping, Sun Chao, Qi Long, et al. Rice panicle blast identification method based on deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(20): 169-176. (in Chinese with English abstract)

[19] Ma T, Tsuchikawa S, Inagaki T. Rapid and non-destructive seed viability prediction using near-infrared hyperspectral imaging coupled with a deep learning approach[J]. Computers and Electronics in Agriculture, 2020, 177: 105683.

[20] 师芸，马东晖，吕杰，等. 基于流形光谱降维和深度学习的高光谱影像分类[J]. 农业工程学报，2020，36(6)：151-160.

Shi Yun, Ma Donghui, Lv Jie, et al. Hyperspectral image classification based on manifold spectral dimensionality reduction and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(6): 151-160. (in Chinese with English abstract)

[21] Christov I I. Real time electrocardiogram QRS detection using combined adaptive threshold[J]. Biomedical Engineering Online, 2004, 3(1): 1-9.

[22] Yang X, Hong H, You Z, et al. Spectral and image integrated analysis of hyperspectral data for waxy corn seed variety classification[J]. Sensors, 2015, 15(7): 15578-15594.

[23] Wu N, Zhang C, Bai X L, et al. Discrimination ofvarieties using hyperspectral imaging combined with a deep convolutional neural network[J]. Molecules, 2018, 23(11): 2831.

[24] 刘帅，张旭含，李笑迎，等. 基于双分支卷积网络的高光谱与多光谱图像协同土地利用分类[J]. 农业工程学报，2020，36(14)：252-262.

Liu Shuai, Zhang Xuhan, Li Xiaoying, et al. Cooperative land use classification of hyperspectral and multispectral imagery based on dual branch convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 252-262. (in Chinese with English abstract)

[25] Gao H M, Yao D, Yang Y, et al. Multiscale 3-D-CNN based on spatial-spectral joint feature extraction for hyperspectral remote sensing images classification[J]. Journal of Electronic Imaging, 2020, 29(1): 013007.

[26] Tran D, Bourdev L, Fergus R, et al. Learning spatiotemporal features with 3D convolutional networks[C]// Proceedings of the IEEE International Conference on Computer Vision, Santiago: IEEE, 2015.

[27] Stroud J, Ross D, Sun C, et al. D3D: Distilled 3D networks for video action recognition[C]//The IEEE Winter Conference on Applications of Computer Vision, Snowmass Village: IEEE, 2020.

[28] Zhou Y Z, Sun X Y, Zha Z J, et al. MiCT: Mixed 3D/2D convolutional tube for human action recognition[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Salt Lake City: IEEE, 2018.

[29] Li Y, Zhang H, Shen Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]. Remote Sensing, 2017, 9(1): 67.

[30] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston: IEEE, 2015.

[31] Bao Y D, Mi C X, Wu N, et al. Rapid classification of wheat grain varieties using hyperspectral imaging and chemometrics[J]. Applied Sciences-Basel, 2019, 9(19): 4119.

[32] Wang Y Q, Lv Y J, Liu H, et al. Identification of maize haploid kernels based on hyperspectral imaging technology[J]. Computers and Electronics in Agriculture, 2018, 153: 188-195.

Recognizing wheat seed varieties using hyperspectral imaging technology combined with multi-scale 3D convolution neural network

Huang Min1, Xia Chao1, Zhu Qibing1, Ma Hongjuan2

(1.,,,214122,; 2.100045,)

A hyperspectral image classification model was proposed to detect wheat seeds using a Multi-Scale 3D Convolution Neural Network (MS-3DCNN) in this study, in order to identify wheat seed varieties quickly and accurately. A multi-scale 3D convolution module was used to learn the characteristics of wheat seed from hyperspectral images. A deep learning model was then established to predict wheat varieties. 3D Convolutional Neural Network (3DCNN) was utilized to simultaneously extract the spatial and spectral dimension features of hyperspectral images, compared with the traditional 2D Convolutional Neural Network (2DCNN). The kernel sizes of convolution were set as 5×5×5, 3×3×3, 5×5×3, and 3×3×5, respectively, considering that the characteristics of spectral dimension occupied a higher position in the application of hyperspectral image data. A Batch Normalization (BN) layer was added after each convolution layer to reduce the over-fitting of the model. The LeaKy_ReLU was adopted in the activation function to prevent neurons from being ineffective when the input was negative. A pooling layer and a fully connected layer were stacked on the last multi-scale convolution module. Finally, the Softmax activation function was used to predict the wheat varieties in the output layer. Dropout was introduced into the fully connected layer to reduce the risk of model overfitting. As such, a total of 6 000 samples were collected for 6 varieties of seeds (1 000 seeds per variety). Specifically, 700 seeds of each variety (4 200 seeds of the 6 varieties) were randomly selected as the training set, and the remaining 1 800 seeds were used as the test set during the specific training. 6 wheat varieties were also selected with certain connections in origin and genetic relationship to evaluate the influence of these factors on the classification model. Nevertheless, there was a relatively large amount of original hyperspectral image data, and a high data redundancy between adjacent hyperspectral bands. Successive Projections (SPA) were selected to combine with the average spectral characteristics of wheat seeds for the less data dimension. Subsequently, 22 optimal bands were selected from 300 bands, where the hyperspectral image data corresponding to the optimal bands was extracted to form a new hyperspectral image space. The reduced dimension data was input into the classification model of MS-3DCNN. The traditional hyperspectral classification model using Support Vector Machine (SVM), 2DCNN, 3DCNN, and Multi-Scale 2D Convolutional Neural Network (MS-2DCNN) were selected to compare the influence of 3D convolution and multi-scale convolution on model. The experimental results showed that the classification performed a higher classification accuracy using the MS-3DCNN model. SVM model using feature fusion, 2DCNN, 3DCNN, and MS-2DCNN models for the test sets achieved the accuracies of 88.33%, 94.17%, 95.17%, and 95.44%, respectively. Particularly, the MS-3DCNN model presented a relatively higher accuracy of 96.72%. Consequently, the improved model can be applied to identify and classify wheat seeds in modern intelligent agriculture.

wheat; seed recognition; multi-scale 3D convolutional neural network; hyperspectral image

黄敏，夏超，朱启兵，等. 融合高光谱图像技术与MS-3DCNN的小麦种子品种识别模型[J]. 农业工程学报，2021，37(18)：153-160.doi：10.11975/j.issn.1002-6819.2021.18.018 http://www.tcsae.org

Huang Min, Xia Chao, Zhu Qibing, et al. Recognizing wheat seed varieties using hyperspectral imaging technology combined with multi-scale 3D convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 153-160. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.018 http://www.tcsae.org

2020-12-31

2021-07-09

国家自然科学基金面上项目（61772240，61775086）

黄敏，博士，教授，博士生导师，研究方向为先进光学检测技术、复杂工业过程建模与智能控制等。Email：huangmzqb@163.com

10.11975/j.issn.1002-6819.2021.18.018

TP391.4

A

1002-6819(2021)-18-0153-08