基于PCA-1DCNN的近红外光谱粮食作物主要成分检测方法

王 蓉, 郑恩让, 陈 蓓

(陕西科技大学电气与控制工程学院,西安 710021)

玉米、小麦等是重要的粮食作物,含有大量的水分、蛋白质、脂肪、淀粉、维生素等营养物质[1],其副产品是不可或缺的工业原料,它们被广泛应用于食品、制药、化工等领域。谷物饲料中淀粉、植物蛋白等成分的含量对提高肉类品质、提升乳制品等的蛋白质含量有着重要作用,通过检测其含量成分可以对饲料掺假进行鉴定。由此可见,玉米、小麦等粮食作物中与生产生活中的各个领域都息息相关,研究粮食作物成分含量十分必要。

传统的化学方法测定物质含量操作复杂、费时费力,对原物质有破坏,测量结果受人为、环境因素干扰。近红外光谱技术制样简单、无污染,分析速度快、效率高,可以进行多组分同步测定,不会破坏原物质且可实现在线分析[2],在食品[3-6]、农业[7]、医药[8、9]、石油[10-12]等领域得到了广泛应用。在近红外光谱技术的定量分析中,主要方法有多元线性回归、偏最小二乘法(PLS)[13]、支持向量机(SVM)[14、15]、人工神经网络等,这些方法在各个领域得到了广泛应用且备受推崇,但随着研究的深入,这些方法的弊端也逐渐显现,如难以选择合适的光谱预处理方法以及模型预测精度低的问题。近年来,深度学习在语音识别、语义识别,图像处理等方面取得显著成果[16-20],而作为近年来深度学习领域的研究热点,卷积神经网络(CNN)也逐渐被应用到光谱学领域。宗倩倩等[21]提出了改进的回归卷积神经网络算法和近红外光谱数据进行结合,提升了烟叶化学成分定量分析的预测精度,但该方法更适合处理数量多且复杂的数据。唐永生等[22]提出了一种基于一维卷积的卷积神经网络和近红外光谱的土壤pH值预测方法。在公开的玉米数据集上,谈爱玲等[23]针对玉米样本进行串行光谱融合后对玉米4种成分分别构建一维卷积神经网络模型,提出了一种基于四元数卷积神经网络的近红外光谱并行融合定量建模方法[24],模型精度比传统建模方法有所提高,但依旧使用了光谱预处理方法且对光谱预处理方法的选择未作说明,且模型仅针对玉米数据集,泛化能力不强。

为探究近红外光谱技术与深度学习结合进行粮食作物主要成分快速无损定量检测的可行性,最大程度地提取近红外光谱高维数据的特征,本研究在网上公开的3个粮食作物光谱数据集上,建立了基于主成分分析(PCA)光谱筛选算法的一维卷积神经网络(1DCNN)近红外光谱数学模型,在不经过光谱预处理的前提下使预测性能得到了进一步提升,满足了粮食作物主要成分含量快速测定的需要。

1 材料与方法

1.1 实验光谱数据集

1.1.1 谷物数据集1

谷物数据集1,来源于https：//eigenvector.com/resources/data-sets/#corn-sec,是由在3种不同的近红外光谱仪(m5、mp5和mp6)上测量的80个不同的玉米样品组成,其中包括80个玉米样本中玉米的水分、蛋白质、油脂、淀粉成分含量的百分比真值。波长范围为1 100～2 498 nm,间隔为2 nm,每个近红外光谱仪采集80条光谱数据,每条光谱有700 个波长点,数据集也包含了700个波长对应的吸光度值。

1.1.2 谷物数据集2

谷物数据集2,来源于https：//eigenvector.com/resources/data-sets/#corn-sec,数据集由231个样品的数据构成,波长范围为1 104～2 495 nm,包含117个波长点的吸光值,数据集同时给出了酪蛋白、葡萄糖、乳酸盐和水分的含量真值。

1.1.3 谷物数据集3

谷物数据集3,来自于https：//www.cnirs.org /content.aspx ?page_id=22 &club_id=409746& module_id=239453,数据集包括248个小麦样品数据集分为校准数据集、测试数据集、验证数据集,校准数据集中有1 488条光谱,测试数据中有744条光谱,验证数据集是对150个独立样本采集获得的450条光谱,数据集中只给出了校准和测试集中小麦的蛋白质含量参考值,验证集中并未给出蛋白质参考值,本文提出的1DCNN模型为有监督网络,因此选用小麦数据集的测试集的数据进行建模与测试。

1.2 方法

利用光谱筛选算法从近红外全波段光谱数据中提取与粮食作物主要成分含量信息相关的特征波长和相应光谱数据,建立了光谱筛选后的光谱数据与粮食作物成分含量真值的定量关系模型。

1.2.1 特征波长筛选

针对数据集做回归任务,通过实验发现,直接采用卷积神经网络进行建模做回归任务,模型容易过拟合,而经过光谱筛选算法后进行建模,模型准确率有所提升。因此在卷积之前加上光谱筛选,以提取到更多的关键光谱信息。采用PCA算法筛选近红外光谱特征波长,它能够将原始变量重新组合成几个新的、不相关的综合变量,并选择尽可能少的综合变量来表示尽可能多的原始变量中的信息。

1.2.2 1DCNN定量检测模型

CNN 模型在图像处理方面应用出色,但其一般更适用于二维数据建模,而近红外光谱数据作为一维信号,与二维CNN不匹配,为了使得CNN在光谱分析领域的应用成为可能,研究通过构建一维卷积核,提出农作物成分定量检测的一维卷积神经网络近红外光谱数学模型,模型结构如表1所示。1DCNN模型结构图如图1所示,包含2个卷积层,2个池化层,一个全连接层。2个卷积层的卷积核的大小均为3,卷积核数目分别为16和32,激活函数为Relu,池化层选用最大池化操作,优化算法为Adam,损失函数为均方误差(MSE),输出层采用线性激活函数的单神经元结构,神经元数量为1。卷积神经网络训练包括前向传播和反向传播,训练数据分成10个批次,批处理样本数目为10,图2所示为1DCNN模型训练过程。

图1 一维卷积神经网络模型结构图

图2 卷积神经网络训练流程图

表1 网络结构图

1.3 模型评价与指标

用于回归模型的评价指标主要有均方根误差(RMSE)、决定系数(R2[25]),可以表示为：

1.4 实验环境

算法运行环境：Intel(R) Xeno(R) CPU,计算机运行内存32GB,显卡为GeForce GTX 1080 Ti,采用目前主流的 Tensorflow 2.5.0框架,编程语言为 Python 3.8。此外还使用了 Numpy、OpenCV、Matplotlib 等常用的计算库和视觉库。

2 结果与分析

为了验证搭建的一维卷积神经网络算法在粮食作物主要成分近红外光谱模型方面的有效性,研究在3个不同分布的数据集上,构建了基于主成分分析的粮食作物主要成分定量检测的1DCNN、PLS、SVM的近红外光谱模型,最后将1DCNN、PLS和SVM 3种模型进行了对比、测试与分析。同时为了验证PCA算法对农作物定量回归模型的有效性,在这3个光谱数据集上,去除了PCA光谱筛选算法进行消融实验。

2.1 基于PCA-1DCNN模型与其他方法的对比分析

2.1.1 谷物数据集1

对于谷物数据集1,分别对数据集的水分、蛋白质、油脂成分进行预测,选取Kennard-Stone(KS)算法将80个玉米样本按照8∶2的比例划分为训练集和测试集,其中64个作为训练集建立定量模型,16个作为测试集验证模型。以4种成分中的水分为例,该成分在1DCNN模型训练中的损失函数曲线如图3所示。

图3 一维卷积神经网络模型玉米水分训练损失函数曲线

利用PCA从700个波长变量中选出24个最优波长变量输入一维卷积神经网络,对谷物数据集1的水分、油脂、蛋白质、淀粉4种成分进行建模,另一方面在PCA后建立谷物数据集1各成分的PLS、SVM模型,所得模型评价指标如表2所示,谷物数据集1原始光谱如图4所示。

图4 谷物数据集1原始光谱

表2 谷物数据集1的4种成分在不同模型下评价指标

由表2数据可知,谷物数据集1的4种成分在1DCNN上的模型评价指标均要优于在PLS、SVM上建模的结果。相对于谈爱玲等[23]提出的谷物数据集1的原始光谱、一阶导数光谱、二阶导数光谱乃至这三者的串行融合光谱,进行卷积核的参数寻优之后,在相同层数(但卷积核尺寸等参数不同)的网络结构下进行建模,发现三者的串行融合光谱在模型下的精度更高,其水分、油脂、蛋白质、淀粉的R2分别为95.6%、97.2%、98.2%和94.9%。而4种成分在实验所提出的1DCNN模型下拥有更高的精度,且建模的精度均在98%以上,分别体现在水分的R2提升了3.4%,油脂的R2提升了0.9%,蛋白质的R2提升了0.6%,淀粉的R2提升了4.5%。这表明研究所提出的1DCNN模型可以提取到更多光谱数据深层的有用信息,提升了预测精度。

研究对1DCNN下建立的谷物数据集1的4种成分定量模型的预测输出结果和目标的真实值做了线性回归分析,发现这4种成分在1DCNN模型上输出的预测值基本均在y=x的拟合曲线附近,这说明所建立的1DCNN模型对输入的预测值与目标真值十分接近,且模型对每一种成分都有很好的预测能力,这进一步表明谷物数据集1的4种成分在1DCNN模型预测结果精确度很高。

2.1.2 谷物数据集2

谷物数据集2原始光谱如图5所示,对于谷物数据集2,分别对谷物数据集2的酪蛋白、葡萄糖、乳酸盐、水分成分进行预测。选取 KS算法将231个样本按照8∶2的比例划分为185个训练集和46个测试集,用PCA从117个波长变量中选出50个最优波长变量,建立谷物数据集2中4种成分的PLS、SVM、1DCNN模型,所得模型评价指标如表3所示。

图5 谷物数据集2原始光谱

表3 谷物数据集2四种成分在不同模型下评价指标

由表3可知,对于酪蛋白、乳酸盐和水分3种成分,在PLS模型下进行建模时的R2分别为97.43%、92.87%和91.77%,RMSEp分别为0.357 6、0.509 9以及0.517 4;而在SVM模型下进行建模的R2分别为98.6%、96.78%和98.54%,RMSEp分别为0.215 3、0.330 7以及0.463 5,二者相比,在SVM模型下这2种成分拥有更高的精度和更低的均方根误差,可以看出在SVM模型下建模的模型评价指标要优于PLS模型下的。对于葡萄糖,在PLS模型下进行建模时的R2为98.57%,RMSEp为0.207 5;而在SVM模型下进行建模的R2为95.26%,RMSEp为0.318 4,可以看出在PLS模型上建模的模型评价指标反而要优于SVM模型下的。但4种成分在1DCNN上的模型评价指标均优于在PLS、SVM上建模的结果,模型准确度均达到了99%甚至1,相比于谷物数据集1,由于该数据集样本数量多且维度低,数据集分布比较均匀,4种成分的1DCNN模型适配度很高,模型精度达到最高。

同样对1DCNN下建立的4种成分定量模型的预测输出结果和目标的真实值做了线性回归分析,4种成分在1DCNN模型上的输出预测值基本均在y=x的拟合曲线上,说明模型预测输出几乎等于成分真实含量百分比值,谷物数据集2在1DCNN模型上拥有很好的拟合效果。

2.1.3 谷物数据集3

对于谷物数据集3,选取 KS算法将248个小麦样本按8∶2的比例划分为198个训练集、50个测试集,用PCA从741个波长变量中选出240个最优波长,建立小麦蛋白质的PLS、SVM、 1DCNN模型。谷物数据集3的原始光谱图如图6所示,小麦蛋白质在不同模型下评价指标如表4所示。

图6 谷物数据集3原始光谱

表4 谷物数据集3在不同模型下评价指标

由表4可知,小麦蛋白质在PLS模型下进行建模时的R2为91.92%,RMSEp为0.376 5;在SVM模型下进行建模的R2为97.94%,RMSEp为0.293 8;而在1DCNN模型下进行建模时的R2为99.8%,RMSEp为0.071 3。可以看出小麦蛋白质在3种模型下的模型性能排列为PLS

2.2 消融实验

研究所提出的模型主要包括2个模块,即PCA和1DCNN。为了验证所选的光谱筛选算法对农作物定量回归模型的有效性,针对3个光谱数据集,在去除PCA光谱筛选的情况下,按照20%的训练比率进行消融实验,结果如表5所示。未经过PCA的模型的R2低了很多,下降范围在10%～30%。对于谷物数据集1的4种成分,在PLS下R2的平均下降比率为30.53%,SVM下的平均下降比率为28.02%,1DCNN下的平均下降比率为25.10%。由于谷物数据集1本身数据的分布不均及异常数据的存在,完成回归任务比较困难,但1DCNN方法下的R2依然达到了78.49%。谷物数据集2和数据集3的R2均下降了10%左右,1DCNN的模型准确率接近90%。其中谷物数据集2成分在1DCNN方法下的R2平均下降比率为11.63%,谷物数据集3中小麦蛋白质的平均下降比率为12.33%。通过实验结果可知,即使不经过光谱筛选,1DCNN模型也可以提取到比PLS、SVM方法更多更深层的有用光谱信息,模型精度更高;经过PCA光谱筛选算法后模型准确率得到提升,说明PCA光谱筛选算法与建模方法的结合可以很好的提取光谱特征信息,其中与1DCNN模型结合提取到的有用信息最多,模型精度最高。

表5 粮食作物主要成分在无光谱筛选下的模型评价指标

3 结论

针对传统建模难以选择合适的光谱预处理方法以及模型预测精度低的问题,研究提出了一种深度学习下基于PCA与一维卷积神经网络结合的粮食作物主要成分近红外光谱检测方法。在没有使用光谱数据预处理的前提下,利用PCA光谱筛选算法与1DCNN结合对数据进行了训练、建模。与传统近红外定量建模方法(PLS、SVM)相比,1DCNN 模型具有更高的准确率,在国际公开的3个谷物近红外光谱数据集上进行了测试,均验证了该方法的有效性。同时经过消融实验验证,PCA光谱筛选算法与1DCNN结合的方法不仅可以提高模型的泛化能力,还可以使模型的精度有所提升。方法可与近红外光谱技术结合,为粮食作物主要成分含量检测提供一种快速无损精确的判定方式,研究结果对于粮食作物主要成分含量检测具有促进作用。

研究所用的是公开的粮食作物光谱数据集,且数据集分布比较均匀,而实际场景中数据集应用到模型可能会有偏差,因此在后续的研究中要深入到粮食作物样品定量分析的模型迁移中,进一步提高模型的泛化能力和可靠性,满足实际生产需求。