基于多光谱图像的土壤有机质含量检测系统与APP研究

杨 玮 于 滈 李 浩 曹永研 郝子源

(中国农业大学智慧农业系统集成研究教育部重点实验室,北京 100083)

0 引言

SOM是土壤的主要养分,对作物的生长至关重要,也是评估土壤肥力的重要指标。土壤有机碳(Soil organic carbon,SOC)主要存在SOM中,二者之间可以实现定量转换,SOC也是全球碳循环和气候调节的重要参考指标,通过测定SOM含量可以实现SOC含量的高效测定[1-6]。传统的SOM含量测量手段,如重铬酸钾测定法以及灼烧法等实验室方法测量精度高,但存在成本高昂、检测周期长、破坏性和污染性较强的问题[7]。光谱学分析方法具有高效、环保等特点,近年来已经逐渐成为了最具潜力取代传统方法测量SOM含量的技术手段[8]。由于光谱数据处理步骤繁琐,基于光谱学分析预测SOM含量的工作大多在实验室环境下进行,无法实现原位SOM含量的测量,较高的造价也限制了方法的推广性[9-13]。综上所述,确立一种廉价、高效的原位SOM含量测量方法,对于土壤养分检测以及田间作业生产意义重大。

受到SOM含量变化的影响,土壤的颜色、孔隙度、贮水能力和团聚性也会产生明显的变化[14-17]。已有研究证明,随着SOM含量的增加,土壤的团聚能力变强,孔隙度变大,同时土壤的颜色也会逐渐加深,当SOM质量分数超过4%后,土壤会呈现黑褐色,这些特征有助于通过图像建立SOM含量的预测模型[18-19]。虽然图像数据容易获取,但也容易受到客观因素的影响,水分含量的变化以及土壤组成不同都会导致土壤在颜色上呈现出明显的差异[20]。与此同时,基于传统机器学习手段利用图像预测SOM也存在着性能不足以及泛化性差的问题,这些都导致了基于图像预测SOM含量的准确性受限。如何建立更高精度的SOM预测模型成为当下研究的重点。

目前,利用图像预测SOM含量的研究在国内外已经取得了一定的进展,证明了利用图像预测SOM含量的可行性。吴才武等[21-22]提取数字图像的颜色特征建立模型预测SOM含量,并通过分析数据证明RGB图像中R通道图像建模效果最佳,为后续相关研究奠定了基础。FU等[23]用智能手机拍摄土壤图像,建立了不同含水量条件下的SOM预测模型,并利用不同色彩空间对图像颜色参数进行量化,模型性能更加稳定,预测R2为0.819,证明了通过手机端图像实现SOM含量预测的潜力。也有研究[24]证明了通过图像数据建立模型,可以反映出相关波段受到SOM的影响程度,证明了图像信息与波段之间的联系。以上研究结果表明,可见光图像与SOM存在较强的关联性,利用图像进行SOM预测具有成本低、普适性高、易于推广等特点,图像信息获取便捷,也包含了所在光谱波段的特征,通过图像进行SOM含量的检测有助于提升田间工作的效率。

相较于土壤光谱数据获取流程繁琐复杂,获取土壤图像数据具有便捷、高效的特点,且图像中也包含了纹理、颜色等多种特征信息。研究证明,在可见光区间内SOM含量存在着多个敏感区间,通过获取更多波段的图像信息,有助于获取到更多特征,提升模型的性能[25-26]。相比于传统机器学习手段,深度学习在图像特征提取领域展现出了巨大的技术优势,基于深度学习手段有助于实现更高精度的SOM含量预测,但深度学习对于更多数据样本的需求对于田间采样工作提出了巨大的挑战。基于以上问题,本文采集不同水分梯度可见光图像与无人机采集的R波段(650 nm±16 nm)、红边波段(730 nm±16 nm)与近红外光谱波段(840 nm±26 nm)图像,建立改进的N_DenseNet模型预测SOM含量,并开发手机端APP实现田间原位的SOM实时检测。基于北京市、山东省、黑龙江省3个省市采集不同种类土壤作为样品。于实验室环境下配置并采集不同水分梯度图像增加数据样本,去除水分对土壤颜色的影响,结合无人机拍摄R波段与近红外波段图像建立基于手机端APP的N_DenseNet模型,以实现土壤田间图像采样以及SOM含量实时检测。

1 数据获取与方法

1.1 样品采集

我国幅员辽阔,不同地区SOM含量分布受气候、土壤种类等多种因素影响呈现出明显差异,这对土壤样本的采集以及模型的性能提出了更高要求。根据全国土壤普查养分分级标准,将SOM含量按照梯度划分为一级土(大于40 g/kg)至六级土(小于6 g/kg)共6个等级。为尽可能采集到更多等级土壤,本研究选择土壤种类和SOM含量分布具有明显差异的北京市昌平区(试验区1,10～35 g/kg)、黑龙江省双鸭山市友谊县(试验区2,30～60 g/kg)和山东省泰安市泰山区(试验区3,20～40 g/kg)3个地区作为土壤样本采集试验地点,3个试验采样点分别属于寒温带与温带大陆性季风气候、温带大陆性季风气候和温带暖风气候,土壤类型主要为棕土、褐土、黑土,SOM含量涵盖了一级土到五级土。3个试验区总占地面积超过100 hm2,采样点信息如图1所示。

图1 研究区地理信息

为减少天气以及光线强度等客观因素对图像数据集造成的影响,采集试验在10月进行,采样时间均选择晴朗无云天气的10:00—11:00之间。共采集350份样品,其中在北京市上庄实验站采样160份、黑龙江省友谊县采样90份,山东省泰安市采样100份。土壤采样深度为10 cm,每份样品采集 500 g 并用牛皮纸袋封存后带回实验室。土样采集回实验室后进行350份土壤样品SOM真值的测定。首先,将土样在105℃的干燥箱内干燥24 h,剔除秸秆等杂质后采用9 mm筛子过筛称量,之后采用干烧炉对土壤样本的SOM含量进行测定。总体数据按照6∶2∶2的比例分为训练集、验证集、测试集。各数据集SOM含量描述性统计如表1所示。土壤样本整体SOM含量区间为9.25～51.50 g/kg,训练集样本区间为9.40～51.50 g/kg,验证集样本区间为9.25～51.10 g/kg,测试集样本区间为9.68～49.20 g/kg,训练集涵盖了测试集的全部范围,总体变异系数为43%,属于中等变异。

表1 土壤样本SOM含量统计

在图像采集工作中,每份土壤样品均通过多光谱无人机拍摄3幅多光谱图像(红边波段、R波段和近红外波段图像)、不同通道的多光谱数据样本以及手机拍摄的不同含水率梯度图像样本信息如图2所示。手机端拍摄5幅水分梯度图像,训练集样本数量为1 680幅,验证集与测试集样本数分别为560幅,总数量为2 800幅。首先通过手机相机获取高清图像,然后使用大疆Phantom 4 型无人机搭载的多光谱相机获取光谱图像,相机可获取红((650±16)nm)、绿((560±16)nm)、蓝((450±16)nm)、红边((730±16)nm)、近红外波段((840±26)nm)图像信息,结合已有研究可知,SOM在660、740、840 nm附近存在明显的特征波长[27],由于图像中反映了所在波长的特征,所以选择R波段、红边波段和近红外波段的光谱图像结合梯度图像构建数据集。同时为避免土壤水分对于图像信息的干扰,同时提升数据样本数量以满足深度学习的需求,本研究通过实验室内水分胁迫的方式,将350组土壤样品分别配置为含水率5%、10%、15%、20%梯度,并通过手机拍摄图像作为数据集。

图2 多光谱图像数据

通过无人机获取的多光谱图像尺寸更小(1 600像素×1 300像素),为保证数据输入的一致,在数据输入神经网络前,将每份SOM含量数值标签对应的近红外、R波段以及红边波段光谱图像进行通道叠加,将3幅单通道多光谱图像转换为1幅具有3通道的光谱图像。本研究数据集每份样品对应5幅可见光图像和1幅3通道多光谱图像,在进行模型训练时,6幅图像会被压缩为224像素×224像素进行计算。

1.2 方法

1.2.1DenseNet

DenseNet的基本网络结构主要由稠密块(DenseBlock)和Transition组成,不同深度的DenseNet网络基本结构相同,主要是在卷积层数量上的差异,DenseBlock和Transition结构如图3所示,DenseNet169是由4个DenseBlock和Transition(卷积层与池化层)结构组成,DenseBlock和Transition结构网络层逐渐加深。DenseNet主要是通过concat操作实现不同网络层输出特征的短路连接,这种操作可以让模型更快地完成训练,同时模型也能够保留更多低维度的特征,使得模型可以在一定程度上减少因数据有限造成的模型性能下降的问题。相比VGG和ResNet模型,DenseNet可以使用更少的参数达到更好的训练效果。

图3 DenseBlock和Transition结构

在实际应用中,由于框架优化的因素,DenseNet往往存在着占用系统内存过多的情况,这也限制了DenseNet网络在移动端部署平台的运行效率。

1.2.2改进的DenseNet SOM预测模型

目前,通过图像数据预测SOM的技术手段一直存在着模型预测精度有限的问题,虽然方法更加便捷但是无法取代传统光谱学以及化学式检测方法。为保证图像数据中的特征被模型充分利用以提高模型的预测精度,本研究在DenseNet结构的基础上做出改进,结合多尺度的池化特征提取方法提升模型性能,完成SOM含量的高效预测。

为提升模型的预测精度,本研究基于DenseNet169进行改进,提出N_DenseNet,通过添加具有3层多尺度的池化特征模块提升模型的特征提取能力,3层池化层的size分别为2、4、8。为避免池化操作使输入数据分辨率降低,在第2层和第3层池化层后进行上采样,scale_factor的参数为2和4,以还原输入池化模块前的数据尺寸。

相比于传统模型中使用单一小尺寸池化层,多尺度池化模块能够为模型获取到更多的特征数据,可以让模型提取到更多高、低维度的数据特征,提升模型的性能,改进的DenseNet网路整体结构如图4所示。

图4 N_DenseNet网络

1.2.3基于Android端的SOM检测APP

为避免手机性能不足限制模型表现,综合成本以及已有硬件条件等实际因素考虑,本研究通过内网透射方式实现手机Android端APP与固定PC端的数据实时处理与传输,这有效解决了移动端嵌入模型导致性能下降的问题,同时该手段运营成本较小,避免了高昂的开发成本。

APP开发分为移动端模块和PC端模块。移动端模块通过Vue开发,并利用Hbuilder X封装成便携式设备支持的安装包;PC端模块基于Python 3.7开发环境部署深度学习模型,利用Django作为Web接口框架实现数据的交互。

基于内网透射,用户通过手机端便可以实现SOM图像的获取、调用以及PC端数据的处理与传输,并将最终数据传送至APP内实时显示,实现SOM的实时检测。为了提升APP的功能性,在实现SOM含量检测的基础上,APP内也集成了土壤含量等级展示、采样地点GPS信息以及历史信息查询等功能,实现更加精准、多功能的SOM含量信息检测。研究的整体技术路线如图5所示。

图5 整体技术路线

2 结果与分析

2.1 基于可见光图像的SOM预测

为了探讨多光谱图像在不同模型上的表现效果,分别对比本研究提出的N_DenseNet以及经典网络ResNet101、ResNet152、DenseNet121、DenseNet169、DenseNet 201以及进行训练预测,对比分析基于可见光图像和多源图像信息的表现效果。以上训练结果都是基于Pytorch环境,在配置了11 GB 显存的GTX 2080显卡和16 GB内存的高性能计算机上进行,通过内网透射实现PC端与手机端的连接。基于手机端的可见光数据模型预测结果如图6所示。从图6中能够看出,基于可见光图像建立SOM预测模型,测试集R2分别为0.817、0.742、0.771、0.786、0.809、0.801。其中基于改进的DenseNet模型表现最好,比ResNet101、ResNet152、DenseNet121、DenseNet169、DenseNet201高出0.075、0.046、0.031、0.008、0.016。整体上看,DenseNet模型表现整体更好,证明了基于concat操作实现不同网络层特征信息共享的方式能够更好地提升模型的预测能力。通过加入多尺度池化层后,N_DenseNet网络性能更佳,相较于更深层的DenseNet169和DenseNet201具有明显优势。

图6 基于可见光图像的SOM预测效果对比

2.2 基于多光谱图像的SOM预测

在可见光图像数据的基础上,加入红波段、红边波段与近红外波段通道叠加后的光谱图像作为数据集进行训练,测试集结果如图7所示。N_DenseNet的测试集R2为0.833,RMSE为3.943 g/kg。经过与基于可见光图像的3种预测模型的R2对比可知,基于多光谱图像的模型性能整体优于可见光图像,N_DenseNet、ResNet101、ResNet152、DenseNet121、DenseNet169、DenseNet201测试集的R2比基于可见光数据分别提高0.026、0.045、0.013、0.031、0.011、0.020。证明添加R波段、红边波段与近红外波段图像含有的特征信息对模型精度具有一定的提升。相比于ResNet表现,DenseNet网络在多光谱数据上的表现最佳,证明了DenseNet的优势。

为更好地分析不同模型整体表现以及部署手机端对运行效率的需求,不同模型建模、测试集的R2以及模型运行时间的结果如表2所示。整体上看,在网络深度相近的情况下,DenseNet网络在可见光与多光谱图像数据方面表现优于ResNet系列,N_DenseNet表现最佳,相比于DenseNet169更好,且运行时间更短,证明加入多池化操作使模型的精度和效率得到明显提高,运行时间与DenseNet169十分接近,虽然相比于层数较少的ResNet101、ResNet152、DenseNet121更耗时,但取得了最好的精度,测试集完成预测所需时间在可见光与多光谱数据上分别为0.38 s和0.45 s,都可以满足SOM含量实时检测。

表2 不同模型对比

对比ResNet架构和DenseNet架构,发现ResNet整体效果弱于DenseNet,证明了基于concat操作可以更好地融合更多维度特征,提升模型性能,而在运行效率上,ResNet系列占据明显优势,证明较深层网络对于模型运行速度具有一定的影响,但是基于计算机端都能够实现实时数据处理。总体上,基于N_DenseNet系列精度最好,优于DenseNet169,更好地满足了田间原位土壤的高效检测。

2.3 基于APP的田间验证

本研究使用搭载Exynos 8895芯片的魅族15plus手机作为移动端设备进行APP设计,于中国农业大学上庄实验站进行田间试验。采集地块分为7列15行,共105个采样测试点。通过手机端实时拍照获取样点中心位置图像与GPS信息经过田间试验验证,基于多光谱图像检测SOM含量的R2为0.805,检测时间为2.8 s,基于可见光图像模型的R2为0.766,检测时间为2.4 s。基于多光谱图像的模型性能更好,检测精度更高,与实验室内结果一致,热力图如图8所示。

在检测时间上,受限于网络信号传输速度的影响,数据传输至PC端并完成检测的时间明显增加,但也满足了原位高效的SOM含量检测,相比基于光谱学原理的便携式检测仪,该方法在检测速度上具有明显提升。通过结合田间试验结果,证明该APP可以有效实现SOM含量预测,一定程度上能够指导农业生产、土壤施肥、土地类型判断、SOM含量测定等工作的开展,具有良好的研究价值。

3 讨论

本文采集了基于多水分梯度图像以及R波段、红边波段与近红外波段的多光谱波段图像数据,通过搭建N_DenseNet模型并于手机端开发APP,最终完成SOM含量的检测。经试验验证,基于多源图像数据检测SOM含量效果最好,优于可见光图像数据模型,模型R2为0.805。该方法相比于AITKENHEAD等[28]基于可见光图像预测SOM含量和YANG等[29]基于CNN预测SOM含量的方法取得了更好的结果。这与多光谱图像数据中包含了更多的特征信息有一定关系,丰富的信息有助于模型提取到更多有用特征,同时使用更好的模型对于精度也有一定提升。

目前,基于图像数据实现SOM含量预测已有相关研究,然而模型精度不足限制了该方案的推广性,成像式光谱仪虽然集成了图像与光谱数据,受限于数据处理步骤的繁琐以及高昂的制造成本,导致方法难以被推广使用[30]。基于图像信息预测SOM具有简单、便捷,便于推广等特点,尤其是4G、5G通信技术的飞速发展,让数据传输变得更加及时,基于手机端开发APP,有效节省了成本也实现了便携性,在田间信息监测方面具有巨大潜力。

许多研究人员专注于通过可见光图像实现SOM含量的预测,受限于图像信息不足以及模型性能的影响,模型预测能力受限,无法取代光谱分析等手段[31-32]。SOM在可见光-近红外区间内存在着多个敏感波段,基于多波段光谱图像预测SOM含量可以获取更多的图像数据特征,有助于提升模型的预测精度,也能有效改善因土壤数据采集和处理步骤繁琐导致的数据获取难的问题,多光谱图像能够有效实现土壤数据的扩容,更好地满足深度学习训练需要大量基础数据的要求。然而,本研究使用的数据信息有限,尤其是土壤类型和土壤采集区域有限,同时无人机与手机采集图像信息也存在传感器分辨率、拍摄距离不同等情况,这可能会造成数据间存在差别,最终影响模型的表现。未来,有必要进一步采集更多地区和更多种类土壤样品,并对已有模型进行改进,以提升模型的精度。

4 结论

(1)在获取可见光和多梯度水分图像的基础上,加入R、红边与近红外波段图像丰富数据集并进行训练。经分析,基于多光谱图像模型的性能优于可见光图像模型,证明增加光谱图像优化模型参数对于SOM含量预测具有一定的提升。

(2)该研究在DenseNet169基础上加入多尺度池化模块,提出N_DenseNet模型,实现了多尺度特征的提取与融合。基于多光谱和可见光数据集,预测R2相比于DenseNet169分别提高0.011和0.008,实现了更高精度的SOM含量检测。

(3)开发手机端SOM检测APP,该APP能够实现手机端与PC端的数据传输,并整合了历史查询、GPS信息、土壤等级展示功能。经过田间验证,模型R2为0.805,检测时间为2.8 s,实现了原位实时的SOM含量检测。