基于热红外和RGB图像的番茄苗期高温胁迫检测方法

钟陆杰，汪小旵,2，张晓蕾,2，施印炎,2

(1 南京农业大学 工学院, 江苏 南京 210031； 2 江苏省现代设施农业技术与装备工程实验室, 江苏 南京 210031)

番茄在世界范围内被广泛喜爱和食用，是我国主要的设施农业蔬菜之一。番茄是典型的喜温植物，最适宜生长温度范围为 25～30 ℃，30～35 ℃ 属于亚高温，即不会抑制植物生长但又高于最适宜生长温度，超过35 ℃便会对番茄的生长发育造成胁迫[1]。在实际农业生产中，由于温室保温效果好，白天往往会出现升温快、气温高的情况[2]，而大多数番茄品种缺乏耐热性，因此中国南方夏季高温是限制番茄生长发育的主要因素[3]。番茄的苗期发育阶段通常比结果阶段更容易受到高温的影响，会出现叶片卷曲、下垂、收缩、黄化甚至是枯萎等症状[4]。传统的胁迫检测主要是通过人工诊断，效率低下且具有一定的时空滞后性[5-6]。

热红外成像技术对温度反应敏感，与图像处理技术相结合对采集图像中作物不同的温度区域进行比较后，可以非常便捷地对温度和图像数据进行解释。目前研究主要关注于水分胁迫、病害胁迫及干旱胁迫的快速无损远距离监测分析，以便选取合适手段进行绿色防治[7-11]。一般采用遥感或无人机的热红外成像研究，观察范围广泛，群体特征表现良好，但是缺乏对作物个体特征的研究；针对个体特征的热红外成像研究对试验条件要求更加严苛，所以研究方向更加细化分散[12-15]。

近些年来，机器视觉、计算机视觉技术蓬勃发展[16-17]，在引入作物表型组学的同时，不同的学者们分别使用了 GoogLeNet、AlexNet、VGGNet、Inception-v3和ResNet50等深度卷积神经网络对不同作物的病虫害以及水分胁迫的RGB图像进行了分类、识别和预测，试验结果具有良好准确性、可靠性和可扩展性[18-24]。随着深度学习网络层数逐渐加深，模型结构趋于复杂化，整体训练的性能和效果也在逐渐提升。

针对实际生产场景中番茄苗期生长遇到的高温胁迫问题，一般的RGB图像可以提供较为清晰的叶片分布，但是由于苗期番茄叶片形状不规则、分布密集、颜色近似且重叠严重，而早期的高温胁迫症状根据传统的图像处理方法只能进行粗略的分割，误差很大，因此需要采用深度学习技术对胁迫症状的精细特征进行划分和提取；另一方面，针对肉眼不可见的高温胁迫特征，热红外图像提供的叶面温度信息可以很好地对深度学习RGB图像提供的细化特征进行补充。本文综合了上述2个方面的研究内容提出了一种基于热红外和RGB图像的番茄苗期高温胁迫检测方法，对高温胁迫的症状和分级进行快速精准的预警，以防对番茄苗期的生长造成不可逆的损伤和影响[25]。

1 材料与方法

1.1 试验设计与图像采集

试验于2021年12月至2022年1月在南京农业大学工学院博远楼实验室进行。供试番茄品种为‘美粉先锋’，经过热水浸种、消毒、催芽以后，将番茄种子播在育苗盘中，在适温LED顶置光源人工气候箱(南京联策科学仪器有限公司)内进行育苗。育苗期间每天08:00—20:00设置温度28 ℃，光照度 50 000 lx，相对湿度 75%；20:00—08:00设置温度20 ℃，光照度为0，相对湿度75%。将番茄幼苗培育到“三叶一心”时，进行移栽定植，经过优选后将长势基本一致的幼苗移栽到 8.5 cm×11.5 cm×8 cm(高×上口径×底径)的塑料花盆中。当番茄幼苗进一步发育至3～4 叶，高度约15 cm时，对盆栽植株进行试验条件处理。试验期间08:00—20:00设定光照度 50 000 lx，20:00—08:00光照度为 0，试验处理第1、2天的昼、夜温度分别设置为35、25 ℃，使番茄幼苗正常健康生长的同时，适应亚高温环境，第3～6天的昼、夜温度分别设置为40、25 ℃，给予高温胁迫，设定相对湿度为75%，各植株灌水量一致，处理水分适宜。试验分为2个批次，每次45株幼苗，共90株幼苗。

在整个试验期间进行图像采集，试验开始第3～6天高温处理使番茄幼苗产生不同程度的胁迫症状。按一定的拍摄规则和拍摄顺序使用可自动对焦的智能手机iPhone XS Max原生相机获取所有番茄幼苗的冠层尺度RGB图像，成像分辨率为3 024×4 032，拍摄 900幅；并由 FLIR ONE Pro红外热像仪(美国菲力尔公司，量程-20～400 ℃)获取所有番茄幼苗的热红外图像，成像分辨率为480×640，拍摄810幅，建立试验样本数据集。为了降低环境温光条件和其余植株的噪声干扰，使用白纸对背景进行遮挡并选取冠层尺度进行拍摄。

1.2 试验流程

试验整体流程如图1所示，主要分3个部分进行：温度数据的计算与提取、构建胁迫症状分割模型和构建胁迫等级分类模型。

图1 试验整体流程图Fig. 1 Overall flow chart of the test

1.3 获得番茄苗期冠层温度数据

1.3.1 温度数据处理获取番茄幼苗的热红外图像，将其导入热红外图像处理软件FLIRTools中，通过将热红外图像进行像元分离，得到图像中样本每一个像素点的温度值CSV文件，将图像温度数据文件导入MATLAB软件(美国MathWorks公司)，并输出番茄幼苗热红外图像的温度分布直方图(图2)，将冠层温度的分布特征通过反演进行可视化，得到冠层能量分布三维曲面图(图3)。

图3 番茄幼苗冠层能量分布三维曲面图Fig. 3 3D surface map of energy distribution in canopy of tomato seedlings

通过图2、3可知，温度分布主要集中在23和31 ℃附近，由于背景用白纸遮挡，因此第1个峰值代表背景温度，第2个峰值代表番茄幼苗冠层温度。随着温度像素的变化存在着明显的能量波动，观察到2个峰值之间的温度阈值大约在25.2 ℃，以此可对热红外伪彩色图像进行阈值分割去除背景。

图2 番茄幼苗热红外图像温度分布直方图Fig. 2 Histogram of temperature distribution of thermal infrared image of tomato seedling

简单的热红外图像因受到环境噪声的影响，不具有良好的可分析性，不能作为番茄高温胁迫检测的可靠依据，需要对温度数据进行提取和处理，依据阈值分割后的热红外图像可以进行计算，得到试验期间每天12:00和16:00番茄幼苗冠层热红外温度最大值、最小值、极差、平均值和标准差，结果如表1所示。

由表1可知，随着高温胁迫程度的不断加深，番茄幼苗的冠层温度区间在慢慢提升，平均温度也随之提升，同时冠层日积温也呈增长趋势，最大温差范围在[7.5,9.9] ℃区间内浮动，冠层整体温度分散趋势比较稳定均匀。

表1 番茄幼苗冠层热红外温度参数变化表Table 1 Variation table of thermal infrared temperature parameters of tomato seedling canopy ℃

1.3.2 热红外温度特征指标计算与降维筛选为了消除图像采集时环境温度对热红外图像采集的噪声干扰，同时方便进行多组不同量纲温度数据之间的比较，对采集的温度数据先进行正规标准化计算，转化成无量纲标准化数据，方法参考文献[26]，其计算公式为：

将番茄的冠层温度正交标准化后的最大值、最小值、平均值、标准差作为特征指标～，将进行规范标准化后的无量纲温度数据作为，将式(2)中 m ax1≤i≤nXi用替换作为，正交标准化后的变异系数、冠气温差、信息熵[27]作为～，计算公式为：

其中， p(Xi)为温度值为的像素数与图像总像素数之比，Th表示采集环境温度标准化值。

通过热红外图像采集的温度数据可知，番茄冠层温度分布在20～35 ℃的温度范围内，将温度范围五等分，计算冠层温度中[20，23) ℃温度范围的温度频率，[23，26) ℃温度范围的温度频率，[26，29) ℃ 温度范围的温度频率，[29，32) ℃ 温度范围的温度频率，[32，35) ℃温度范围的温度频率。在相应温度区间内的温度变化，即温度频率的公式如下：

为了获得最佳的特征指标，需要对14个特征指标进行降维选取对比PCA和PLS模型发现，对于输入特征指标来说，PCA模型没有考虑筛选出的指标对输出特征的解释能力，仅依靠方差大小来进行判断，剔除了相互交叉部分信息的影响。而PLS模型利用逐步回归的思想，对输入特征和输出特征进行逐步分解，综合考虑筛选出的指标对输出特征的解释能力，提升了校正模型的性能[28]。因此选取PLS模型计算各个特征指标的相关系数和主成分贡献率。

1.4 构建高温胁迫症状分割模型

1.4.1 胁迫症状分类图4为采集到的部分番茄幼苗叶片RGB图像，本试验根据番茄幼苗在高温胁迫产生的不同症状将叶片划分为卷曲、下垂、收缩、枯萎和黄化5类，用以增强图像数据集的多样性，并给出不同症状的特征描述：卷曲表现为叶片由边缘向内不同程度的卷曲；下垂表现为叶片从叶尖开始向叶根呈下垂趋势；收缩表现为叶片从两边开始向内收缩露出部分叶背；枯萎表现为叶片从叶尖向内呈不同程度褐色枯萎状；黄化表现为叶片由受光位置扩散到整片叶子的黄化。

图4 不同高温胁迫症状的番茄幼苗叶片RGB图像Fig. 4 RGB images of tomato seedling leaves with different symptoms of high temperature stress

1.4.2 网络架构 本试验需要对苗期番茄的高温胁迫症状特征进行提取，番茄叶片形状不规则且相互之间重叠遮挡严重，因此对产生症状的叶片进行分割时需要较高的精度。一般的神经网络算法，如SSD、Yolo、RCNN等只能实现对目标的检测和分类，而Mask-RCNN[29]算法因能精确地保存像素的位置并完成逐像素的掩膜预测，使最终的模型不仅能够进行目标检测和分类，还能够进行实例分割，因此本文选用Mask-RCNN对苗期番茄高温胁迫症状进行检测识别。Mask-RCNN架构如图5所示，具体实现过程是基于Faster-RCNN[30]模型的骨架进行实例分割，对原来结构中的感兴趣区域(Region of Interest, RoI)池化 (Pooling)操作进行改进，使用不同的RoI对齐(Align)操作对模板中包含的元素进行输出，并在通过全连接层后的2个分支并行的情况下增加一个新的掩膜分支，内部结构采用全卷积网络 (Fully convolutional networks, FCN)[31]进行预测。首先采用残差网络ResNet101[32]作为主干特征提取网络(Backbone)，从网络的底层到高层分5层依次提取出番茄图像的低级特征(边缘、角、颜色等)和高级特征(叶片和茎等)，再使用特征金字塔网络 (Feature pyramid networks, FPN)将高级特征传入底层，使其与低级特征融合，得到特征图，再输入到区域建议网络 ( Region proposal network,RPN) 中，RPN通过不同尺寸的锚框(Anchor)寻找特征图中存在目标的区域，形成区域建议框，每个建议框分别输出Anchor的前景边框和前景/背景分类。之后通过RoI Align过程对特征图的特征尺寸进行对齐和固定，最后使用FCN对输出特征图进行RoI实例分割，产生3个分支以避免类别竞争，其中，掩膜分支需要通过一个全卷积网络后得到，生成独立的二值掩膜，再通过全连接层后，经过Softmax层得到分类分支，产生类别标签，经过边界框回归后得到预测边界框分支，产生矩形框坐标输出，3个分支综合最终得到实例分割结果。

图5 Mask-RCNN架构Fig. 5 Mask-RCNN architecture

1.4.3 图像数据处理使用 Labelme 标注工具[33]对原始RGB图像数据集中5种苗期番茄高温胁迫症状进行人工标注。由于番茄叶片是不规则的物体，因此采用多边形框进行精细标注，生成了530幅带有症状掩膜标注和类别数量的图像，仅针对单幅图像的症状掩膜标注数量为2～23。

数据增强方式能在一定程度上增加样本的复杂程度，使样本更具有代表性，从而提升模型的泛化能力和鲁棒性，提高模型整体的训练效果[34]。本文使用的方法包括：改变图像的亮度和对比度；对图像进行翻转；对图像进行角度(0～360 °)旋转。在不改变图片尺寸的前提下对数据集中图像进行3倍数据增强处理，最终得到1 590幅图像。对RGB数据集进行训练集、测试集和验证集的划分，比例为8∶1∶1，其中，验证集可以有效防止过拟合现象的出现。

1.4.4 胁迫症状分割模型训练本文通过迁移学习的方式使用MS_COCO数据集上的预训练权重，对苗期番茄高温胁迫症状数据集进行只调整Mask-RCNN全连接层参数的所有网络层级训练。网络训练环境是Windows 10操作系统，硬件配置为处理器 Intel(R) Gold 6226 CPU @ 2.70 GHz 2.69 GHz(2个处理器)，内存256 GB，显卡采用型号NVIDIA GeForce RTX 2080Ti的图形处理器 (Graphics processing unit, GPU)加速，编程语言为 Python 3.6，采用 Tensorflow-gpu 1.12.0和 Keras 2.1.5软件库作为框架。初始学习率(Learning_rate)设置为 0.000 1，权值衰减值设置为0.000 01，每个周期内1次处理样本的个数(Batch_size)设置5，动量(Momentum)设置为0.9，总共训练了100个周期(Epochs)，每个周期进行10次交叉验证。将Mask-RCNN模型的主干特征提取网络设置为ResNet50、ResNet101和MobileNet，并进行对比分析，网络性能参数如表2所示。

表2 主干特征提取网络性能参数Table 2 Performance parameters of backbone feature extraction network

Mask-RCNN网络采用多任务损失的形式，定义分割网络总体损失函数(L)为[35]：

1.5 构建高温胁迫等级分类模型

1.5.1 胁迫等级分类图6为采集到的部分番茄幼苗热红外图像，本试验将热红外番茄幼苗高温胁迫等级分为3类，试验第1、2天微高温适应的番茄幼苗标记为正常分类，记为等级0，试验第3、4天高温处理的番茄幼苗标记为轻度高温胁迫分类，记为等级1，试验第5、6天高温处理的番茄幼苗标记为重度高温胁迫分类，记为等级2。

图6 番茄幼苗叶片热红外图像Fig. 6 Thermal infrared images of tomato seedling leaves

1.5.2 胁迫分级模型训练本文选用了处理器Intel (R) Core (TM) i7-7700 CPU@3.60 GHz、内存(RAM)16 GB的计算机，采用 MATLAB R2019a 软件中的分类网络和模型函数进行计算。经过剔除共获得有效热红外图像540张，通过特征提取形成540条数据记录。每条数据记录由3部分组成：第1部分为降维筛选后的温度特征指标；第2部分为Mask-RCNN分割识别统计出来的5种不同高温胁迫症状的数量；第3部分为苗期番茄实际的高温胁迫等级。

选取4种常见的分类网络模型进行训练，包括NB、SVM、kNN和BPNN[36-38]。对于BPNN模型，网络结构层数设为14-30-14-3，训练回合数为30 000，学习率设为0.01，初始化权重为0.5，学习速率设为0.9；对于SVM模型，使用高斯核作为核函数，采用网格搜索法确定模型训练误差惩罚因子和核函数参数，分类器设置为“ovr”构造1对多分类；对于kNN模型，近邻数设置为3。对热红外数据集进行训练集和测试集的划分，比例为2∶1。

1.6 模型评价

对番茄胁迫症状/等级判别进行降维，简化为二分类问题，以胁迫症状分类为例，广义上可以理解成所有种类症状叶片和健康叶片的二分类识别问题，狭义上可以理解成单个种类的症状叶片和健康叶片的二分类识别问题。检测模型判断番茄胁迫症状/等级的混淆矩阵一般将目标分为4类，代表实际目标是症状叶片且被预测为症状叶片像素的数量；代表实际目标是症状叶片但被预测为健康叶片像素的数量；代表实际目标是健康叶片但被预测为症状叶片像素的数量；代表实际目标是健康叶片且被预测为健康叶片像素的数量。

根据混淆矩阵计算的4个参数，计算模型的评价指标。查准率(Precision,)是在识别出来的目标中正确预测到的目标占所有实际被预测到目标的比例；查全率(Recall,)是测试集中所有实际正确目标中被正确预测为正样本的比例；交并比( Intersection over Union，IoU)为系统预测框与实际标记框重合程度和2个框并集的比值，可以判断目标的捕获程度和预测的精确程度；准确率(Accuracy，)为标记正确的目标占总目标的比例；马修斯相关系数 ( Matthews correlation coefficient，)表示目标实际类别和模型预测类别之间的相关系数；是查准率和查全率的调和平均数；平均查准率(Average precision,)是在人为选定的IoU阈值(一般为0.5)设定下，单张图像的P-R曲线和坐标轴之间的面积；对数据集中每张图像的AP求均值，计算上述评价指标的公式如下：

2 结果与分析

2.1 PLA模型降维筛选温度特征指标结果

基于PLA模型计算的14个温度特征指标的相关系数和主成分贡献率如表3所示。由表3可见，特征指标与胁迫等级呈负相关，其余特征指标与胁迫等级呈正相关，正相关与负相关指标累计贡献率占总贡献率比重均较大。除少数特征指标外，大部分特征指标的主成分贡献率和相关系数的绝对值基本呈线性分布，其中，标准差()离群可能是在指标标准化后进一步消除了温度特征的离散程度；冠气温差()离群是因为使用了标准差作为计算参数；20～23 ℃温度频率()和32～35 ℃温度频率()离群可能是因为超出番茄幼苗冠层温度波动的范围，包含了大量无用的背景信息，形成了干扰；26～29 ℃温度频率()离群正好与之相反，分布在番茄幼苗冠层温度波动范围的中间位置，温度参数不具有很好的离散特性。

表3 温度特征指标的相关系数和主成分贡献率Table 3 Correlation coefficient and principal component contribution rate of temperature characteristic indicators

筛选出所有特征指标中贡献率大于3%的7个特征指标作为分类模型输入主成分，从大到小分别是变异系数 ()、29～32 ℃ 温度频率 ()、信息熵()、23～26 ℃ 温度频率 ()、规范替换值 ()、规范标准化值()和最大值()，累计贡献率为95.45%。

2.2 Mask-RCNN分割结果

分别从测试集轻度和重度胁迫分级RGB图像中随机选取1张输入Mask-RCNN模型后，人工标注的掩膜图像和3种不同主干特征提取网络输出的胁迫症状预测结果如图7所示。对于轻度胁迫图像，人工标注8个症状，ResNet50模型正确预测出7个症状，漏检1个；ResNet101模型正确预测出7个症状，漏检1个；MobileNet模型正确预测出6个症状，漏检2个。对于重度胁迫图像，人工标注12个症状，ResNet50模型正确预测出9个症状，漏检1个，混叠1个，错检1个；ResNet101模型正确预测出9个症状，漏检1个，混叠1个，错检1个；MobileNet模型正确预测出8个症状，漏检2个，混叠1个，错检1个。

图7 3种不同主干特征提取网络不同程度胁迫预测结果Fig. 7 Prediction results of different stresses on three different backbone feature extraction networks

在所有的5种胁迫症状中，观察到黄化、枯萎和收缩症状的检测平均置信度更高，而卷曲和下垂检测平均置信度稍低，可能是因为在对番茄幼苗叶片进行特征提取时，卷曲症状主要提取叶片边缘的异常形状特征，下垂症状主要提取叶片中上部和叶面积相对小的异常形状特征，因此这2种边缘特征较难以区分；而收缩症状主要提取边缘叶背像素值，枯萎症状主要提取局部枯萎褐色像素值，黄化症状主要提取叶片整体范围内的变黄像素值，这3种像素颜色特征相对较易区分。

针对漏检和混叠的症状，可能是因为番茄幼苗叶片分布密集，互相之间形成遮挡，而图像采集过程中因为高度差异、叶片边缘近似等因素影响没能对焦，导致显示出来的症状特征面积较小或者较为模糊；错检的症状可能是因为叶片具有复合的症状特征，因此虽然可以检测出异常，但难以进行正确的分类。当然这些漏检、错检的症状指标也不排除人为标注时的主观因素判断带来的误差。

更进一步，在对胁迫症状进行分割生成掩膜的过程中，可以看到ResNet101模型的掩膜区域对症状叶片的覆盖效果最准确，ResNet50模型对边缘角度较大的区域识别效果不好，其余检测效果接近ResNet101模型，而MobileNet模型仅分割出相应的范围，误差较大，相比于另外2种模型，均多漏检了1个症状，这可能是因为该主干特征提取网络容量较小，因此对小面积的叶片胁迫症状特征识别精度不高。因此在3种主干特征提取网络中，ResNet101模型可以取得最好的分割效果，ResNet50模型次之，MobileNet模型最差，测试集中其他胁迫图像分割结果与之类似。

由于预测结果图只能对个别图像的分割效果进行展示，因此对IoU=0.5时3种不同主干特征提取网络Mask-RCNN模型分割精度进行统计，结果如表4所示。对于3种主干特征提取网络来说，随着图像胁迫等级的加重，番茄幼苗的叶片在生长的同时胁迫症状也变得更加交错复杂，导致整体模型的分割精度指标都有所下降，即轻度胁迫的检测效果要优于重度胁迫，其中，ResNet101网络在轻度胁迫图像数据集达到最好的分割效果，各项指标均为最高；但是识别的整体性或者说预测像素的完整度不够高，包括一些漏检、混叠、错检现象的存在，其中，MobileNet模型在重度胁迫图像数据集的分割效果最差，各项指标均为最低。Mask-RCNN+ResNet101模型分割结果能够较好地反映总体样本中的症状特征指标，为输入分类模型的数据提供良好的研究基础和分级依据。

表4 IoU=0.5时3种不同主干特征提取网络Mask-RCNN模型分割精度Table 4 Segmentation accuracy of Mask-RCNN model of three different backbone feature extraction networks when IoU=0.5

Mask-RCNN+ResNet101模型损失函数值变化曲线如图8所示。可见，随着训练周期数的增加，模型训练集的损失函数值由2.097下降到0.152，模型验证集的损失函数值由2.468下降到0.898，虽然在训练过程中损失函数值在小范围内有一定的波动，可能是训练样本个体间的特征差异造成的，但总体损失函数呈下降趋势，并逐渐收敛，和Mask-RCNN+ResNet50模型、Mask-RCNN+MobileNet模型损失函数曲线变化趋势基本一致，说明深度学习模型整体训练情况良好。

图8 Mask-RCNN+ResNet101模型损失函数值变化曲线Fig. 8 Change curve of loss function value of Mask-RCNN+ResNet101 model

2.3 4种分类网络模型分级结果

图9 为4种不同模型测试集分级结果混淆矩阵，为了方便对分类模型总体评价指标进行计算，将混淆矩阵简化成二分类问题。从测试集的角度来看，所有180个样本经过随机分配后获得79个健康样本(0)、44个轻度胁迫样本(1)和57个重度胁迫样本(2)。一般归类错误样本都集中在比较靠近所分类别旁边的等级，符合样本数据的实际分布特性。分级模型整体的分类效果较好，可能是因为总体样本数固定，所以相对的训练集中健康样本较少、胁迫样本较多，存在非均衡训练的情况。

图9 4种不同模型测试集分类结果混淆矩阵Fig. 9 Confusion matrices of classification results of test sets of four different models

4种不同的分类网络模型在测试集上的高温胁迫分级精度如表5所示，BPNN的分类预测效果最好，准确率达95.6%，各项评价指标也均为最高，可能是因为BPNN采用了人工神经网络的复杂结构，具有良好的学习训练效果；SVM次之，可能是因为相比于2个模型有更好的超参数调整结构，利用误差惩罚因子和核参数来进行优化；kNN虽然没有固定的数学模型，但通过找最邻近分类的方式要好于仅使用概率模型分类的NB。针对模型中局部变异不均等的评价指标分布特征，仅kNN的查全率高于SVM，NB和KNN的查准率相同，这可能是因为不同的分类模型算法结构、优化参数侧重不同造成的。综合番茄幼苗的热红外温度特征指标和RGB胁迫症状分割指标，4种模型的分级准确率均达到了90%以上，说明选取的特征指标和胁迫等级间具有良好的相关性。

表5 不同分类网络模型的苗期番茄高温胁迫分级精度Table 5 Classification accuracy of high temperature stress of tomato at seedling stage with different classification network model

3 结论

本文提出了一种基于热红外和RGB图像的苗期番茄高温胁迫检测方法，结论如下：

通过苗期番茄的热红外图像，获取番茄冠层温度参数，将冠层温度能量分布进行反演可视化，通过温度阈值剔除背景干扰，采用PLS模型从14个特征指标中降维提取7个作为胁迫分级检测模型输入参数，累计主成分贡献率达95.45%。

基于深度卷积神经网络Mask-RCNN，通过迁移学习的方式在3种不同的主干特征提取网络ResNet50、ResNet101和MobileNet对数据增强后的苗期番茄RGB图像进行胁迫症状实例分割，其中，Resnet101+Mask-RCNN模型分割精度最高，对轻度和重度胁迫的 m AP分别为77.3%和73.8%。在RGB胁迫图像数据集显示出很好的检测效果，分割出5种胁迫症状作为特征指标输入胁迫分级检测模型。

将筛选出的7个温度特征指标和MASKRCNN模型分割出的5个胁迫症状特征指标构建分级数据集作为模型输入，NB、SVM、kNN和BPNN这4种胁迫分级检测模型在测试集的分级准确率分别为90.6%、93.3%、91.7%和95.6%，其中BPNN模型能获得最好的胁迫分级效果。

目前检测方法的处理流程较为复杂，后续可以通过批量处理、流程简化、软件统一化进行通用性改进和优化，以便移植到相应的检测装置、移动设备、农业装备或者农业机器人，实现更好的胁迫检测效果和实际场景应用价值。