基于多视图几何的白菜薹分割与关键表型测量

王瑞萍，刘东风，王先琳，杨会君,3,4

基于多视图几何的白菜薹分割与关键表型测量

王瑞萍1，刘东风2，王先琳2，杨会君1,3,4※

（1. 西北农林科技大学信息工程学院，杨凌 712100；2. 深圳市农业科技促进中心，南山 518057；3. 陕西省农业信息感知与智能服务重点实验室，杨凌 712100；4. 农业农村部农业物联网重点实验室，杨凌 712100）

植物表型调查是选育优良品种和基因功能研究的重要依据，为理解植物生长发育规律及环境的作用提供有力支持。针对传统叶菜类植物表型分析方法存在速度慢、误差大、维度限制等问题，该研究提出了一种基于高通量重建和茎叶自动分割的白菜薹关键表型参数提取方法。首先，基于多视图立体几何技术对白菜薹进行多视角RGB图像三维重建、尺度恢复、均匀简化、背景去除及点云去噪等预处理。之后，提出基于超体素的改进植物器官自动分割算法，将植株分为茎、叶片等不同语义类别。在此基础上，给出有效的表型参数计算方法，完成了株高、叶长、颜色等7个关键性状的无损、精确测量。试验结果表明，该研究实现了白菜薹关键表型自动分析，茎叶器官分割的精确率、召回率及1分数的均值分别为0.961、0.940、0.943；株高、株幅、叶长、叶宽的均方根误差分别为0.261、0.313、0.174、0.100 cm，叶面积及叶片数的均方根误差分别为1.608 cm2和0.283，平均绝对百分比误差分别为1.659%、1.643%、1.417%、2.486%、8.258%、6.000%。与其他方法相比，该研究具有较低的综合误差，可适应叶片形状不规则的植物表型参数提取研究。同时，克服了当前植物冠层幼叶难以分割、表型性状提取效率低等困难，为精准农业领域叶菜表型高效分析提供有效的技术手段，可在进一步的基因型到表型研究中发挥重要作用。

三维；数字化；茎叶分割；表型测量；白菜薹

0 引 言

表型是基因型和环境共同作用的结果，然而大量性状数据缺失成为分子育种技术中基因差异研究的难题。传统田间性状测量需要投入大量的人力物力及时间，测量结果易受测量人员、测量工具及环境等因素影响。所以，建立一种高效、准确、可重复、高通量的表型研究方法，对有效监测植物生长情况、培育优质品种、推进性状调控机制研究等具有重要意义[1-2]。

计算机视觉技术无需接触待测植物，便可以准确测量出植物的形态、结构、颜色、纹理等表型特征，成为植物性状无损测量的主要技术手段。如植物图像中叶片提取和叶数计算[3]；玫瑰丛莲座面积、叶长和总叶展开量等性状提取[4]；基于击中击不中变换和密度聚类DBSCAN（Density-Based Spatial Clustering of Applications with Noise）的油菜角果长度识别和每角粒数预测[5]。然而，基于图像的表型测量技术由于植株间遮挡导致精度不高，缺乏深度信息不适合用于测量体积、叶长等三维形态学参数[6]。

相比二维图像，三维信息能够更准确地描述植物空间形态，避免了因维度限制而难以监测植物性状的情况。随着激光扫描仪、飞行时间相机、激光雷达等3D重建技术的快速发展，基于点云的植物表型研究逐渐展开。Xiang等[7]使用Kinect v2相机采集高梁植株点云并创建3D骨架化算法，获取株高、叶角和叶面积等参数；Miao等[8]利用最小二乘法，结合主成分分析和最短路径计算玉米叶片性状；阳旭等[9]采用三维激光扫描LiDAR技术获取棉花植株的多时序点云数据，进而通过随机采样一致性、匈牙利算法等实现了株高、叶长、叶宽等表型参数的动态量化。然而，三维扫描设备价格普遍高昂，激光雷达操作复杂且采集的数据量过大[10]，对算法运行效率带来较大影响。深度相机对环境要求高，受光照条件影响较大。相比以上高成本传感器直接获取三维点云，多视图几何（Multiple View Stereo，MVS）的重建技术因具备自校正、受环境约束较少、仅需低廉RGB相机等优势，在植物表型获取与分析中的应用更加普遍。Elnashef等[11]使用多视图几何方法快速重建小麦、玉米、棉花等三维模型并基于张量分割茎叶，进而基于密度聚类DBSCAN、主成分分析评估叶长和叶宽；Fang等[12]对茄子、辣椒和黄瓜等植物的图像序列进行三维重建，采用区域生长法完成植株分割，Geomagic Studio软件测量叶片参数。

上述三维表型测量方法主要针对玉米、棉花和高粱等几种植物进行形态分析，算法复杂度较高、获取与处理的自动化程度低[13-14]，且对于彼此接近的新叶，容易发生骨架提取或器官分割错误[15]。针对以上问题，本文以形态特征不规则的叶菜类植物——白菜薹为研究对象，基于多视图立体几何技术获取白菜薹点云，提出一种基于超体素的改进茎叶器官自动分割算法，并给出株高、株幅、叶片数、叶长、叶宽、叶面积以及植株颜色等关键表型性状的无损、精确测量方法，对白菜薹品种评价及育种效率提高具有重要意义。

1 材料与方法

1.1 方法概述

本文白菜薹关键表型性状测量技术研究框架如图1所示，主要包含以下3个步骤：

1）数据获取及预处理：使用普通RGB采集白菜薹高分辨率视频，基于MVS技术重建3D模型后进行预处理，高效获取纯净的白菜薹点云。

2）植株器官分离：针对表型复杂的白菜薹等叶菜类植物器官的分割需求，改进基于超体素的点云分割方法，自动分离茎杆和叶片。

3）关键表型计算：提出适应白菜薹植株及其叶片性状计算方法，测量整株和器官的尺寸参数、色彩性状。

注：MVS为多视图几何方法。下同。

1.2 数据获取与预处理

1.2.1 白菜薹三维重建

本文从深圳市农业科技促进中心试验示范场适宜栽培的试验品种、植株生长规律等方面展开调查，最终选择泡泡温室中以盆栽种植的品种1（702-1-4）、品种2（49-7）、品种3（49-5）、品种4（深早3-1-1-10）、品种5（雄心一号）和品种6（增城尖叶5-1-2-3）白菜薹品种作为研究对象，种植行距和株距均为13 cm。其中，每个品种选择10株，获取苗期、生长期、抽薹期的白菜薹数据，因篇幅关系，图2仅展示了生长期的部分白菜薹植株。此外，补充拍摄了10株氮肥试验下品种3的抽薹期植株，与常规植株的颜色性状形成对比。

白菜薹多视角视频数据的采集装置如图3所示，通过遥控器发射红外信号控制智能电动转盘旋转，转速为3 r/min。在摄影棚顶部前后2个位置固定条形光源来减少阴影。将植株放置在摄影棚中的转盘上，RGB相机定焦到植株中部位置。使用支架调整相机高度和角度，在20～25 s内拍摄1高度的顶部45°俯视角和2高度的中部平视角下的360°旋转视频，以覆盖植株完整表面，保证三维重建质量。

a. 品种1（702-1-4）a. Variety 1 (702-1-4)b. 品种2（49-7）b. Variety 2 (49-7)c. 品种3（49-5）c. Variety 3 (49-5) d. 品种4（深早3-1-1-10）d. Variety 4 (Shenzao 3-1-1-10)e. 品种5（雄心一号）e. Variety 5 (Xiongxin-1)f. 品种6（增城尖叶5-1-2-3）f. Variety 6 (Zengcheng sharp-leaf 5-1-2-3)

1.摄影棚 2.电源线 3.智能电动转盘开关 4.可伸缩相机支架 5.RGB相机 6.红外遥控器

1.Photostudio 2.Power cable 3.Intelligent electric turntable switch 4.Retractable camera bracket 5.RGB camera 6.Infrared remote control

注：1、2分别为顶部俯视高度和中部平视高度，cm。

Note:1and2are the top view height and the middle view height, cm, respectively.

图3 植物表型数据采集装置

Fig.3 Plant phenotypic data acquisition device

抽取相邻图像重叠区域为70%～80%的帧序列并通过分水岭算法[16]去噪，以提升重建效率和数据纯净度。之后，使用RealityCapture软件对多视角图像进行重建处理，恢复密集的彩色点云，如图4a～4d所示。在标准三维空间中，基于MVS技术生成的点云模型的尺度与实际植株相比存在尺度差异[17]，同时模型数据量大，包含花盆、土壤等无关背景噪声，需要进行预处理以建立纯净的白菜薹植株三维模型。

1.2.2 尺度恢复

本文利用随机采样一致性算法[18]拟合植株生长背景中花盆的最大切面，求取多次拟合所得的平均直径MVS从而减小误差。以真实直径true（12.5 cm）作为基准，计算比例因子，如式（1）所示。将点云坐标逐一与比例因子相乘，可恢复厘米级的植株真实尺度如图4e。

1.2.3 均匀简化

由于重建得到的点云较为稠密，影响算法处理速度，需对三维植株模型进行简化处理。本文采用均匀下采样方法，通过创建三维体素栅格，并以每个体素的重心近似代表体素内所有点，实现植物点云精简。依据白菜薹植株厘米级的小尺度特点，将体素大小设为固定值0.04，算法运行时间为2～5 s，植株点云模型简化率保持在30%左右，能够较好地保留特征信息，如图4f所示。

1.2.4 背景去除

基于HSV模型对植株点云进行直方图统计，有效去除红色花盆、棕色土壤等无关背景。将点云的RGB空间转换到HSV空间，建立三维点的值（色调）频率直方图和核密度图。无关背景与植株在色调统计直方图上的分布区域存在明显差异，分别为∈(0, 60)、∈(70, 100)，可根据值范围提取植株点云。考虑到植株可能包含少量发黄发白的叶片，需要适度扩大值范围。将植株的约束范围设为∈(60, 120)时，算法运行时间为2～3 s，均能达到如图4g所示的背景去除效果。

1.2.5 点云去噪

式中标准差系数取1.0。

初步去噪后，点云中仍留存一些悬空的孤立点或无效点，因其包含的信息量较小可以忽略不计，本文利用半径滤波方法进行去除。以每个点在半径邻域内的近邻点数作为判断依据，当数量大于给定值时，保留该点，否则剔除。当取0.8，取100时，可实现噪点的有效去除，如图4h所示。整个去噪过程所需时间为1～2 s。

a. 视频帧序列a. Video frame sequenceb. 图像去噪b. Image denoisingc. MVS重建c. MVS reconstructiond.原始点云模型d. Original point cloud model e. 尺度恢复e. Scale recoveryf. 均匀简化f. Uniform simplificationg. 背景去除g. Background removalh. 点云去噪h. Point cloud denoising

1.3 白菜薹三维点云分割

植物点云的茎、叶分割是性状准确测量的前提。为解决现有方法对先知条件或人工的依赖[19]，本文提出一种改进超体素的茎叶自动分离方法。该方法通过以下3个步骤，减少计算量，提升分割速度和精度。1）基于超体素聚类对三维植株进行过分割，用于加快点云处理速度并获取良好的边界依附性；2）利用凹凸性判据融合过分割结果，以提升超体素边界分割准确度，解决因植株整体颜色差异较小导致的器官分割错误问题；3）高效检测植株的部分茎点实现茎叶自动分离，以适应白菜薹植株复杂形态，如图5所示。

a. 植株点云a. Plant point cloudb. 器官分割b. Organ segmentationc. 茎点检测c. Stem point detectiond. 茎叶分离d. Stem and leaf separation

1.3.1 超体素聚类

1.3.2 凹凸性分割

根据conv创建超体素凸度图，并采用基于超体素的区域生长算法[21]将小区域聚类成较大区域。最终得到白菜薹点云的器官分割结果如图5b所示，复杂叶片仍存在过分割现象，但茎、叶的片段分割正确，未发生粘连。

1.3.3 茎叶自动分离

由于白菜薹不具备棉花、玉米等植物所拥有的直线特征，难以在器官凹凸性分割的基础上直接识别茎杆和叶片。为提升器官提取效率和准确度，本研究依据白菜薹茎杆呈现的圆柱特征，利用随机采样一致性算法检测不同高度上茎点，进而抽取茎点所属的超体素区域，实现茎叶器官的自动分离，如图5c～5d所示。根据白菜薹茎秆的统计特性和先验知识，将迭代过程中圆柱模型的半径范围设为0.2。考虑到茎杆的不完全规则性，适度放宽模型拟合条件，将距离阈值设为0.03。

1.4 白菜薹关键性状计算

依据白菜薹DUS测试指南[22]，本文将研究性状主要分为三类：株高、株幅等整体尺寸参数，叶长、叶宽、叶面积和叶片数等器官尺寸参数，颜色性状参数。

1.4.1 整体尺寸参数

设计了结合主成分分析（Principal Components Analysis，PCA）和有向包围盒（Oriented Bounding Box，OBB）的植物株高、株幅性状计算方法。由于重建得到的三维点云模型生长方向与真实植物不一致（图6a），通过PCA计算主方向并对坐标进行校正。首先，获取植物点云质心并建立协方差矩阵，将矩阵特征值从大到小排序，对应的特征向量即为植物点云的3个主成分方向。之后，通过质心和主方向创建旋转平移矩阵，将点云主方向与参考坐标系的坐标轴进行对齐，实现图6b所示的坐标校正。最后，取坐标轴边界值构建图6c所示的OBB有向包围盒。以植株点云第一主成分方向上（轴）包围盒长度作为株高，以第二、三主成分方向上（、轴）较大值为株幅，完成株高和株幅性状计算，算法耗时约2 s。

a. 三维模型初始位置a. Initial position of 3D modelb. 坐标校正后位置b. Position after coordinate correctionc. 包围盒c. Bounding box d. 叶片集群d. Blade clusterse. 聚类分割e. Clustering segmentationf. 噪点去除f. Noise removal

1.4.2 叶片器官参数测量

1）叶片数

对于茎叶分离所得的叶片集群（图6d），本文采用基于平滑阈值的区域增长算法[23]，通过聚集特征相似点来提取独立的完整叶片，进而完成叶片数计算。选择曲率最小点作为初始种子点，并依据平滑阈值Thresh和曲率阈值Thresh约束对叶片点云进行生长聚类。当聚类的点数少于阈值Thresh时，将其视为极小幼叶或噪点进行去除。叶片集群分割结果如图6e～6f，聚类数量即为植株叶片数。通过固定其他参数变化1个参数进行多组试验，最终得到Thresh取值为5，Thresh为3，Thresh为500，计算过程耗时2 s左右。

2）叶长、叶宽

为提高叶脉提取效率，本文提出基于主成分分析的路径搜索算法。相较于复杂的最短路径算法[13]，仅需极少参数便可实现叶长、叶宽的快速准确估计。

3）叶面积

本文基于贪婪投影三角化算法[24]对白菜薹叶片点云进行曲面重建。利用海伦公式（式（7））计算单个三角形的面积并求和，即可得到整个叶片面积。对三角化过程的算法参数进行多次调试，最终得到搜索邻域的大小为2.5个体素栅格，三角形最大边长为0.25 cm，三角形最大角和最小角分别为120°和10°，算法耗时1～2 s。

1.4.3 颜色性状度量

颜色性状作为反映植物营养状况的重要特征，可用于植物养分缺失与否的快速判断[25]。根据白菜薹植株色调敏感特点，本文提出一种基于HSV模型和均值颜色直方图的颜色性状度量算法，实现植株色调（Hue）比例的直观表达。首先将植物从RGB空间转换到HSV空间，在Hue维度统计像素分布情况。为提高精确度，采取以Hue两倍范围（0°～360°）为基准的30个色调区间均匀划分法。将像素点色调取均值作为对应区间的颜色，进而通过直方图统计获得不同色调区间的比例。

本研究综合农艺专家的育种经验及DUS测试标准，将植物划分为黄绿色、中等绿色、深绿色3个等级，使用颜色性状度量算法获取不同植株中3个颜色等级之间的比例。其中，以黄绿色的占比作为判断依据，区分常规条件和缺氮条件下白菜薹植株的细微颜色差异。

2 结果与分析

2.1 分割试验

选取本文所有白菜薹品种不同生育期的60个植株作为分割试验对象，结合精确率（precision）、召回率（recall）及1分数（1-score）设计分割算法精度评估指标，并与CloudCompare软件标注的真实值进行对比，实现植株器官分割总体准确性的量化评价，如式（8）～式（10）所示。

式中TP表示与当前器官真实标注匹配的点数，FP表示将其他器官错误划分为当前器官的点数，FN表示将当前器官错误划分为其他器官的点数。

将本文分割方法和常用的基于平滑阈值的区域增长分割方法[23]、基于颜色的区域增长分割方法[26]进行对比，每次试验均通过控制变量策略将以上2种方法的参数值调整到最优，最终植株器官整体分割精度的对比情况如表1所示。本文器官分割方法的精确率、召回率和1分数的均值分别为0.961、0.940和0.943，明显高于其他方法，更适用于白菜薹植株的器官分割过程。

表1 植株器官分割精度对比

2.2 数量性状测量试验

依据性状分析的对象类别接近程度、植株性状计量单位（厘米级）以及表型技术应用普及性，本文对其他性状测量方法进行了分析。如，利用坐标极差、最短路径及截面切分等测量玉米株高和叶片性状[27]；基于骨架提取技术获取水稻株高、叶长及叶片数等性状[28]；通过神经网络模型估测绿萝叶片性状[29]；采用自适应加权算子计算玉米叶长[30]；使用Geomagic Studio 软件提取黄瓜叶片参数[12]。与以上植物表型性状计算方法相比，本文方法的均方根误差RMSE和平均绝对百分比误差MAPE（<10%）均处于较低水平，在株高、株幅、叶长及叶宽等性状的测量方面具有显著优势（表2），能够提供更为准确的形态学分析。

注：RMSE为均方根误差，MAPE为平均绝对百分比误差。下同。本文的测试数据量为50，部分数据点发生重叠。其中，叶片数具有较多完全重合的数据点，数据点半径随频数增加而变大。

表2 白菜薹性状测量误差

注：株高、株幅、叶长及叶宽RMSE单位为cm，叶面积RMSE单位为cm2。Note: The RMSE unit of plant height, plant width, leaf length and leaf width is cm, and the RMSE unit of leaf area is cm2.

2.3 非数量性状试验

为了更好地评估本文所提出颜色性状度量方法的有效性，设计了氮肥缺失对植株颜色的影响评价试验。在其他环境条件相同的情况下，以品种3为试验对象，分别种植了常规和氮肥缺失2组白菜薹植株。从视频中批量抽取不同白菜薹植株的序列图像，并基于 PyCharm2019.1.1环境使用Python2.7和OpenCV4.1.1量化颜色性状，记录黄绿色占比，如表3所示。

表3 植物图像中黄绿色比例统计

表3统计了常规、缺氮植株共671张图像的黄绿色比例，由比例均值和范围可知，2种植株存在明显差异，将黄绿色比例作为分类依据较为合理。然而，2种植株的黄绿色比例范围存在重合区域20.081%～36.970%，需划分一个明确的分界线。常规植株中黄绿色比例大于30%的异常图像有28张，仅占总体的4.173%，而缺氮植株中黄绿色比例小于30%的异常图像有22张，仅占总体的3.279%。因此，为减小统计和分类误差，以30%为分界线，将黄绿色比例位于区间[5%，30%]的植株视为健康状态，将黄绿色比例位于区间(30%，80%]的植株视为缺氮状态。为验证以上分类标准的正确性，使用精确率、召回率、1分数等指标对分类结果进行评价。通过计算可得：精确率、召回率和1分数分别为0.922、0.938、0.930。

3 讨 论

根据国家白菜薹品种测试标准[30]，株高、株幅、叶片数、叶长、叶宽、叶面积、叶色是评价白菜薹品种的部分关键性状指标，本文方法可同时提供这7个表型性状的量化评估（表2、表3）。Guo等[31]通过雷达建立冠层点云的方法实现植株个别性状高通量、自动化测量，但设备昂贵，需配套轨道支架，叶片遮挡还会造成数据采集不完整。而本文方法具有设备简单、成本低、使用方便等特点，用于白菜薹品种测试时代替部分人工，提高调查效率。

白菜薹叶片数、面积与产量呈正相关[32]，也决定着商品性，因此叶片数和面积是品种评价的重要农艺性状。本文提出的植物器官提取方法自动化程度高，能够正确分割冠层新生叶片。然而，白菜薹叶片褶皱及叶柄与杆连接处特征差异度较小，叶片往往会发生过分割问题（图 5b），致使后续叶片性状测量出现错误。本研究在计算叶片数之前，对叶片集群进行聚类分割和去噪处理。试验表明，能提取包含叶柄与叶面的完整叶片（图6f），叶长、叶宽、叶片数等性状的计算误差较低。尽管对上层新生叶片和下层被遮挡叶片具有较好的分割效果，对于最下层、不完整的枯萎叶片识别效果欠佳，该类叶片接受光照较少，对品质评价影响较小。

本文提出的植物数量性状计算方法的综合误差低，颜色性状度量法分辨植株细微颜色差异的1分数高达0.930，适用于形态特征复杂的叶菜类植物表型自动分析。其中株高、株幅、叶长、叶宽等表型参数的提取准确率比叶面积、叶片数高。主要原因是：人工测量叶面积依靠玻璃板压平、标尺和ImageJ图像软件实现，叶片预处理不当会导致叶面积被低估；人工测量叶片数时，是否将顶部幼小叶片纳入统计等未统一标准，因此人工测量值与真值之间可能会有偏差。

4 结 论

本研究提出了基于超体素改进的准确茎叶分割方法和白菜薹关键表型性状测量算法。在6个品种上的试验结果表明，本文的植物器官分割过程复杂程度低、无需人工参与，分割的精确率、召回率及1分数分别为0.961、0.940、0.943；本文方法表型参数提取能力较强，算法测量值与人工测量值之间线性关系显著，且综合误差低，均方根误差低至0.100 cm、平均绝对百分比误差低至1.417%；基于HSV的均值颜色直方图可评估不同环境下的植株颜色差异，实现植物健康状况区分，精确率、召回率及1分数分别为0.922、0.938、0.930。本研究提出的关键表型分析方法，可推广至甜菜、芥蓝等植物的高通量表型自动分析研究和品种分类应用。

本文方法暂未覆盖全生育期的花、薹等器官性状研究。未来可通过进一步研究薹粗、薹体积等表型性状，完善国家白菜薹测试数字化标准，提高作物测试自动化水平，缓解现有测试标准定性化、手工化、不准确等问题。

[1] 陆健强，兰玉彬，毋志云，等. 植物三维建模ICP点云配准优化[J]. 农业工程学报，2022，38(2)：183-191.

Lu Jianqiang, Lan Yubin, Wu Zhiyun, et al. Optimization of ICP point cloud registration in plants 3D modeling[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 183-191. (in Chinese with English abstract)

[2] Li Y, Wen W, Miao T, et al. Automatic organ-level point cloud segmentation of maize shoots by integrating high-throughput data acquisition and deep learning[J]. Computers and Electronics in Agriculture, 2022, 193: 106702.

[3] Kumar J P, Domnic S. Image based leaf segmentation and counting in rosette plants[J]. Information Processing in Agriculture, 2019, 6(2): 233-246.

[4] An N, Palmer C M, Baker R L, et al. Plant high-throughput phenotyping using photogrammetry and imaging techniques to measure leaf length and rosette area[J]. Computers and Electronics in Agriculture, 2016, 127: 376-394.

[5] 姚业浩，李毅念，陈玉仑，等. 基于油菜角果长度图像识别的每角粒数测试方法[J]. 农业工程学报，2021，37(23)：153-160.

Yao Yehao, Li Yinian, Chen Yulun, et al. Testing method for the seed number per silique of oilrape based on recognizing the silique length images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(23): 153-160. (in Chinese with English abstract)

[6] Li C, Adhikari R, Yao Y, et al. Measuring plant growth characteristics using smartphone based image analysis technique in controlled environment agriculture[J]. Computers and Electronics in Agriculture, 2020, 168: 105123.

[7] Xiang L, Bao Y, Tang L, et al. Automated morphological traits extraction for sorghum plants via 3D point cloud data analysis[J]. Computers and Electronics in Agriculture, 2019, 162: 951-961.

[8] Miao T, Zhu C, Xu T, et al. Automatic stem-leaf segmentation of maize shoots using three-dimensional point cloud[J]. Computers and Electronics in Agriculture, 2021, 187: 106310.

[9] 阳旭，胡松涛，王应华，等. 利用多时序激光点云数据提取棉花表型参数方法[J]. 智慧农业(中英文)，2021，3(1)：51-62.

Yang Xu, Hu Songtao, Wang Yinghua, et al. Cotton phenotypic trait extraction using multi-temporal laser point clouds[J]. Smart Agriculture, 2021, 3(1): 51-62. (in Chinese with English abstract)

[10] Zhu Y, Sun G, Ding G, et al. Large-scale field phenotyping using backpack LiDAR and CropQuant-3D to measure structural variation in wheat[J]. Plant Physiology, 2021, 187: 716-738.

[11] Elnashef B, Filin S, Ran N L. Tensor-based classification and segmentation of three-dimensional point clouds for organ-level plant phenotyping and growth analysis[J]. Computers and Electronics in Agriculture, 2019, 156: 51-61.

[12] Fang H, Zhu J, Hu P, et al. Image-based dynamic quantification and high-accuracy 3D evaluation of canopy structure of plant populations[J]. Annals of Botany, 2018, 121(5): 1079-1088.

[13] Panjvani K, Dinh A V, Wahid K A. LiDARPheno – A low-cost LiDAR-based 3D scanning system for leaf morphological trait extraction[J]. Frontiers in Plant Science, 2019, 10: 147.

[14] Zermas D, Morellas V, Mulla D, et al. 3D model processing for high throughput phenotype extraction – the case of corn[J]. Computers and Electronics in Agriculture, 2019, 172: 105047.

[15] Wu S, Wen W, Xiao B, et al. An accurate skeleton extraction approach from 3D point clouds of maize plants[J]. Frontiers in Plant Science, 2019, 10: 248.

[16] 孙钊，潘磊，谢运鸿，等. 分水岭算法在林业中的应用[J]. 世界林业研究，2021，34(3)：63-67.

Sun Zhao, Pan Lei, Xie Yunhong, et al. Application of watershed algorithm to forestry[J]. World Forestry Research, 2021, 34(3): 63-67. (in Chinese with English abstract)

[17] Rr A, Caa B, Ll A, et al. Implementation of an algorithm for automated phenotyping through plant 3D-modeling: A practical application on the early detection of water stress[J]. Computers and Electronics in Agriculture, 2022, 197: 106937.

[18] Ghahremani M, Williams K, Corke F, et al. Direct and accurate feature extraction from 3D point clouds of plants using RANSAC[J]. Computers and Electronics in Agriculture, 2021, 187(13): 106240.

[19] Turgut K, Dutagaci H, Galopin G, et al. Segmentation of structural parts of rosebush plants with 3D point-based deep learning methods[J]. Plant Methods, 2022, 18(1): 1-23.

[20] Stein S C, Schoeler M, Papon J, et al. Object partitioning using local convexity[C]//Computer Vision & Pattern Recognition. Columbus, Ohio, USA: IEEE, 2014, 304-311.

[21] Luo N, Jiang Y, Wang Q. Supervoxel based region growing segmentation for point cloud data[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2021, 35: 2154007.

[22] 中华人民共和国农业部. 植物新品种特异性、一致性和稳定性测试指南不结球白菜：[S]. 2012.

[23] Rabbani T, Heuvel F A, Vosselman G. Segmentation of point clouds using smoothness constraint[J]. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, 2006, 36: 248-253.

[24] 彭程，李帅，苗艳龙，等. 基于三维点云的番茄植株茎叶分割与表型特征提取[J]. 农业工程学报，2022，38(9)：187-194.

Peng Cheng, Li Shuai, Miao Yanlong, et al. Stem-leaf segmentation and phenotypic trait extraction of tomatoes using three-dimensional point cloud[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 187-194. (in Chinese with English abstract)

[25] 韩旭，赵春江，吴华瑞，等. 基于注意力机制及多尺度特征融合的番茄叶片缺素图像分类方法[J]. 农业工程学报，2021，37(17)：177-188.

Han Xu, Zhao Chunjiang, Wu Huarui, et al. Image classification method for tomato leaf deficient nutrient elements based on attention mechanism and multi-scale feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 177-188. (in Chinese with English abstract)

[26] 王雯，任小玲，陈逍遥. 一种改进的区域增长彩色3D点云分割算法[J]. 国外电子测量技术，2018，37(11)：10-14.

Wang Wen, Ren Xiaoling, Chen Xiaoyao. Improved region growing segmentation algorithm based on color 3D points cloud[J]. Foreign Electronic Measurement Technology, 2018, 37(11): 10-14. (in Chinese with English abstract)

[27] 朱超，苗腾，许童羽，等. 基于骨架和最优传输距离的玉米点云茎叶分割和表型提取[J]. 农业工程学报，2021，37(4)：188-198.

Zhu Chao, Miao Teng, Xu Tongyu, et al. Segmentation and phenotypic trait extraction of maize point cloud stem-leaf based on skeleton and optimal transportation distances[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(4): 188-198. (in Chinese with English abstract)

[28] 魏天翔，汪小旵，施印炎，等. 基于三维重建的秸秆地单株水稻生长形态检测研究[J]. 南京农业大学学报，2021，44(6)：1197-1208.

Wei Tianxiang, Wang Xiaochan, Shi Yinyan, et al. Detection of single rice early growth morphology based on 3D reconstruction under straw returning condition[J]. Journal of Nanjing Agricultural University, 2021, 44(6): 1197-1208. (in Chinese with English abstract)

[29] 陈玲，王浩云，肖海鸿，等. 利用FL-DGCNN模型估测绿萝叶片外部表型参数[J]. 农业工程学报，2021，37(13)：172-179.

Chen Ling, Wang Haoyun, Xiao Haihong, et al. Estimation of external phenotypic parameters of Bunting leaves using FL-DGCNN model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(13): 172-179. (in Chinese with English abstract)

[30] 胡建平，刘凯，郭新宇，等. 自适应加权算子结合主曲线提取玉米叶片点云骨架[J]. 农业工程学报，2022，38(2)：166-174.

Hu Jianping, Liu Kai, Guo Xinyu, et al. Point cloud skeleton extraction of maize leaves based on adaptive weighting operator and principal curve[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(2): 166-174. (in Chinese with English abstract)

[31] Guo Q, Wu F, Pang S, et al. Crop 3D—a LiDAR based platform for 3D high-throughput crop phenotyping[J]. Science China (Life Sciences), 2018, 61(3): 328-339.

[32] 吴湖龙，成红波，刘乐承. 白菜薹主要数量性状的选择及与单株产量的关系研究[J]. 长江大学学报（自然科学版），2019，16(2)：60-64.

Wu Hulong, Cheng Hongbo, Liu Lecheng. Relationship between the selection of main quantitative trait and yield per plant of flowering Chinese cabbage[J]. Journal of Yangtze University (Natural Science Edition), 2019, 16(2): 60-64. (in Chinese with English abstract)

Segmentation and measurement of key phenotype for Chinese cabbage sprout using multi-view geometry

Wang Ruiping1, Liu Dongfeng2, Wang Xianlin2, Yang Huijun1,3,4※

(1.,,712100,; 2.,518057,; 3.,712100,; 4.,,712100,)

Plant phenotype has been one of the most important indicators to select and breed superior varieties in modern agriculture. The traditional phenotypic analysis of leafy vegetables cannot fully meet the requirement of large-scale production in recent years, such as the slow speed, large error, and limited dimension. Moreover, most morphological measurements have been currently confined to only several plants (such as maize, cotton and sorghum), particularly with the complex procedure and low automation. Taking the Chinese cabbage sprout as the research object, this study aims to extract the key phenotypic parameters of the plant using the high-throughput reconstruction and automatic segmentation of stem and leaf. Firstly, a multi-view geometry was utilized to reconstruct the three-dimensional model of Chinese cabbage sprout from sequence images. A series of pre-processing operations were used to establish the three-dimensional model of pure plants with the actual scale, including scale recovery, background removal, point cloud denoising, and uniform simplification. Secondly, the stem and leaf organs were automatically segmented using the convexity criterion and random sampling consistency. Thirdly, the principal component analysis and directed bounding box were combined to measure the plant height and width for the phenotypic parameters. The number of leaves was counted by the cluster segmentation of leaf clusters. The shortest path searching was selected to accurately calculate the leaf length and width. A greedy projection triangulation was used to calculate the leaf area. An HSV model and mean color histogram were utilized to measure the color characteristics for distinguishing health status of plants. The classification accuracy, recall, and1-score were 0.922, 0.938, and 0.930, respectively. Finally, the segmentation experiments were carried out on the six varieties of Chinese cabbage sprouts at different growth stages. A comparison was then made with the ground truth. It was found that the parts belonging to stem and leaf were segmented correctly. The average precision, recall, and1-score of stem and leaf organ segmentation were 0.961, 0.940 and 0.943 respectively, indicating better performance than the smoothing threshold-based and the color-based region growth. In addition, 50 samples were tested to verify the measurement. A regression analysis was performed between the algorithmic and manual measurements of Chinese cabbage sprout plant traits. The experimental results showed that the determination coefficients of plant height, plant width, leaf length, leaf width, leaf area, and leaf number were 0.987, 0.982, 0.984, 0.985, 0.922, and 0.924, respectively. The mean absolute percentage errors were 1.659%, 1.643%, 1.417%, 2.486%, 8.258%, and 6.000%, respectively. Among them, the Root Mean Square Error (RMSE) of plant height, plant width, leaf length, and leaf width were 0.261, 0.313, 0.174, and 0.100 cm, respectively. The RMSE of leaf area and number were 1.608 cm2, and 0.283, respectively. Consequently, the automatic measurement was realized for the seven key phenotypes of Chinese cabbage sprouts, including the plant height, leaf length, and color in lower error. Therefore, the segmentation and measurement can be expected to extract the plant phenotypic parameters with irregular leaf shape, especially in the young leaves of plant canopy, with high efficiency of phenotype extraction. The finding can provide an effective technical means for the efficient and accurate phenotypic analysis of leafy vegetables.

three dimensional; digitization; stem and leaf segmentation; phenotype measurement; Chinese cabbage sprout

10.11975/j.issn.1002-6819.2022.16.027

TP391.4

A

1002-6819(2022)-16-0243-09

王瑞萍，刘东风，王先琳，等. 基于多视图几何的白菜薹分割与关键表型测量[J]. 农业工程学报，2022，38(16)：243-251.doi：10.11975/j.issn.1002-6819.2022.16.027 http://www.tcsae.org

Wang Ruiping, Liu Dongfeng, Wang Xianlin, et al. Segmentation and measurement of key phenotype for Chinese cabbage sprout using multi-view geometry[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 243-251. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.16.027 http://www.tcsae.org

2022-05-02

2022-08-07

陕西省重点研发计划项目（2021NY-179）；广东省乡村振兴战略专项-农业生产发展项目（2130122）

王瑞萍，研究方向为植物三维重建与表型分析。Email：wrp@nwafu.edu.cn

杨会君，博士，副教授，研究方向为计算机图形学、三维重建。Email：yhj740225@163.com