基于几何模型的绿萝叶片外部表型参数三维估测

徐焕良 马仕航 王浩云 胡华东 殷佳来 车建华

(1.南京农业大学信息科技学院， 南京 210095; 2.南京农业大学农业工程博士后流动站， 南京 210031)

0 引言

对于大部分叶类植物，叶片对植株的生长生理活动具有决定性的影响。叶片是植物蒸腾、光合作用与呼吸作用的主要器官，是植物进行生理生化活动的主要场所[1]。叶片的外部表型参数如叶长、叶宽与叶面积，对光能吸收、水分蒸腾、有机物积累、收获量及对植物的生理活动等有显著影响[1]，能直观反映植物所处的生长周期。因此，叶类植物外部表型参数的测算对了解植物的生长状态极为重要。传统的手工测量及二维图像测量方法[2-4]都是接触式的，需要叶片离体，对植物造成损害，同时操作复杂和效率低。

近年来，随着计算机技术的发展，基于三维点云的三维建模和三维测量技术逐渐完善，农作物的三维重建技术逐渐成熟[5-7]，为农作物外形测量提供了新方法。文献[8]利用飞行时间(TOF)深度相机获取玉米植株点云数据，重建三维模型并实现可视化，通过分割茎叶点云来提取玉米的茎高、叶长、叶宽、叶倾角和叶面积等参数，但受相机硬件条件限制，提取参数精度有待提高。文献[9]利用手持式三维扫描仪多方位获取了大麦植株的点云数据，进行预处理与三维重建后，提取了大麦植株高度、茎高和叶面积等参数，实现了对大麦生长过程的检测。在此基础上，文献[10]采用特征直方图分割植物器官点云，实现了基于点云对植物单个器官表型参数的提取，如葡萄叶片的叶面积与葡萄茎的茎高，但依然需要使用三维数字化仪进行多角度获取。文献[11]采用三维数字化仪对玉米植株进行扫描与配准重建，对重建后的三维模型提取植株骨架，通过识别各部分植株实现对株高、叶长、叶宽、叶倾角等参数的测量，对叶长、叶宽与叶倾角估测的RMSE均值分别为3.44 cm、0.80 cm与3.41°，具有较高的精度与一致性，但需要人工进行单株植物的多角度数据采集，成本较高。文献[12]采用运动结构恢复算法将智能手机获取的多角度葡萄植株可见光图像转换为三维点云，在分割出单片叶片数据后，网格化计算叶面积，与扫描叶片法测定值的平均误差达到4.67%，降低了操作成本，但该方法依然需要通过获取多角度的可见光图像来获得完整的植株点云。

目前，农作物植株的三维测量技术已经比较成熟，大多为非接触性测量方法，即无需损伤植株就可以准确提取株高、叶长、叶宽、叶面积与叶倾角等外部表型参数，并达到了一定的估测精度。但是应用三维测量技术往往需要从多个角度对单个植株进行数据采集，需要进行多次相机标定，并在数据处理阶段进行点云配准拼接，才能得出完整的点云数据。在实际应用中，改变植株位置或相机位置均较为麻烦，耗费人力和物力，并且点云配准与拼接的部分仍亟需快速精准的方法。针对以上问题，本文以绿萝为研究对象，采用Kinect相机进行单一角度拍摄，获取绿萝叶片同一高度下的局部点云，对点云数据进行处理后，与预先建立的绿萝叶片几何模型进行匹配寻优，提出一种根据局部点云匹配几何模型来获取绿萝叶长、叶宽与叶面积的方法。

1 材料与方法

1.1 实验材料

实验选取生长状态良好的长藤大叶绿萝10盆，植株冠层直径在30～35 cm，冠层高度10～15 cm。实验随机采集不同位置的叶片150片，作为研究对象，采集其叶长、叶宽、叶面积3个叶片外部表型参数信息。

1.2 实验数据采集

实验共分为3部分，其中基于几何模型方法所需的局部点云数据采集与基于点云重构方法对照实验所需的多角度点云数据采集需要获取的数据为同一高度下不同角度的点云数据，同时采集属于无损检测。为了对2种方法的测量误差进行计算，需要对叶片外部表型参数的真实值进行测定，属于有损检测，获取叶片叶长、叶宽与叶高的真实值。

1.2.1叶片外部表型参数的真实值测定

对于待测叶片，将叶片紧贴叶基剪下，平铺贴于A4尺寸(210 mm×297 mm)白纸上，借助游标卡尺测量叶长与叶宽，测量精度为0.01 mm。实验采用Kinect V2相机从80 cm高度获取叶片彩色图像并进行平面标定与校正，而后采用图像分割提取叶片区域与A4纸区域的二值图像，进行像素点统计，按照与A4纸面积的比例来求取叶面积实际测量数据。

1.2.2点云数据采集与处理

为便于后续结果对照，同时对局部点云数据与多角度点云数据进行采集。实验采用微软公司的Kinect V2相机借助三脚架、水准仪和伸缩横臂从垂直位姿对绿萝植株进行拍摄，获取绿萝植株的点云数据。按照误差分析结果(图1a)，拍摄高度固定于80 cm，拍摄过程中始终保持相机镜头中轴线垂直于实验台，将绿萝植株放置于相机正下方，变换任意角度，每次对绿萝冠层表面进行一次拍摄，获取点云数据，然后进行实际测量并剪去表面叶片，进行下一次拍摄。拍摄过程如图1b所示。

图1 点云数据采集Fig.1 Point cloud data collection

数据获取方式采用微软发布的Kinect for Windows SDK 2.0，使用其中的Kinect Fusion Explorer 进行点云数据采集，采取颜色纹理贴图的方式，保存ply格式的点云数据文件，开发软件使用Matlab R2016a，使用Matlab工具箱中提供的calibration工具对数据进行标定，获取镜头畸变参数，得到校正矩阵。

Kinect V2相机获取到的初始点云为包含实验台背景的绿萝冠层表面的点云数据。点云数据包含空间点的位置坐标信息和相对应的RGB颜色信息，点云数据的三维坐标系原点为Kinect深度摄像头所在位置，长度单位为m，精度为0.001 m。

图2 点云数据分割与处理Fig.2 Segmentation and processing of point cloud data

(1)基于几何模型方法的点云数据预处理

取一个角度下的点云数据进行处理。为提高后续处理效率，采用直通滤波[13]的方法去除背景数据与噪声点，只保留植株冠层部分数据，如图2a所示。单片叶片点云分割采用手动标注结合K-means算法，将冠层表面可见的k个叶片点云进行空间聚类[14-15]，对应叶片编号单独保存。分割之后采取包围盒精简算法[16]对叶片局部点云进行精简压缩。处理后的单个叶片局部点云数据如图2c所示。

(2)基于点云重构方法的点云数据处理

对照实验设计按照目前最常见的点云配准与网格重构的方法[17]进行。对同一高度下该冠层多个角度获取的点云数据进行直通滤波处理，利用最近点迭代法(Iterative closest point，ICP)[17]算法对不同角度的冠层点云进行配准拼接。单片叶片点云的分割与精简同样采用手动标注结合K-means聚类算法和包围盒精简算法的方式。经过分割与精简后的单个叶片点云有时会存在区域数据点缺失的情况，利用最近邻点插值法[18]对孔洞进行修补，获得完整的单片叶片点云。在估测环节采用生成OBB(Oriented bounding box)包围盒[17]来获取叶片的叶长与叶宽，采用贪婪投影三角网格化重构点云[17]得出叶面积。

1.3 叶片几何模型的构建与模型参数反演

1.3.1基于曲面参数方程的叶片几何模型构建

根据叶片的造型研究[19-20]可知，叶片外形由叶形、叶尖、叶基和叶缘的边界轮廓形状组成，绿萝叶片呈上窄下宽的卵圆形，叶尖形状为渐狭的急尖，叶基为钝圆形，少数为心形，叶缘为平滑全缘，无锯齿或波浪。叶片自然生长中会在主脉方向与其垂直方向自然弯曲。由于叶片厚度较小，在模拟过程中忽略不计，故采用参数曲面方程Q(u,v)构建一个长方形平面，然后在X、Y、Z方向上添加干扰函数来模拟叶片的外形与姿态。

(1)

式中xQ——X方向上的参数方程

yQ——Y方向上的参数方程

zQ——Z方向上的参数方程

b——宽度系数h——长度系数

u、v——自变量参数

形成长为h、宽为b的初始矩形平面。

为叶片添加X、Y方向上的干扰函数，包括1个X方向上的叶形干扰函数tx1与3个Y方向上的叶基、叶尖干扰函数ty1、ty2、ty3。

(2)

式中 abs——绝对值函数

ax——叶形变形指数，对叶片的外形影响主要是叶宽

dy——比例造型指数，影响叶片最宽点位置

at——叶尖变形指数，控制叶尖部分的长度变化，对叶长产生影响

ab——叶基变形指数，控制叶基部分的长度变化，对叶长产生影响

ut——叶尖造型指数，控制叶尖部分的宽高比，对叶长产生影响

ub——叶基造型指数，控制叶基部分的宽高比，对叶长产生影响

得出最终曲面参数方程

(3)

式中xb——叶片沿X方向在Z轴的弯曲幅度

yb——叶片沿Y方向在Z轴的弯曲幅度

根据该方程构建的绿萝叶片几何模型如图3所示。

图3 叶片几何模型及外部表型参数Fig.3 Leaf geometry model and external phenotypic parameters

以上分析可知，在绿萝参数曲面方程中，包含h、b、ut、ub、ax、dy、at、ab、xb、yb10个内部模型参数。这10个内部模型参数影响着几何模型的L、B、H、S4个外部表型参数，将模型Y方向上的最高点与最低点间的差值作为模型的叶长(记为L)；将模型X方向上的最高点与最低点间的差值作为叶宽(记为B)；将模型Z方向上的最高点与最低点间的差值作为叶片高度(记为H)；并对曲面进行插值，计算出曲面的表面积作为叶面积(记为S)。各外形指标示意图如图3所示。

对10个几何模型参数进行多次调参，测量几何模型的外形参数，判断是否落在实测数据的统计值范围内，确定各参数的取值范围；对10个内部参数和对应的4个外部表型参数进行Morris敏感性分析，根据模型参数变化幅度对外形参数的影响程度确定各参数步长，如表1所示。根据这些参数组合得7 500 000组参数方程，对其中的畸形模型进行排除之后，得15 000组几何模型数据，作为几何模型参数反演的训练集与遗传算法遍历的训练数据集。

表1 模型参数取值范围、取值步长及反演精度Tab.1 Model parameter value range, value step and inversion accuracy

1.3.2叶片外部表型参数向几何模型内部模型参数的反演

由于几何模型的内部模型参数个数多且步长较小，模型库范围过大，对于后续几何模型匹配算法的精度和效率造成负面影响，所以实验采取稀疏自编码(Sparse AutoEncoder，SAE)神经网络来对内部模型参数进行预测，作为遗传算法的起点，缩小遍历范围。SAE神经网络是一种无监督的学习方法，它使用反向传播算法来训练权重，计算出的权重可以使结果更快地收敛，实现数据的降维[21]。

实验以5 000条模型外部表型参数数据作为训练集，以4组外部表型参数作为输入，将10个内部模型参数逐一作为输出变量进行反演，SAE网络级联2个隐含层，层内节点数分别为4、3。以100条外部表型参数做测试，得出每个内部模型参数的预测精度如表1所示。

1.4 叶片外部表型参数的估测

实验目的在于使用固定角度的深度相机进行一次拍摄即能对外部表型参数进行估测，所采集到的点云信息并不完整，无法获取准确的外部表型参数。实验采取将局部点云与预先建立的绿萝叶片几何模型库中的模型进行匹配，寻找一个与局部点云外形姿态最为接近的叶片几何模型，输出其外部表型参数作为估测得到的叶片外部表型参数。为了寻找到这个最优匹配模型，需要对几何模型进行空间变换与模型参数寻优。

1.4.1局部点云与几何模型离散点集间的空间匹配

点云数据在空间三维坐标系中以X、Y、Z3个坐标轴上的位置信息来表示，在几何模型离散点集向叶片局部点云进行空间匹配的过程中，点集的空间变换系数包括X、Y、Z轴上的平移距离tx、ty、tz和围绕X、Y、Z坐标轴的旋转角α、β、γ，即代表粒子群优化(Particle swarm optimization,PSO)算法[22]中问题解具有6个自由度。设输入的绿萝叶片局部点云为点集P={mi}(i=1,2，…,n)，几何模型离散点集为Q={nj}(j=1,2，…,k)。采用欧氏空间变换匹配两点集之间的空间，对几何模型离散点集Q乘上一个欧氏空间变换矩阵得到新位置下的点集Q′={n′j}，计算点与点之间的欧氏距离和作为模型之间的匹配度F，设定种群粒子数N=20，最大迭代次数为300。迭代寻找匹配度最佳的点云位置，实现点集P与点集Q之间的距离最小[23-24]。空间变换公式为[25]

Q′(n′j)=H[mi;1]

(4)

其中

(5)

(6)

(7)

式中H——欧氏变换矩阵

R——正交旋转矩阵

T——平移矩阵

匹配度计算公式为

(8)

式中di——mi与n′j间的距离

更新粒子的速度vr和位置xr，进行迭代

(9)

式中c1——自我学习因子，取1.8

c2——群体学习因子，取2.0

rand()——生成[0,1]随机数的函数

pBest——局部最优解

gBest——全局最优解

根据式(9)，对几何模型离散点集进行距离与角度上的变换，得到与所输入的叶片局部点云最贴合的空间位置，并输出相应的点云位置和最小距离和。

1.4.2基于遗传算法的叶片几何模型参数寻优

利用粒子群优化算法，实现叶片局部点云和几何模型离散点集的空间匹配，并得到衡量空间匹配效果的指标最小距离和F。由于叶片几何模型具有h、b、ut、ub、ax、dy、at、ab、xb、yb10个内部模型参数，这10个内部模型参数分别影响着L、B、H、S4个外部表型参数中的1个或多个，这与生物学中基因与个体表现型的关系十分类似。所以采取遗传算法(Genetic algorithm，GA)[26]来寻找匹配效果最优的内部模型参数组合。对局部点云P生成OBB包围盒得到叶长、叶宽和叶高，输入预先训练好的SAE网络，反演得到几何模型10个内部模型参数。设定种群规模15，最大迭代次数5，在反演得到的10个内部模型参数周围小范围内，采取实数编码的方式进行编码，采取轮盘赌法进行选择，交叉概率为0.75，变异概率为0.05。采用PSO算法计算其与局部点云间的匹配度得到与叶片局部点云匹配效果最优的几何模型，迭代后输出匹配度最佳的个体解码后的内部模型参数和对应外部表型参数作为估测结果。

以上为结合内部模型参数反演，PSO算法与遗传算法的绿萝叶片局部点云估测叶片外部表型参数的方法，总流程图如图4所示。

图4 基于几何模型的绿萝叶片外部表型参数三维估测流程图Fig.4 Flow chart of a three-dimensional estimation method for external phenotypic parameters of money plant leaves based on geometric model

2 实验结果与分析

2.1 叶片外部表型参数实际测量结果分布

选取150片长藤大叶绿萝叶片作为实验样本，利用游标卡尺和Kinect彩色相机对叶片的叶长、叶宽、叶面积进行测量，由于盆栽绿萝由若干株绿萝植株组成，各株绿萝均处于不同的生长时期。表2为绿萝叶片外部表型参数实测结果，经过统计可知，绿萝叶片叶长与叶宽分布范围分别为6.86～13.93 cm与4.03～10.10 cm，叶面积为19.67～96.70 cm2。处于幼叶期、成长期与成熟期的绿萝叶片样本数量分别为23、97、30片，绿萝叶片的生长周期主要通过叶长、叶宽所处大小范围与叶片颜色来综合判断[27]，由实测环节观察结果，幼叶期叶长范围为5～7 cm，叶宽范围为3～4 cm；成长期叶片叶长范围为8～10 cm，叶宽范围为5～6 cm；成熟期叶片叶长范围为10～13 cm，叶宽范围7～10 cm。总体来看样本数据分布范围较广，覆盖绿萝的各生长阶段，避免样本单一的状况出现，说明实验具有一定的稳定性和普适性。

图5 基于几何模型的绿萝叶片外部表型参数估测结果Fig.5 Estimation results of external phenotypic parameters of money plant leaves based on geometric models

表2 绿萝叶片实测参数Tab.2 Statistics of measured parameters

2.2 基于几何模型的叶片外部表型参数估测

实验采取150片绿萝叶片在80 cm高度下以垂直位姿获得的150组点云数据作为输入，根据所提出的估测方法得到相对应的150组外部表型参数(绿萝叶片叶长L、叶宽B、叶面积S)的估测结果，数据分布如表3所示。对这150组外部表型参数的估测结果与实测数据进行数学统计与线性回归分析，分析算法估测精度。

表3 基于几何模型的绿萝叶片估测误差Tab.3 Estimation error statistics of money plant leaves based on geometric model

如图5所示，横轴为叶片外部表型参数的人工实测值，纵轴为基于几何模型匹配的估测值，红色圆圈表示对同一叶片的实测值和估测值的位置，对其分布位置拟合一条直线，所得R2表示回归直线对观测值的拟合程度，其最大值为1，值越接近1，说明回归直线对观测值的拟合程度越高，估测的精确度与普适性越好；RMSE为均方根误差，反映真实值与估测值之间的偏差，其值与数据本身的取值范围和数据量均有一定关系。

2.3 基于点云重构的叶片外部表型参数估测

作为对照，对同一批绿萝叶片多角度局部点云数据进行重构，生成OBB包围盒得出的外部表型参数估测值，并采用网格化计算叶面积估测数据，对估测结果进行对比统计分析，结果见表4与图6。从估测流程来看，基于点云重构的方法不仅需要进行点云的配准与孔洞修补，并且无法一次对叶长、叶宽和叶面积进行检测，需要对点云分别生成OBB包围盒与三角网格化，效率较低，并且容易受点云质量的影响。

表4 基于几何模型的不同阶段绿萝叶片估测误差Tab.4 Statistics of estimation errors of money plant leaves at different stages based on geometric models

图6 基于点云重构的绿萝叶片外部表型参数估测结果Fig.6 Estimation results of external phenotypic parameters of money plant leaves based on point cloud reconstruction

由表3、4可知，实验所用的150片叶片大小不一，形态各异，覆盖绿萝的每个生长周期，数据分布范围较广，该方法对于各叶片的估测中，叶长误差0.01～1.31 cm，叶宽误差0～1.24 cm，叶面积误差0.05～17.41 cm2，对于不同生长阶段各外部表型参数估测的误差分布均匀，对于数量占比较大的成长期与成熟期叶片的参数估测效果较好，说明方法具有一定的普适性。

由图5可知，横轴为基于几何模型匹配的叶片外部表型的实测值，纵轴为各参数的估测值，其线性回归拟合R2均高于0.85，表明拟合效果较好。RMSE均在允许的偏差范围内，说明基于几何模型匹配方法对于叶片各外部表型参数估测的相关较为理想，具有实用性。

由图6与表5可看出，基于点云重构的估测方法对于叶长估测的误差0.02～4.39 cm，叶宽估测的误差0.01～3.27 cm，叶面积估测效果较差，误差在0.03～20.24 cm2之间。图6横轴为重构叶片点云各外部表型参数的实测值，纵轴为估测值，其线性回归拟合R2均在0.6～0.8之间，略低于基于几何模型匹配的估测方法。但其RMSE也在允许的偏差范围内。

表5 基于点云重构的绿萝叶片估测误差Tab.5 Estimation error statistics of money plant leaves based on point cloud reconstruction

由表6、7可看出，3个外形参数中，基于几何模型匹配的方法对于叶面积的估测效果最好，平均误差仅有3.42 cm2，R2为0.95；对于叶长的估测效果最不理想，但其平均误差也仅有0.46 cm，R2为0.88，均在允许范围内。总的来看，基于几何模型匹配方法对于绿萝叶片的外部表型参数的估测效果较好，有一定的稳定性与准确度。

结合表6与表7，叶长、叶宽与叶面积参数基于几何模型匹配的方法估测的效果好于点云重构估测的结果，叶面积参数的估测明显优于点云重构估测的效果，其中叶宽的估测结果对比点云重构估测优势不大。

表6 两种方法的绿萝叶片外部表型参数估测效果Tab.6 Estimation of external phenotypic parameters of money plant leaves

表7 两种方法绿萝叶片参数估测效果对比Tab.7 Comparison statistics of effects of the two methods for estimating money plant leaf parameters

3 结论

(1)采用曲面参数方程建立绿萝叶片外形仿真的几何模型库，利用深度学习方法实现外部表型参数向内部模型参数的反演，将反演结果输入遗传算法，结合粒子群优化算法，实现局部点云与几何模型的空间匹配，遍历寻优找到与局部点云最贴合的几何模型。

(2)实验共采集150片绿萝叶片的局部点云数据，将估测结果和真实值进行数学统计与线性回归分析，得出叶长、叶宽与叶面积估测平均误差分别为0.46 cm、0.41 cm和3.42 cm2，叶长估测R2和RMSE分别为0.88和0.52 cm，叶宽R2和RMSE分别为0.88和0.52 cm，叶面积R2和RMSE分别为0.95和3.60 cm2。估测结果的误差范围较小，且非常稳定，说明算法具有一定实用性。

(3)与目前主流的点云重构方法相比，基于几何模型匹配的估测方法的优势在于植物叶片不需离体，不需要多角度获取数据，叶片之间的遮挡关系影响小，数据处理步骤简洁，估测结果精确。本文为植物培育过程中对植物生长状态进行实时观测提供了方法。