植株自旋转多视角重建技术在小麦植株三维表型获取中的应用评估

张文麒, 吴升, 郭新宇, 温维亮, 卢宪菊, 赵春江*

（1.上海海洋大学信息学院, 上海 201306；2.北京市农林科学院信息技术研究中心, 数字植物北京市重点实验室, 北京 100097；3.国家农业信息化工程技术研究中心, 北京 100097）

植物表型是复杂性状的综合表现, 如生长、发育、耐性、抗性、构型、生理、生态、产量[1], 获得高精度表型参数对于加速育种和优化种植管理至关重要[2]。随着表型筛选在植物育种和基因组学中的迅速发展[3-4], 植物科学研究迫切需要更有效、可靠的表型大数据来支持现代遗传作物的改良[5], 为此, 已研制出一批设备和系统被用于大规模植物表型数据获取和分析[6-7]。小麦是关系全球粮食安全的重要作物之一, 预计到2050年, 需要增加约70%的产量才能满足全球小麦需求[8], 因此, 研究小麦表型对高产、优质和抗逆性强的品种选育具有重要意义, 表型数据采集和分析平台对小麦的研究已经体现出了巨大的潜力[9-10]。

目前广泛应用的植物表型获取技术主要为二维图像和三维点云。其中, 基于二维图像在获得一维、二维表型指标方面已取得较多进展[11-13], 然而其在具有严重遮挡和株型结构复杂的情况下获得的表型指标精度较差[14], 且缺失三维表型信息。为了克服维度上的数据丢失, 研究人员提出了三维点云方法, 包括基于深度相机的方法[15]、基于激光雷达的方法[16]、以及基于多视角图像重建的方法等。这些方法通常需要不同硬件设备的支持, 它们的应用场景和精度各不相同, 以Kinect为代表的深度相机具有点云获取速度快等优点, 但重建的点云分辨率较低, 并且对光照的鲁棒性不够。激光雷达（LIDAR）具有优良的点云获取性能, 在植物表型评价方面展示出了强大的优势, 但其扫描时间较长、设备价格高昂, 难以在农业领域大范围推广应用。

基于多视角图像重建的方法获取植物表型精度高, 已得到广泛应用[17], 目前主要有结合运动恢复结构（structure from motion, SFM）[18]和多视图立体（multiple view stereo, MVS）[19]的算法。其中, SFM算法采用SIFT算子提取多视角图像特征点[20], 基于增量式重建法生成相机位姿和稀疏点云[21], 最后采用束调整算法找到最佳相机点位, 并计算出稀疏点云和相机参数, 进一步基于MVS算法生成每张图像对应的深度图, 使用两极视图选择算法来找到对应的匹配视图, 生成场景的稠密点云。在该类型技术体系下又分为2种模式：一种是固定植物, 使相机围绕植物旋转（camera rotate around plant）进行拍摄, Wu等[22]基于该方法开发了针对单个植物的低成本表型平台MVSPheno；另一种方式是相机固定, 植物自转（plant self-rotation）进行多视角拍摄, Liu等[23]基于该技术对拟南芥进行表型研究。其中, 相机围绕植物旋转型平台方式能够获取高质量的图像数据, 但该类型的平台通常需要配备专门的相机旋转设备以及控制旋转的程序, 并且针对不同大小的植株需要调整相机到植株的距离, 这意味着其所需的空间较大, 同时, 对光源的分布要求均匀, 否则会影响图像特征点的匹配, 进而影响重建质量。植物自转型平台方式能够快速的搭建数据采集场景, 并且该类型的平台仅需要配备普通的转盘, 其所需的空间较小、成本较低, 但是在多视角重建之前需要进行前处理, 且需要评估转盘转动对植物的影响。

目前, 植物自转型平台已应用在玉米、番茄、橄榄树等植物上[24-25], 但在小麦这种分蘖多、叶片多、叶片生长朝上、株型紧凑的植物应用较少。本文开发了一套基于植物自旋转的便携式小麦植株三维表型高通量采集系统, 并对扬花期小麦样本进行了三维点云的重建, 同时使用MVS-Pheno对相同的实验材料进行数据获取和点云重建, 将2种结果进行对比。该系统在小麦植株三维重建和表型参数提取中能够达到较高的精度, 为小麦植株的高通量表型获取提供了高效、快速、精确并且廉价的方案。

1 材料与方法

1.1 植株旋转式多视角采集装置

植株旋转式多视角采集装置搭建于室内环境, 光源为室内顶部LED灯光, 由于整体装置在运行过程中不会对小麦植株产生遮挡, 拍摄到的小麦图像光照统一, 该装置由植物转台、拍摄装置、背景装置组成, 拍摄场景的搭建如图1所示。其中, 植物转台由转台单元和标定单元组成, 转台单元内置自转电机, 带动被测植物旋转。转台直径为45 cm, 转速可调节, 标定单元高18 cm, 标定单元的顶部是1个直径6 cm的红色圆盘, 作为后期点云校准的比例尺。拍摄装置由2个三角支架、2台Cannon EOS 77D相机, 以及1台装有多视角图像采集系统的笔记本电脑组成, 其中, 相机镜头型号为24 mm半画幅定焦镜头, 拍摄图像像素为6 000×4 000, 相机通过USB数据线连接电脑。背景装置由支撑挂杆和黑色摄影幕布组成, 幕布大小可通过支撑挂杆调节, 使得拍摄图像具有一致的黑色背景。

图1 植株旋转式多视角采集装置Fig.1 Plant rotating multi-view acquisition device

1.2 实验设计与数据获取

小麦种植在北京市农林科学院试验田。试验地土壤0—20 cm有机质含量32.25 g·kg-1, 全氮含量0.158 g·kg-1, 有效磷含量91.38 mg·kg-1, 速效钾含量579.63 mg·kg-1。种植行距30 cm, 株距5 cm, 人工点播。播种前采用撒施的方法施复合肥, 返青期和拔节期通过水肥一体化追施尿素, 施氮量240 kg·hm-2, 施磷量（P2O5）135 kg·hm-2, 施钾量（K2O）112.5 kg·hm-2,磷肥和钾肥全部作为底肥在播种前施入。

扬花期（2021年5月5日）小麦形态建成基本结束, 较好地体现了麦类植株复杂的结构特征, 选择西农979、济麦38和新麦26的植株, 人工取样移栽到花盆中, 立即浇水防止萎蔫, 快速转运到实验室获取数据, 约移栽后30 min。

本文设计了2台相机进行拍摄。将花盆放置于转台的中心, 在转台上靠近花盆处放置标定单元, 并避免小麦植株和标定单元相接触。相机、转台、背景之间的距离以被测小麦植株和标定单元能够完整地被拍摄为最佳。为了最大程度地拍摄到小麦整体结构, 并获取被小麦外部叶片包围的内部叶片和茎秆信息, 设置2台相机距离植物转台的水平距离分别是1.5和1.45 m。1号相机的高度为1.5 m, 相机以俯视15°的视角拍摄小麦植株；2号相机的高度为0.9 m, 相机以平视的视角拍摄小麦植株。拍摄背景幕布宽2.8 m, 高2.4 m, 转台距离幕布0.3 m。多视角图像获取光照环境为室内普通LED照明光源, 转台转速设置为0.012 5 r·s-1, 即80 s转1圈。由多视角图像采集程序控制2个相机同步采集, 相机间隔2.5 s采集1张图像, 植株旋转1周, 每个相机共计采集30张多视角图像。对于每株小麦植株80 s内完成多视角数据采集, 共计获得60张图片, 并进行自动化命名存储。

1.3 管道式数据处理系统

1.3.1 小麦表型处理系统 本文设计了一种便携式小麦植株三维表型高通量采集系统, 对重建后的小麦三维点云质量进行了评估。采用VC++2015软件开发平台, 并集成图形库OpenGL和点云库PCL。数据采集系统测试运行环境为Win10操作系统, 处理器3.2 GHz, 8 GB内存, 数据处理测试运行环境为Win10操作系统, i7处理器, 64 GB内存。该系统实现了以数据流驱动的半自动化处理模式, 其关键模块包括多视角三维重建、点云处理和表型解析, 如图2所示。

图2 管道式小麦表型处理系统Fig.2 Pipeline wheat phenotype processing system

1.3.2 多视角重建 由于SFM算法需要从物体表面的复杂纹理信息中获取特征点, 而扬花期小麦纹理包含大量的特征点供SFM算法提取, 因此, 采用该时期的小麦作为研究对象。本文使用Python开发语言系统集成了SFM算法开源库openMVG[26]和MVS算法开源库openMVS[27], 搭建批处理的多视角点云重建管道, 能够实现小麦植株样本多视角批量点云重建。

对输入多视角图像自动去除背景, 只保留植物图像像素是植物自转型多视角三维重建的首要步骤。RGB颜色空间是较常用的颜色表示方式, 但其对图像背景分割鲁棒性不好, 而HSV颜色空间将颜色的亮度和颜色信息分离, 通过H分量和S分量来表示不同颜色的距离, 具有更好的对比度, 因此, 采用HSV颜色空间去除图像背景。然后, 将去除背景的多视角图像数据输入点云重建管道生成场景点云。

1.3.3 植株点云提取与去噪 由多视角三维重建管道生成的三维场景点云中包含花盆、标记物等噪声点云, 管道算法的第2步是小麦植株点云提取与去噪。首先, 利用点云颜色的HSV空间分割法, 从点云场景中分离出植株点云, 即将点云顶点颜色从RGB空间转换到HSV空间, 设置H、S、V 3个通道的阈值为H[60, 120]、S[0, 1]、V[0.2, 1], 通过该阈值能够快速的从场景中剔除花盆和标定物点云, 并且将植株边缘的黑色噪声去除。在植株点云之间存在离群噪声点, 这些噪声点是由于植物在旋转的过程中发生抖动, 以及光滑叶片受环境光照的影响, 部分区域产生反光所导致。基于点云统计滤波算法, 滤除该类型噪声点, 算法步骤如下。

依次从点云P中选择点pi, 对计算该点n个邻近点{m1,m2,m3,…,mn}之间的平均距离（dmean）以及该点和邻近点的标准差（σ）。

如果邻近点mi到pi的距离大于平均距离∝个标准差, 即di＞dmean-∝σ, 去除该邻近点, 经测试, 本文取值∝=0.5。

1.3.4 点云尺度校准 基于多视角三维重建生成的点云和实际物体具有不同的尺度, 在提取表型参数之前要校准点云的尺度, 为此, 在被测植株旁边安置1个标定单元, 基于标定单元对重建的点云进行尺度校准。首先, 利用标定单元圆盘上表面为红色的颜色信息, 基于HSV颜色空间阈值, 从噪声点云中提取标定单元圆盘点云。然后, 基于PCA算法计算标定物上表面点云平面法向量M, 将点云矫正到坐标系Z轴正方向上, 进一步地把点云投影到XOY平面上。采用最小封闭圆算法, 获得圆盘点云的最小包围圆, 计算出圆盘点云半径r, 和实际标定物半径Cr（3 cm）相比, 得到矫正比例（L=Cr/r）。根据计算得到的平面正方向向量M, 把植株点云矫正到Z轴正方向上, 根据矫正比例L矫正植株到实际的尺寸。

1.3.5 表型提取 基于去噪后的植株点云, 计算叶长、叶宽和株高等表型指标。使用开源点云处理工具Cloud Compare(http://cloudcompare.org)提取小麦植株各分蘖叶片的叶长和叶宽。

1.4 点云质量评估

根据旋转矩阵R和平移向量t⇀, 实现点云P和点云Q的对齐变换。然后, 对于配准后的点云, 计算2个点云的Hausdorff距离, 度量它们之间的差异。假设有两组集合A={a1,a2,…,an}和B={b1,b2,…,bm}, 则这2个点集合之间的Hausdorff距离定义如下。

1.4.2 精度和误差分布的估计 使用Cloud Compare软件, 在点云上手动测量叶片的长度、宽度表型指标：对于叶长, 手动选取叶片2个边缘点的中心作为叶脉点, 从叶片底部依次向叶尖选取叶脉点, 最终获得叶脉曲线即为叶长；按照叶脉曲线的长势以及叶片边缘的变化, 手动选取3～5条待定的横向曲线, 计算出其中最宽的曲线作为叶宽；在垂直高度上, 计算点云的高度差。通过线性回归计算人工数据与点云数据的相关系数R2, 并应用均根方误差（root-mean-square errors,RMSE）和平均绝对百分比误差（mean absolute percent errors,MAPE）来评估重建点云在表型指标上表现的误差。

2 结果与分析

2.1 图像背景去除效果分析

在相近光源下, 经植株旋转式多视角采集装置拍摄的图像背景颜色在一定的色彩空间范围内, 因此, 使用同一阈值进行背景去除, 实现了图像背景自动化批量去除。经过测试, 在室内光照环境下采用H[0, 109], S[0, 1], V[0.37, 1]的阈值能够快速有效地剔除黑色幕布背景, 保留小麦植株图像像素, 效果如图3所示。去除背景后的图像大小约为原图像大小的20%, 大幅提高了后期多视角近邻图像SIFT特征点检测效率。

图3 小麦植株样本图像黑色背景去除Fig.3 Wheat plant sample image black background removal

2.2 点云去噪及标定板提取结果分析

从图4可以看出, 将背景去除后的多视角图像数据重建得到的原始点云周围存在大量黑色噪声点, 利用点云颜色的HSV空间分割法可以快速的剔除黑色噪声点和非小麦植株点云, 提取出的小麦点云中还存在一些离群噪声点, 使用统计滤波算法对其进行降噪得到最终的点云。结果表明, 该去噪方法能够很好地保留小麦植株的三维信息。

图4 小麦植株点云提取和去噪Fig.4 Wheat plant point cloud extraction and denoising

基于标定单元的颜色信息, 利用点云颜色的HSV空间分割法提取出标定单元点云, 最终获取标定单元点云的最小包围圆, 效果如图5所示。

图5 重建后的场景点云及其标定圆半径提取Fig.5 Reconstructed field point cloud and its calibration circle radius extraction

2.3 重建点云分析

2.3.1 重建点云可视化分析 选取基于植物旋转的多视角拍摄数据和基于相机旋转的多视角拍摄数据, 通过多视角点云重建系统生成点云, 如图6所示。实验植株包括不同的分蘖个数和株型结构, 其中济麦38为松散型（图6A～C）, 西农979为扩张型（图6D～F）, 新麦26为紧密型（图6G～I）, 从可视化效果可见, 植物旋转式多视角重建生成的点云和相机旋转式多视角重建生成的点云差别不大, 都能够表现出清晰的叶片、茎秆和麦穗结构。在点云顶点颜色方面, 植物旋转式多视角重建生成的点云颜色偏亮泛黄, 相机旋转式多视角重建生成的点云颜色较深, 这与进行图像数据采集的光环境和拍摄距离不同有关, 点云颜色可通过后期图像颜色校准修正。

图6 植物旋转方式和相机旋转方式重建点云可视化Fig.6 Visualization of point clouds reconstructed by plant self-rotation and camera rotation

2.3.2 点云Hausdroff距离分析 从整个植株点云对比看（图7A）, 植物旋转式重建的点云比较好地重叠于相机旋转式重建的点云, 其点云的最大距离控制在5 cm以下。对于植株叶片点云（图7B）, 2个平台重建的叶片点云也基本重叠, 点云Hausdorff距离基本控制在0.1 cm以下, 最大距离控制在0.3 cm以下, 误差主要存在于叶尖部和叶边缘部, 这表明, 对于叶片的表型参数提取来说, 植物旋转式方法和相机旋转式方法几乎可以达到同样的精度。另外, 从2个平台重建的叶片点云孔洞看, 重建的叶片点云在弯曲处都存在一些孔洞, 这是由于叶片中心的纹理通常比其他部分稀疏, 在光照条件下反光时容易减少特征点的匹配, 并且其自身叶片的遮挡导致部分特征点缺失所致, 可通过后期点云修补技术修补缺失点云。从结果来看, 点云Hausdorff距离较大处集中表现在麦穗点云上（图7C）, 有部分麦穗的麦芒点云Hausdorff距离超过了3 cm。通过点云分析, 植株旋转方式重建的麦穗点云比较完整, 而相机旋转式多视角重建在图像采集时受限于装置的结构, 不能调整相机的距离, 相机距离小麦植株太近, 镜头在麦芒处没有较好的对焦, 导致部分重建点云在去噪过程中将麦芒完全剔除, 丢失了麦芒的点云。而植株旋转式平台只需移动相机三脚架的位置和相机拍摄的角度就能使得拍摄图像的质量达到要求, 并且在移动相机三脚架时只需要保证直线距离达到要求即可, 这也体现了植株旋转方式多视角拍摄装置简单、空间占用小、易调整的优势。

图7 点云豪斯多夫距离可视化Fig.7 Point cloud Hausdorff distance visualization

2.3.3重建点云的Hausdorff距离统计分析 进一步对小麦植株重建点云的Hausdorff距离进行统计分析。在重建的小麦植株点云中, 点云Hausdorff距离与点云点个数的关系均呈指数型下降趋势, 这表明植株旋转方式重建的小麦点云中的绝大多数点都与相机旋转方式重建的点云吻合, 而差异越大的点则越少。所有点云中, 90%的点云Hausdorff距离小于0.4 cm, 74%的点云Hausdorff距离小于0.2 cm, 点云Hausdorff距离大于0.8 cm的点云数量不足3%（图8）。

图8 样本的点云距离分布和占比Fig.8 Point cloud distancevdistribution and percentage

如图9所示, 按照选取的小麦品种分为扩张型（西农979, 图9A和B）、紧凑型（新麦26, 图9C和D）和松散型（济麦38, 图9E和F）3类。从单个植株点云来看, 小麦植株的松散程度越大, Hausdorff距离分布在大于0.5 cm的点越少, 其中, 紧凑型点占比为88.52%～91.65%, 扩张型点占比为95.48%～96.67%, 松散型点占比为96.32%～97.56%, 可见部分遮挡问题不可避免, 但影响较小。另外, 如图9E和F所示, 点云Hausdorff距离大于1.0 cm的点数量出现了趋势增长, 这是由于在植物搬运的过程中人为因素导致某些叶片的形态发生改变, 以及如上所述的MVS-Pheno平台的相机近距离拍摄麦穗顶端图像不清晰所致。

图9 小麦重建点云距离统计结果Fig.9 Wheat reconstruction point cloud distance statistical results

2.4 表型精度分析

分别在新麦26、西农979和济麦38的小麦植株样本上选取7～10片叶片, 进行表型测量和分析（图10）。误差分析结果表明, 对于叶片长度,R2为0.94, RMSE为0.795 cm, MAPE为3.26%；对于叶片宽度,R2为0.95, RMSE为0.130 cm, MAPE为7.63%；对于株高,R2为0.99, RMSE为0.531 cm, MAPE为0.74%。检查这些误差指标, 对于3个表型指标,R2均大于0.900, 表明用点云上计算的表型指标和实际数据有较强的相关性。

图10 回归分析以及RSME和MAPE结果Fig.10 Regression analysis and RSME and MAPE results

2.5 成本和效率分析

从表1中可以看出, 由于植物旋转式平台采用的转台成本较低, 仅为相机旋转式多角度平台的1/3。在重建效率方面, 相机旋转式多角度平台使用3台相机, 以12°间隔, 共采集90张多视角图像, 点云重建耗时为2 552 s（42 min 32 s）, 每幅图像28.36 s；而植物旋转式多角度平台使用2台相机, 共采集60张多视角图像, 点云重建耗时为932 s（15 min 32 s）, 每幅图像15.53 s。为了进一步比较2种方式的多视角重建效率, 从相机旋转式平台拍摄的90张图像中选取下层2台相机拍摄的60张图像作为数据, 都使用本文集成的多视角重建管道进行重建, 相机旋转式多角度平台点云重建耗时约27 min 45 s, 植物旋转式图像数据的重建效率是相机旋转式的近2倍, 这得益于植物旋转式拍摄平台获取了的图像数据进行了背景去除, 使得多视角重建特征点检测环节用时较少, 从而提高了重建效率。

表1 植物旋转式拍摄平台和相机旋转式拍摄平台的成本和重建效率对比Table 1 Comparison of cost and reconstruction efficiency of plant self-rotation shooting platform and camera rotation shooting platform

3 讨论

基于SFM和MVS的三维重建技术为植物表型数据获取提供了解决方案, 相比传统的数字化仪等接触式采集方法, SFM与MVS方法采集数据时效性更高, 避免了数据采集过程中植物叶片发生形变所导致的误差。本文基于植株旋转式设计了便携式小麦植株三维表型高通量采集系统, 提取的表型参数MAPE均小于8%, 表明植株旋转式多视角点云重建模块具有较高的重建精度和鲁棒性, 与Zhang等[28]研究结果一致。相机的数量和镜头角度以及拍摄的图像数量是影响植株旋转式多视角点云重建精度的关键参数。过多的图像导致错误的匹配点增多, 并且会产生更多的噪声, 而过少的图像则会导致生成的点云缺失信息。相机镜头拍摄角度不同, 对于重建效果也有一定影响, 用2个相机分别以水平和俯视45°的视角来采集小麦植株的多视角图像, 能够保证覆盖更大面积的拍摄范围, 且能采集到向上伸展叶片的清晰图像, 减少叶片之间的遮挡, 从而能够获得较好的重建点云质量。值得强调的是, 相机的数量和镜头的角度需要根据具体的作物株型结构而定, 通常需经过多次测试, 以选择最佳配置[29]。在多视角图像采集中, 避免植株自遮挡、图片清晰、相邻图片之间有50%以上的重合度以及图像采集时间短是4个比较关键的指标。

多视角图像采集过程中, 因转台带动发生抖动是植株旋转式多视角点云重建产生误差的主要原因之一, 为了减少此类误差, 同时保证一定的图像采集效率, 设置转台的速度为0.0 1 2 5 r·s-1。在实验中, 小麦植株在转台旋转时叶片会发生明显抖动现象, 且抖动的频率比较高, 但是从整体上来说, 叶片的抖动并没有对整个株型和叶片的生长朝向造成改变, 仅在叶片边缘和叶尖点云上产生误差。另外, 通过增加相机曝光时间以及增大相机与小麦植株的距离, 会避免采集图像模糊的现象, 也能够减轻拍摄过程中因抖动产生的误差。本研究结果表明, 小麦植株点云提取的叶长、叶宽和株高表型参数和人工测量数值的相关系数R 2分别为0.9 4、0.9 5、0.9 9, 这表明植物旋转式的多角度重建方法对于小麦这种带有一定柔软性叶片的植物也能够提取出高精度的表型参数。另外, 环境光照对于三维重建效果也很重要, 一般情况下, 照明应该足够分散, 避免阴影、镜面反射和过曝光现象, 使得拍摄对象获得比较均匀的光照, 从而能够减少重建点云的噪声, 这些噪声在后期去噪环节会被去除, 导致点云空洞和边缘缺失。相机镜头类型和白平衡等参数的设置也对重建结果有一定的影响, 本研究中使用的C a n o n相机为智能相机, 具有自动感光功能, 会智能优化被测物体图像, 尤其是在不均匀的光照环境下, 重建的点云顶点颜色会和实际植株颜色有偏差, 呈偏黄现象, 需要后期进一步改进光照环境或进行图像校准还原, 也可使用工业相机, 设定一致的相机参数来改善这种现象。

总体来说, 植株旋转式多视角重建技术在穗期的小麦三维点云重建和表型参数提取方面具有较好的效果和技术可行性, 并且该采集系统易于在实验场所附近搭建, 获取数据效率高, 成本较低。由于SFM算法依赖于对象的纹理信息来获取特征点进而进行重建, 因此对重建对象的选择也十分重要。对于穗期的小麦, 其生长形态已经趋于完整, 能够从图像中提取出复杂的纹理细节, 未来将进一步研究植株旋转式多视角采集装置的立体补光模块, 更好地控制光照环境, 并针对不同生育时期的小麦对象进行重建的适用性验证；另外, 探究基于点云深度学习技术, 自动化解决小麦这类细长植物的茎叶点云分割和表型提取问题, 进一步提高小麦植株三维表型高通量平台的自动化程度。