苹果四臂采摘机器人系统设计与试验

冯青春，赵春江，李 涛，陈立平，郭 鑫，谢 丰，熊子聪，陈凯文，刘 城，严童杰

（1.北京市农林科学院智能装备技术研究中心，北京 100097；2.国家农业智能装备工程技术研究中心，北京 100097；3.农业智能装备技术北京市重点实验室，北京 100097）

0 引言

苹果是全球种植规模最大的鲜果之一。中国苹果种植面积约200 万hm2，年产量4 300 万t，约为全球总产量55%[1]，是全球鲜果安全供应的必要保障。果实采收是果园生产中的复杂生产环节，涉及采摘、收集和运输等工序，机械化率不足3%[2]，人工采摘综合效率每人每天仅约200～300 kg。近年来，果园采摘“雇工难、雇工贵”的问题日益凸显，采摘人工成本上涨已经成为制约中国鲜果产业效益提升的重要因素。研发具有自主采收功能的机器人[3-5]，以代替或者辅助人工收获鲜果，具有良好的应用前景，在全球受到广泛关注。

随着标准化果园生产技术和人工智能技术理论的突破性发展，以苹果[6]、草莓[7]、番茄[8]和猕猴桃[9]等大宗鲜果为对象，一系列鲜果采摘机器人商业化产品被研发和应用。代表性的机器人产品包括：ARAD 等[10]开发了SWEEPER 温室甜椒收获机器人可昼夜在温室内工作，在狭窄植株间采用一组工业机械臂和果柄切割式的采摘执行器，实现果实自主采摘、收集和运输，采摘成功率平均61%，采摘效率24 s/果。美国Abundant Robotics 公司[11]研发的苹果采摘机器人，由一组并联机械臂操作吸附式采摘执行器进行果实采摘，对V 形树冠果树的平均采摘效率为2 s/果。新西兰Robotics Plus 公司[9]推出了猕猴桃四臂并行采摘机器人，综合采收效率约5.5 s/果，果实识别率76.3%，成功收获率51%。以色列FFRobotics 公司[6]研发的苹果采摘机器人，采用本体两侧对称分布的12 组机械臂进行并行采摘，对标准化果树的采摘效率约为1.8 s/果。西班牙Agrobot 公司[7]研发的草莓采摘机器人，最多可扩展24 组手臂进行并行采摘，单臂采摘效率约5 s/果。鉴于单臂采摘效率难以满足实际生产需要，“采-收-运”一体作业的多臂采摘系统是鲜果采摘机器人发展的重要趋势。目前国内鲜果采摘机器人技术攻关和示范应用具备了良好的基础[12-17]，然而多臂并行采摘机器人的相关研究尚处于探索阶段。

本文面向中国典型标准化苹果园工况条件，设计了具备“采摘-收集-运输”一体作业功能的四臂并行采摘机器人，对其采摘机械臂、末端执行器、果实识别定位以及四臂协同控制等核心部件进行详细介绍。通过果园现场应用试验，对机器人的关键性能进行验证和分析，为果园智能化采收装备研发与应用提供参考。

1 机器人作业工况与原理介绍

1.1 矮砧密植纺锤形树形

中国标准化苹果园主要以矮砧密植的高纺锤树形为主[18-19]，具有树形紧凑、树行空间开阔、通风透光、便于机械化作业等优势。如图1a 所示，果树行距约为3.5～4.5 m、株距1.0～1.5 m、主干高度3.0～3.5 m。主干四周交错生长30～40 个主枝，主枝直接生长结果枝条（图1b）。主枝生长过程中受钢丝绳固定约束，伸展方向与主干约90°。树冠宽度1.0～1.5 m、厚度约为0.8～1.0 m。

1.2 采摘作业空间

采摘机器人的目标作业空间由果实在树冠内的空间分布情况决定。受纺锤树形枝条形态约束，树冠内果实空间分布密度各不相同。以5 年树龄富士苹果树为例，将其树冠划分为边长200 mm 的正方体采样块，其中距地面高度＜1.0 m 的区域属于树冠底层、1.0～2.0 m 属于树冠中层、2.0 m 以上区域为树冠高层。统计每个采样块果实数量可得：纺锤形树冠内果实密度自上向下、由外而内逐渐增加，95%以上果实主要分布在高度0.6～2.8 m、主干周围0.4 m 的空间区域。鉴于采摘执行部件紧凑性设计需要，将此区域设定为采摘机器人的目标作业空间。如图2 所示，对于单侧树冠进行采摘作业时，该区域为宽度1.2 m、厚度0.4 m、高度2.2 m 长方体空间。

图2 树冠内采摘作业空间Fig.2 Harvesting workspace in canopy

1.3 采摘机器人系统作业原理

如图3 所示，苹果四臂采摘机器人系统主要包括采摘执行部件、果实感知深度相机、移动承载平台以及能源动力单元等。四组深度相机分别固定安装于采摘臂上方，可随其水平和垂直运动。根据树冠内的采摘作业目标区域，预先设定采摘臂的图像采集姿态，摄像机随采摘臂以执行部件中心对称分布，其总体视场需要覆盖作业区域。机器人由人工驾驶在果树行间移动，对果树进行逐一停车采摘，停车位置需保证采摘执行部件与树冠竖直中心近似对齐。对果树自主采摘作业流程主要包括：1）4 组采摘臂运动至图像采集姿态，随其同步运动的4个深度相机采集树冠不同区域图像，并对其中可见果实进行识别定位。2）鉴于各个深度相机坐标系随采摘臂运动的位姿变化，可由采摘执行部件的电机编码器测量确定。基于各个深度相机与机器人本体之间坐标系的变换关系，可将其视场内的所有果实空间坐标转化到机器人本体全局坐标系下。在全局坐标系下，对于中心距小于特定距离（果实平均直径）的果实，则认定其为同一果实，从而剔除多视场图像内的重复定位果实。在此基础上，根据各个果实在全局坐标系下的空间位置划分其所属采摘区域，并求解四组采摘臂各自采摘任务序列。3）采摘臂依次对各自任务序列内每个果实进行采摘。根据视觉单元对果实初次定位数据，采摘臂完成水平和垂直运动后，摄像机再次获取目标果实的空间坐标以校正初次定位数据。4）采摘手爪到达预定果实位置并完成采摘动作后，根据夹持驱动舵机电流反馈判断手爪内是否有果实被成功采摘。当手爪内没有果实，即采摘操作失败，则重复步骤3）进行第二次尝试，每个果实最多重复3 次尝试。5）所有采摘臂完成各自任务序列，否则认为当前树冠内果实的采摘任务结束，机器人需要移动至下一棵树进行采摘。

图3 苹果四臂采摘机器人样机Fig.3 Prototype of four-arm apple harvesting robot

2 采摘机器人关键部件设计

2.1 四臂并行采摘执行部件构成与原理

采摘执行部件主要包括采摘臂、采摘手爪以及果实收集部件[20]，如图4 所示。鉴于近似球形苹果的质心可直接作为采摘定位依据而无需考虑操作姿态，采摘手爪运动定位由3 个直线运动自由度实现，包括水平运动、垂直运动、伸缩运动，且每两组采摘臂共用一组垂直运动驱动机构，同步进行上下伺服运动，其各自水平运动互为独立。由于果实受重力牵引自然下垂，其主要分布于枝干和叶片下方。为了减少枝叶对果实的遮挡，每组采摘臂以向上倾斜姿态对果实进行采摘。采摘臂采用电动和气动组合式两级伸缩运动，以实现采摘手爪在树冠和机器人本体之间频繁高效的往复运动，其中机器人本体与树冠边缘之间采用气动驱动伸缩，树冠内部的精确定位采用电动伺服驱动伸缩。

果实收集部件包括2 组与水平运动机构固定连接的水平传送带和1 组立式传送带。采摘手爪将果实从枝干分离后，将其释放于水平传送带上，果实先后经水平和立式传送带输送至收纳筐。

2.2 驱控一体式采摘手爪

鉴于果柄与枝干之间的离层组织容易受旋转切向力脱落，设计了旋拧-拉拽组合式采摘手爪[21]，以促进果实与枝干的高效分离。如图5 所示，采摘手爪包括3 个阵列分布的TPU 橡胶材质手指、手指夹持驱动机构及其旋拧驱动机构。手爪接近果实后，手指同步闭合对果实进行夹持，而后进行旋拧将果实从枝干分离下来。

为了保证采摘手爪具有良好扩展性，手爪内置支持CANopen 总线通讯的驱动器与机器人主控制器直接进行数据通讯（图6），其中的数据处理模块负责手爪控制数据帧解码、手爪状态反馈数据帧编码以及总线数据实时收发。此外，舵机驱动模块可以将舵机内部线圈电流值通过总线向主控制器进行实时反馈，主控制器根据电流大小判断手爪是否与果实稳定接触以及果柄是否被分离。

图6 多采摘手爪总线扩展Fig.6 Multiple end-effectors connected by CANopen

2.3 果实识别与定位方法

（1）果实离散可见区域识别

果实分布于丛生密集的枝叶当中，其在机器人视场中多数为受遮挡状态，表现为叶片遮挡、枝干遮挡以及果实相互遮挡等情况，使得果实整体被划分为离散的像素区域。果实离散可见区域识别及其所属果实判定，是机器人感知采摘目标的基础。当前基于深度学习像素分割模型[22-23]，主要以在特定包围框内的联通像素区域进行分割，其无法对同一个果实的离散区域进行归类。为了实现群体果实离散可见区域“端到端”的检测、分割和归类，提出了具备果实区域检测与实例分割双重功能的多任务深度卷积网络模型[24]。如图7 所示，该网络由YOLOv4[25]架构改进而来，包含一个共享的编码网络和两个承担不同任务的解码网络。编码网络包括CSPDarknet[25]特征提取主干网络以及空间金字塔池化模块（SPP）[25]和特征金字塔模块（FPN）[25]构成的颈部网络。解码网络中的检测分支保留YOLOv4 检测头部网络，由路径聚合网络（PANet）[25]将FPN 输出的特征图由底层向顶层进一步融合后进行3个尺度的预测，获得果实区域整体边框。解码网络中分割分支对FPN 的底层特征进行3 次基于最邻近插值的逆卷积上采样，得到与原始图像大小一致的二维特征图，获得每个像素属于果实或背景区域的置信度，从而实现对果实可见部分像素的语义分割。在此基础上，对视场内每个果实整体检测边框和离散分割区域进行位置匹配，对于质心分布于相同边框内的像素，则认为其属于同一个果实，从而明确了离散果实可见区域的归属。

图7 果实识别多任务网络模型Fig.7 Fruit identification based on multi-task DCNN

（2）果实质心空间定位测量

在获得果实边框图像位置和可见区域语义信息基础上，需要根据深度点云信息对球果质心进行空间定位，以引导机器人进行采摘操作。然而自然光条件下深度相机获得的点云图像通常存在空洞、飞点和扭曲等噪声，需要去除噪声确保果实表面点云数据准确。密度聚类算法（DBSCAN）[26]可以根据点云分布的紧密程度对其进行聚类，且无需指定预期的簇群数量。通过DBSCAN 对果实可见区域的点云进行分析，求取其中点数最多的聚类，则认为是果实表面精准点云数据，可求其质心Pc。

如图8 所示，由摄像机投影成像原理可知，目标检测网络输出果实包围框的空间投影与其在像平面区域的连线，形成三维视锥体结构[27]，且果实质心位于锥体中心线上。将Pc点 深度截面对应的果实包围框宽度近似认为果实的直径d，其可由果实包围框的像素宽度 Δw和摄像机内参因子Ku计 算为d=KuΔw。以Pc为 中心、d为直径做辅助球，球表面与视锥体中心线的远端交点可作为果实球体质心P0，即采摘执行部件接近果实的目标点。

图8 果实质心定位原理Fig.8 Fruit centroid location principle

2.4 四臂协同采摘任务规划

（1）树冠采摘区域划分

观察两组护理干预后的心理状况，使用焦虑量表对两组患者的心理情况进行评估[10]，分数越低，说明患者焦虑情况越轻。将患者焦虑情况作为评价护理质量的指标，对比两组患者护理质量。通过问卷的形式，调查两组患者对护理满意度，总分为100分，80分以上为非常满意，50～80分为基本满意，50分以下为不满意，总满意为基本满意与非常满意之和。

鉴于树冠内膛果实密集、外围果实稀疏的特点，如图9a 所示，将树冠均等划分为：4 个单臂作业区、4 个双臂作业区以及1 个四臂作业区。S1、S2、S3 及S4 分别为1～4 号采摘臂专属的单臂采摘区域，D1、D2、D3及D4 分别为1 号和2 号采摘臂、3 号和4 号采摘臂、1号和3 号采摘臂及2 号和4 号采摘臂共同作业的双臂采摘区域，F 为4 组采摘臂共同作业的四臂采摘区域。各个采摘臂依次遍历各自采摘区域的顺序设定为：单臂区域、双臂区域、四臂区域。为了防止同一作业区内多臂并行采摘造成树干振动，影响彼此对果实的精准操作，采用多臂交替作业模式对共享区域进行采摘，即同一时刻每个共享区域只允许单个采摘臂进入，一个采摘臂完成采摘操作缩回放果时，另一个采摘臂才可以进入同一区域。

图9 四臂协同采摘任务规划Fig.9 Task planning for four-arm collaborative harvesting

（2）四臂采摘任务最优次序求解

采摘目标高效遍历是多臂协同采摘任务规划的主要目标。本文直角坐标式采摘臂末端空间运动距离与果实空间距离线性相关，若忽略采摘臂加减速过程及其各关节运动速度差异，果实依次遍历的路径长度可表征机器人作业耗时。为了求解四臂遍历果实的总体时间最短问题，提出了基于遗传算法的果实采摘任务规划描述方法[28]。如图9b 所示，对4 组采摘臂随机依次分配各自作业区域内的采摘对象，形成各自采摘任务序列。4 组采摘臂与其作业区域内每个果实的依次组合，即可确定为一组遗传算法的有效解。

同理可得1 号采摘臂在D3 和F 区域任务序列的采摘时间，进而可得1 号采摘臂完成其全局采摘任务的时间。按此推理，可确定4 组采摘臂各自的全局任务耗时，其中最长耗时Tmax为完成全部果实采摘的总体时间。以1/Tmax为评价任务规划优劣的适应度，通过选择、交叉和变异算子不断迭代优化随机初始解，当适应度最大时对应最优采摘任务规划。

3 采摘机器人试验与结果

3.1 果园现场试验

2022 年10 月25 日至30 日在北京昌平果树研究所进行四臂采摘机器人应用试验（图10）。

按照矮砧密植果树树形标准，选择5 年树龄的10 棵苹果树作为试验对象，每次试验仅对其树冠单侧采收。根据多臂采摘区域划分规则，采收前分别统计机器人视场中树冠单侧不同采摘区域的果实数量（图11），包括可见果实（全部可见和局部可见）数量Nvis、受遮挡不可见果实的数量Ninvis；采收过程中统计可见果实中被机器人成功识别的果实数量Ndetected、被精确定位的果实数量Nlocated、成功采收果实数量Nsuccess、不同采摘区域的作业时间以及每棵果树总体采收耗时（暂忽略机器人由人工驾驶在不同果树样本间移动的耗时）；采收后统计果树树冠中不同区域内的剩余果实数量，以评价机器人有效采收率。此外，试验过程中及时记录失败采摘操作的故障原因。

图11 机器人视场图像Fig.11 Robot’s view field

如表1 所示，采摘试验涉及10 棵果树树冠内452 个果实，其中机器人视场内可见果实411 个，不可见果实为41 个。

表1 机器人视场内果实数量分布情况统计Table 1 Statistics of fruit quantity distribution within the robot's view field

3.2 结果与分析

当前矮砧密植果园尚处于新兴生产技术，各地果树栽培管理缺乏统一标准，尽管本文有限果树样本代表性略显不足，但是为了紧密结合鲜果智能采收的产业要求，本文分别针对果实视觉信息感知、作业效率以及有效采收率3个关键性能，对试验结果进行汇总和分析，如表2 所示。

表2 主要试验结果统计Table 2 Statistics of main test results

（1）果实视觉信息感知

411 个可见果实中382 个果实被准确识别，总体识别率为92.94%，其中S1、S2、D1 和D2 区域内枝叶稀疏区域识别率最高为100%、果实分布密度较高的F 区域识别率最低为86.26%（表2）。主要原因为纺锤形树冠内外围枝叶果均较为稀疏、以无遮挡果实为主；中心区域枝叶密度较高，果实收到遮挡较多、可见区域较小，容易造成漏检（图12a）。此外，树冠底层外围区域S3和S4 内识别率较低为93.33%和96.15%，主要因为该区域摄像机视场中前景树冠与背景天空亮度差异较大，自动曝光容易造成前景物曝光不足，使得图像中果实与枝叶色彩难以区分。

图12 果实识别定位效果示例Fig.12 Examples of fruit recognition and positioning results

果实定位精度同样随其受遮挡区域大小影响。根据可见区域获得果实包围框是本文基于视锥体结构对果实质心定位的前提。然而当果实主要区域受到遮挡或者可见区域不足以表现果实整体形态时（图12b），获得的果实边框仅包围果实局部区域，使得果实大小及质心测算误差较大。本文所采用的采摘手爪张开指端间最大距离为12 cm，试验果实平均直径为8 cm。382 个被识别的果实中371 个定位精度满足采摘手爪操作要求，11 个果实由于视觉定位偏差较大导致采摘失败。果实总体精准定位率为90.27%，且区域S2 最高为100.00%、区域F 最低为83.52%（表2）。可以通过增加采摘手爪指端张合范围包容球果的定位误差，但是将增加手爪碰撞干涉风险。

（2）果实有效采收率

机器人可见的果实中成功采摘的果实数量为337，74 个可见果实未被成功采摘，采摘成功率为82.00%，其中S2 区域最高为100.00%、F 区域最低为73.63%。对于试验果树内的所有果实（包括可见和不可见果实），机器人总体有效采收率为74.56%，其中S1 区域最高为94.74%、F 区域最低为69.43%。如表2 所示，74 个采摘失误果实包括：未被识别的果实29 个、未精确定位的果实11 个以及采摘操作失误的果实34 个，即由于识别失误、定位失误及操作失误的比例分别为39.19%、14.86%及45.95%。相对于果实视觉信息感知方面，执行部件的操作失误是影响机器人有效采收率的主要原因。

在果实密集的F 区域采摘失误数量最多为48 次，其中操作失误18 次。采摘操作失误主要表现为两种情况（图13）：①采摘手爪将果实与其附近的叶片/枝干同时夹入而造成旋拧电机过载（图13a），导致采摘失败；②采摘手爪与枝干或果实碰撞使得果实偏离初始位置而造成采摘失败，其中包括手爪与运动路径中的枝干发生碰撞（图13b）、以及手爪指端与目标果实临近枝干或其他果实发生碰撞。

综上所述，复杂树冠内遮挡、干涉和碰撞是造成采摘失败的主要原因。因此，机器人除了需要感知果实目标以外，其对枝叶遮挡和干涉的探测和理解是需要进一步突破的技术难题。此外，通过优化树冠枝干空间形态、精准管控坐果密度，也是保证机器人采收效果的必要措施。

（3）采收作业效率

为了准确评估机器人多臂协作的效率，本文暂且忽略试验过程中的失误采摘耗时，以机器人对所有识别到果实的遍历操作效率表征其采收作业效率。机器人对成功识别的382 个果实都执行了完整的采摘操作，总体耗时2 720 s，单果采摘平均耗时7.12 s。各区域采摘总体耗时以及单果采摘效率统计如表2 所示，平均采摘效率在单臂采摘S 区域为9.59 s/果、双臂采摘D 区域为8.17 s/果、四臂采摘F 区域为4.87 s/果，且果实稀疏的外围区域S1 和S2、D3 和D4 区域的采摘效率均小于中心区域的S3 和S4、D1 和D2。双臂和四臂协同采摘效率分别是单臂的1.17 和1.96 倍，可见同作业效率还有较大提升空间。

限制机器人采收效率的主要因素包括：①在多臂共享的采摘区域果实密度增加，设定的交替采摘等待时间随之增加，从而制约了多个采摘臂实际的作业效率；②本文对树冠划分恒定的单臂和多臂采摘区域，但是果树个体之间树形各不相同，当果实在外围区域分布较多时，采摘臂需要花费较多时间完成单臂或者双臂采摘任务，从而影响四臂协同采摘的综合效率。因此，进一步完善采摘臂交替采摘避障实时监测、优化多臂协同策略以及规范管控树形结构，实现采摘区域的动态划分、减少交替等待耗时，将有利于进一步提升多臂作业的综合效率。

4 结论

针对中国典型标准果园高效采摘需求，设计了四臂并行作业的采摘机器人系统，实现了矮砧密植苹果的自主采收作业。提出了基于受遮挡果实可见区域信息的目标识别与定位方法，实现了复杂背景下采摘目标质心的空间定位；建立了针对树冠内不同果实密度区域的四臂协同采摘任务规划模型，保障多个执行器高效有序地并行采摘。果园现场试验表明，机器人对于可见果实的识别率为92.94%、其中定位精度满足机器人要求的占90.27%；机器人综合采收效率为7.12 s/果（不包含移动运输时间），其中单臂、双臂以及四臂协同区域采摘效率分别为9.59、8.17 和4.87 s/果；机器人对于全部试验样本的有效采收率为74.56%，其中可见果实的成功采收率为82.00%。果实受枝叶遮挡，影响视觉识别定位精度以及造成采摘执行部件干涉碰撞，是造成采摘失败的主要原因。因此，提升机器人自主避障能力和改善树形结构，是进一步改善机器人作业性能的必要研究工作。