果树采摘机器人研制与设计

赵德安 姬 伟 陈 玉 马履中 胡小安 张小超

（1江苏大学，江苏镇江， 212013；2中国农业机械化科学研究院，北京， 100083 ）

果树采摘机器人研制与设计

赵德安1姬 伟1陈 玉1马履中1胡小安2张小超2

（1江苏大学，江苏镇江， 212013；2中国农业机械化科学研究院，北京， 100083 ）

本文介绍研制一种果树采摘机器人。该机器人由移动底盘及机械手二部分组成，机械臂为PRRRP结构，采摘果实的末端操作器固连于机械臂上，末端操作器上安装视觉传感器、位置定位传感器、压力传感器和碰触传感器。操作器开合由气动控制，当操作器夹住果实后，由安装在操作器一侧的电动刀具切割果柄。硬件平台采用KP-6420i型工控机和台达交流伺服驱动器，视觉系统采用VFW图像采集系统。软件基于VisualC++6.0开发环境，采用基于径向基函数支持向量机的果实图像识别方法，可以满足果树采摘机器人对图像实时处理的速度要求，并通过串行通信实现对机械臂的运动控制。实验样机通过实验室和果园采摘实验，验证了设计的合理性和有效性。

采摘机器人，控制系统，图像处理，支持向量机

0 引言

我国是世界第一大水果生产国，2008 年我国水果总产量已超过6000万吨，约占全球产量的14%，其中又以苹果、柑桔和梨的产量为最大。目前，我国的水果采摘绝大部分还是以人工采摘为主，采摘作业所用劳动力占整个生产过程所用劳动力的33～50%，这不仅效率低、劳动量大，而且容易造成果实的损伤，如果因人手不够不能及时采摘，还会导致经济上的损失。因此，果园收获作业机械化、自动化已成为广大果农们关注的热点问题。为此，本课题组在国家863高技术研究项目经费资助下，开展了果实采摘机器人的研究工作。

1 机械结构

1.1 主体机械结构

果树采摘机器人主要包括两部分：两自由度的移动载体和五自由度机械手。移动载体为履带式平台，加装了主控 PC机、电源箱、采摘辅助装置、多种传感器；五自由度机械手固定在履带式行走机构上，采摘机器人机械臂为PRRRP结构，作业时直接作用于果实的末端操作器固连于机械臂的末端，机械结构如图1所示。

机械臂第一个自由度为升降自由度，中间三个自由度为旋转自由度，第五个自由度为棱柱关节。第一个自由度主要起抬升机械臂的作用，第二个自由度带动机械臂绕腰部旋转；第三、四个自由度是旋转轴，起升降末端操作器的作用，中间二、三、四自由度能够实现末端操作器在工作空间中转向任意方向；第五个自由度是伸长自由度，根据机器人控制指令，将末端操作器送到目标果实的位置，进而实现对果实的采摘[1]。

图1 果实采摘机器人机械结构示意图

1.2 末端操作器

末端操作器简图见图2a，实物见图2b。夹持器的开合由气动控制，当夹持器夹住果实后，由安装在夹持器一侧的电动刀具切割果柄[2]。

图2 末端操作器

2 控制系统硬件构成

基于开放性、实时性和可靠性等方面的考虑[3-4]，本研究团队设计了图3所示的基于工业控制计算机（简称工控机）的果树采摘机器人控制系统。

图3 果树采摘机器人控制系统硬件结构图

2.1 主控计算机

采摘机器人控制系统采用KP-6420i工控机为控制器，实现采摘路径规划、图像处理、机械臂运动学计算、对机械臂关节的交流伺服驱动器的控制、各关节编码器反馈信息和传感器信息的处理及显示等功能。

2.2 检测系统

机器人小臂末端安装双面视觉传感器，用于获得果树或局部的立体信息，以便机器人对采摘路径进行规划。在末端操作器上，分别安装了视觉传感器、位置定位传感器、压力传感器和碰触传感器。视觉传感器是机器视觉系统的核心部件，采用高像素的摄像头。位置定位传感器为对射光电管对，碰触传感器和压力传感器采用力敏电阻组成。为了使传感器有较宽阔的视觉范围，且不受末端操作器的影响,视觉传感器采用“眼在手上”的安装方式。视觉传感器主要用于寻找和识别果实目标[5]。位置定位传感器采用红外线对射开关构成。当末端操作器在视觉传感器的引导下向果实运动，果实进入夹持器挡住第一对光电管时，机械臂开始减速运动，当果实同时挡住二对光电管时，机械臂停止运动，夹持器夹紧。当夹持器上的压力传感器感受到一定压力时，夹持器夹紧，启动电动刀具切割果柄。碰触传感器主要用于避障。传感器的安装增强了感知能力，为机器人的智能控制提供了条件。传感器安装分布图如图2所示。

2.3 交流伺服控制系统

交流伺服系统是由交流伺服驱动器，交流伺服电机和光电编码器组成的闭环控制系统。综合考虑使用性能和经济性，本系统采用中达电通的台达ASDA-AB交流伺服系统，3个关节的电机选择ECMA系列的低惯量、小容量交流伺服电机。为提高运行的安全性，在电机中还配置了电磁制动器。

伺服驱动器选用与电机配套的ASD-A1021-AB系列交流伺服驱动器。此类伺服驱动器主要有位置控制、速度控制、转矩控制三种控制模式，还具有RS-485、RS-232、RS-422 的串行通信功能，在实际使用中采取的是位置控制模式和RS-422通信方式。通过RS-422通信，可以将伺服系统的运行状态、报警情况和绝对位置等传送到工业PC机，并可通过工业PC机对伺服驱动器进行参数设置、增益调整和调试运行。

3 控制系统软件设计

果树采摘机器人控制系统的程序设计主要考虑控制的实时性和系统的开放性。控制系统的操作平台选用Windows XP，它具有良好的稳定性和安全性，利用工控机上的扩展槽和相应的功能模块，可以满足果实采摘机器人的多任务性。

3.1 果实识别和定位

在苹果采摘机器人视觉系统中，果实的识别和定位是关键环节，能否快速、准确地识别出果实直接影响机器人的实时性和可靠性[5]。然而在对采摘机器人视觉相关的研究中[6-9]，存在识别准确率低和运行时间长等问题，这在很大程度上制约了自然环境下作业的苹果采摘机器人的实时性和多任务性。为克服这一缺陷，本研究通过提取彩色苹果图像的颜色特征和几何形状特征，应用支持向量机对苹果图像进行分类，有效提高了苹果采摘机器人实时视觉系统的识别正确率和识别速度。该方法的识别性能优于普遍采用的神经网络方法，尤其对于小样本的学习表现优异。

3.1.1 图像特征提取

在通常使用的RGB空间中，图像的亮度、色度和饱和度是混合在R、G、B三个分量中的，真实的苹果受到光照条件的影响，其表面的亮度分布不均匀，这极大地影响了颜色特征的提取。因此，本研究采用HLS颜色模型将RGB图像中的亮度分量、色度分量和饱和度分量分离，将色度分量和饱和度分量作为苹果识别的颜色特征。

在提取颜色特征的过程中，通过计算欧氏距离来判断颜色是否相近。2个像素p1(H1,S1)和p2(H2,S2)，它们的距离d(p1,p2)定义为：

苹果果实、树枝、树叶都有特定的形状,且差异较大,因此可以对苹果果实的轮廓提取相应的特征,进一步运用支持向量机进行分类。

物体几何形状的最大特点是不因物体在图像上的位置、大小和图像所处的角度而改变，所以应提取满足RST (旋转、比例、平移)不变性的特征向量。针对苹果果实图像的特点，利用圆方差、椭圆方差、紧密度、周长平方面积比等特征能很好地概括苹果果实的轮廓特征，因此可以提取这4个特征量作为每一个样本的特征向量，构造支持向量机进行训练和分类[10]。

3.1.2 基于支持向量机的苹果果实图像识别

选取640×480像素的苹果图像150幅作为训练样本，建立识别模型，再选取640×480像素的图像50幅作为测试样本，用来验证模型的有效性和可靠性。实验中采用交叉验证法(cross validation)来确定支持向量机的参数，其步骤如下：

①将原始训练集划分成n个大小相等的子集。

②选择其中一个子集作为校验集,并使用其他训练样本训练支持向量机。

③使用训练得到的分类器在校验集上进行测试,记录测试误差。如此反复，直至每个子集都作过一次校验集。

④统计所有测试误差,并对其泛化性能进行评估，确定参数。实际采用5-交叉验证法，即n=5。

针对苹果果实图像特征数据，使用不同的核函数（多项式核函数、径向基核函数和Sigmoid核函数）对支持向量机进行分类测试，以判别支持向量机是否具有不同的分类性能，并通过平均识别率和运行时间来综合确定哪种支持向量机更适合于苹果果实的识别，其中平均识别率R定义为:

3.2 机械臂的控制

采摘机器人关节几何关系见图4。根据图像中目标果实质心偏离图像中心坐标的距离，通过公式(3)，控制机械臂使摄像机坐标系沿其各坐标轴运动实现图像中心坐标向图像中目标果实的质心运动，然后驱动棱柱关节将末端执行器送到目标果实所在位置并进行抓取工作。

图4 采摘机器人关节几何关系

3.3 软件结构组成

果树采摘机器人采摘系统的软件由操作系统、VC++函数库等系统软件，以及图像处理算法、机器人控制算法、路径规划算法、机械臂运动控制程序、末端执行器控制程序等应用软件组成，如图5所示。由于用户操作平台建立在工业控制计算机上，控制系统对用户具有全开放性，用户可以通过交互式平台对机器人本体进行基本操作和在线调试，而且还可以通过常规VC++语言离线编程，进行各种控制算法以及图像处理算法的研究。

图5 果树采摘机器人采摘系统软件结构框图

3.4 控制主程序流程图

控制主程序流程图如图6所示。

图6 机器人控制程序流程图

4 控制系统实验

取支持向量机的惩罚参数C=1，多项式核函数中q=3，径向基核函数中σ2=6，Sigmoid核函数中α=1/6，β=-1。识别结果如表1和图7所示。

表1 颜色特征和几何形状特征相结合的苹果果实图像识别结果

从表1可以看出，径向基核函数对于苹果果实的识别率最好，从运行时间上看, Sigmoid 核函数分类时间最短，但识别率很低；其他2个核函数识别时间相当。实验中的图像是在自然光照条件下采集的，由于拍摄角度的原因，苹果可能受树叶、枝条遮挡，两个或多个苹果也可能相互重叠，这些因素都会导致错判、 漏判苹果的现象；另外，参数选择的算法不是最优，导致参数不够精确，这也对识别率造成一定的影响。综合识别率和运行时间两个因素考虑，可以得出：径向基核函数对于苹果果实的识别效果最好。

通过图7可看到，该识别方法不但对红色不套袋苹果具有好的识别效果，对套袋苹果也具有较理想的识别效果。

本研究团队制作了图8所示的果树采摘机器人机械手样机作为实验平台，进行了机械臂实验室模拟采摘实验，并构建了图9所示的自行式采摘机器人样机进行了机器人果园采摘实验。实验室模拟采摘和果园采摘实验表明，机器人能准确识别果实目标，并能顺利采摘果实，对果树树冠外侧果实的连续采摘速度能达到15s摘1个。

图8 实验室采摘实验

图9 果园采摘实验

5 结论

本文介绍了一个基于工控机和交流伺服驱动系统的果树采摘机器人的实验平台，阐述了果树采摘机器人的结构及控制系统的实现方法，利用5自由度关节式采摘机器人机械臂、工控机和串行通信转换器以及机器视觉系统组成了开放式果树采摘机器人实验系统。最后，通过实验验证了该系统设计的合理性和有效性，为采摘机器人的深入研究积累了宝贵经验。

[1] 胡小安，赵德安.果树采摘机器人关键技术研究最终报告，40000158X--2006AA10Z254/01.中国科学技术信息研究所,2014.

[2] 马履中，赵德安，王成军，等. 授权发明专利：一种苹果采摘机器人的末端执行器，授权号：ZL200810156422.2.

[3] 周学才, 李卫平, 李强. 开放式机器人通用控制系统[J]. 机器人. 1998(1).

[4] Ford W E. What is an open architecture robot controller?[C]. In Proceedings of the IEEE International Symposium on Intelligent Control, Columbus, Piscataway: IEEE Press,1994:27-32.

[5] Bulanon D M, Kataoka T, Okamoto H, et al. Development of a real-time machine vision system for the apple harvesting robot[C]. Sapporo, Japan: Society of Instrument and Control Engineers (SICE), 2004.

[6] 徐惠荣, 叶尊忠, 应义斌. 基于彩色信息的树上柑橘识别研究[J]. 农业工程学报, 2005(5):98-101.

[7] 赵杰文, 刘木华, 杨国彬. 基于HIS颜色特征的田间成熟番茄识别技术[J]. 农业机械学报, 2004(5):122-124.

[8] Bulanon D M, Kataoka T, Ota Y, et al. A segmentation algorithm for the automatic recognition of Fuji apples at harvest[J]. BIOSYSTEMS ENGINEERING. 2002, 83(4): 405-412.

[9] 刘长林, 张铁中, 杨丽. 茄子收获机器人视觉系统图像识别方法[J]. 农业机械学报, 2008(11):216-219.

[10] 王津京, 赵德安, 姬伟, 等.采摘机器人基于支持向量机苹果识别方法[J]. 农业机械学报, 2009, 40(1):148-151.

[11] 赵庆波, 赵德安, 姬伟, 等. 采摘机器人视觉伺服控制系统设计[J]. 农业机械学报, 2009, 40(1):152-156.