苹果在线分级系统设计与试验

张庆怡， 顾宝兴， 姬长英， 方会敏， 郭 俊， 沈文龙

(1南京农业大学 工学院，江苏 南京 210031； 2山东省农业机械科学研究院，山东 济南 250100)

苹果在线分级系统设计与试验

张庆怡1， 顾宝兴1， 姬长英1， 方会敏2， 郭 俊1， 沈文龙1

(1南京农业大学 工学院，江苏 南京 210031； 2山东省农业机械科学研究院，山东 济南 250100)

【目的】根据苹果采摘机器人结构和作业特点设计与其配套的在线分级系统, 满足实时分级需求。【方法】通过预分级机构剔除果径在等级外的苹果，减少视觉分级的无用功；利用力传感器获取苹果质量信息并确定质量等级；通过机器视觉技术实现苹果大小和腐烂面积的检测；借助Matlab和VS2008开发图像处理算法和界面控制程序；构建基于CAN总线的分布式控制网络。对苹果进行综合分级试验。【结果】苹果实际直径与检测直径的决定系数为0.990 3，实际质量与检测质量的决定系数为0.999 6，实际腐烂面积与检测腐烂面积的决定系数为0.985 5，综合分级成功率可以达到89.71%，连续分级时单果平均分级时间为2.89 s。【结论】该分级系统工作稳定，方便扩展，有较高的分级效率和分级精度，可以满足采摘机器人的实时分级需求。

采摘机器人； 预分级； 在线实时分级； 机器视觉； 图像处理算法； 综合分级

苹果分级是苹果收获后处理和进入市场销售前的一个重要环节[1]。基于数字图像处理的苹果分级方法已有大量研究，但大多侧重于苹果大小、形状等单一特征分级[2-5]，难以满足苹果分级过程中对多指标进行描述的要求。此外，目前苹果分级均采用采摘与分级分离的模式，采摘后的苹果需要运输到指定的地点进行分级操作，由于苹果果皮较为脆弱，水果装箱的二次操作增加了水果受损伤的几率[6]，机械损伤也是病原微生物的入侵渠道，是导致水果霉烂最主要的原因，由于在各个作业环节中受载荷后水果出现瘀伤、破损，从而导致变质腐烂的水果多达 30%～40%，因此造成的损失高达每年数百亿元[7]。同时，传统分级机械多采用流水线作业方式，水果需要经过很长的输送带[8-9]，分级设备的占地面积大，投资成本高[10]。

针对上述问题，根据苹果采摘机器人的作业特点设计一套与苹果采摘机器人配套使用的在线分级系统。苹果采摘机器人摘下苹果后即将其放入采摘机器人的分级系统中，分级系统根据苹果的大小、质量、腐烂情况对苹果等级做出综合判定。

1 总体设计

1.1 总体结构

苹果在线分级系统主要由预分级机构、质量和视觉分级系统、分级执行机构[11]、控制系统、安装架等5个部分组成，系统总体结构见图1。预分级机构、质量和视觉分级系统、分级执行机构、控制系统均固定在安装架上。与采摘机器人配套使用时，分级系统通过安装架与采摘机器人的底盘连接，分级系统中的各子控制单元通过网口、CAN总线、串口等与采摘机器人进行数据传输和通讯，此时，采摘机器人的工控机作为分级系统的控制器协调采摘和分级工作。

1：预分级机构；2：称质量和视觉分级系统；3：分级执行机构；4：控制系统；5：安装架。

图1 总体机械结构图
Fig.1 Diagram of the overall mechanical structure

1.2 分层分级

在基于视觉技术的水果分级系统中，视觉信息获取和处理速度是影响水果分级效率的关键[12]。苹果等级的国家标准中规定了等级内(特级、一级、二级)苹果需要满足的最小果径要求[13-14]，故对于果径属于等级之外的苹果没有必要再利用视觉技术进行处理。因此，为了提高分级的效率，可将传统的分级过程分为预分级(机械分级)和视觉分级2个步骤。预分级采用机械式分级结构将果径在等级之外的苹果直接剔除，不再进行后续的视觉分级过程，减少后续视觉分级阶段的不必要的工作量，加快分级速度，预分级机构见图2。分级滑道主体采用2 mm厚的不锈钢板弯折成U型，底面开有椭圆形孔，长轴与滑道长度方向垂直，确保苹果经过孔时苹果重心的投影在孔内侧，从而确保苹果经过孔的筛选。同时，椭圆孔对苹果有一定的导向作用，可以避免苹果滚动到果盘的过程中跌落到地上。

图2 预分级机构Fig.2 Pre-grading mechanism

1.3 工作流程

系统工作流程见图3，苹果采摘机器人将采摘下的苹果放置在预分级机构的上端，苹果受重力作用沿着预分级机构下滑。果径在等级之外的苹果则由滑道上的椭圆孔漏出，经等级外管道滚动至等级外果箱中，果径在等级内的苹果则运动至果盘上。力传感器检测到苹果滚落到果盘后开始测量苹果的质量，若苹果的质量在等级之外则翻转电机动作，苹果滚落至分级执行机构上，系统通过CAN总线通知分级执行机构控制器，将苹果输送至等外果箱，当前苹果分级完成。若苹果的质量在等级内，则将其具体等级信息经CAN总线发送至工控机。在获取苹果质量信息的同时CCD相机便开始获取苹果正面图像，并由工控机对图像进行处理。若质量分级模块发送的信息显示当前苹果质量处于等级内，则继续视觉分级过程，否则停止视觉分级过程。若正面图像分级的结果已足以判定苹果属于等级之外，则翻转电机动作，苹果滚落至分级执行机构上，系统通过CAN总线通知分级执行机构控制器，将苹果输送至等级外果箱，当前苹果分级完成。若正面图像分级的结果不足以判定苹果属于等级之外，则旋转电机带动苹果转过180°，采集苹果背面的图像并进行图像处理，工控机根据苹果正面和反面图像的处理结果得出综合等级。翻转电机动作后，控制系统通知机械手可以继续放置下一个苹果。工控机根据视觉模块和称质量模块得到等级信息，判定苹果的综合等级，并将该信息发送给分级执行模块。分级执行模块将苹果输送至与其等级对应的果箱。至此，一个分级过程完成。

图3 系统工作流程Fig.3 Workflow of system

2 质量和视觉分级系统

2.1 硬件设计

称质量和视觉分级系统(图4)由翻转电机、旋转电机、果盘、CCD相机、LED光源、光源控制器、挡果板、果盘等组成。翻转电机将苹果倾覆到分级执行机构上；旋转电机带动果盘整体旋转，使苹果的不同侧面暴露在CCD相机的视野中；挡果板用于防止苹果从果盘滑落。视觉分级系统外观(图5)的整体外侧包裹ABS板，形成封闭的暗箱，暗箱内的LED光源和光源控制器提供稳定可控的照明条件。挡果板和ABS板内侧均粘有黑色混纺布制作的背景布。果盘整体由工程塑料切削而成，上表面呈凹形，其中垫有硅胶发泡材料，避免苹果冲击产生损伤，外侧盖有黑色混纺布制作的背景布，提供单一的拍照背景。

1：翻转电机；2：旋转电机；3：质量传感器；4：果盘；5：LED光源；6：CCD相机；7：光源控制器；8：苹果；9：挡果板。

图4 质量和视觉分级系统
Fig.4 Weight grading and vision grading system

1：预分级机构；2：工程塑料；3：硅胶垫料；4：黑色混纺布。

采用烟台永信视觉技术有限公司生产的YX-BL17030型条形光源，发光尺寸为160 mm×25 mm，色温可以达到6 000～6 500 K。配合该公司生产的DPC24125-4T型光源控制器，可以通过串行通信控制光源的亮度等级，亮度的范围是0～255级。2条呈一定夹角的条形LED光源提供前照式照明，试验时通过调整光源的亮度、与苹果的距离和朝向3个因素在苹果表面获得较为均匀的照明，同时减少表面的反光[15-16]。CCD相机采用加拿大PointGrey公司生产的BFLY-PGE-20E4C型彩色摄像机，镜头采用日本UTRON公司的HS1214J型镜头。获取苹果全表面图像是利用机器视觉分级的关键[17-18]。采用CCD相机配合旋转的托盘采集苹果的表面图像，电机带动果盘使苹果的不同表面暴露在相机的视野中，拍照时苹果处于静止状态，可以获得苹果表面清晰的图片。单目摄像机安装在待分级苹果特征检测平台斜上方，采集完苹果正面图像后，控制果盘旋转180°来带动待分级苹果旋转，采集苹果背面图像。

分级执行机构(图6)由滑道、分级执行电机、拨爪、输果管道等组成。滑道上有多个圆孔，并在每个圆孔下方设置对应不同等级的分级管道，使不同等级的苹果从相应的圆孔落入其中。滑道上设有多个呈直线排列的拨爪，每个拨爪均为圆弧带状，并与滑道平面相垂直。当处于工作状态时，每个拨爪的开口均朝向滑道的上端，使其能够兜住沿滑道滚落的苹果。每个拨爪分别临近1个圆孔，且每个拨爪的中间底部设有转轴，使拨爪绕该转轴转动，将兜住的苹果拨入相应的分级管道内或使苹果继续滚动。转轴穿过滑道面后与相应的分级执行电机相连。每个拨爪前方的滑道上分别设有1个光电传感器，能够感应到滚过的苹果，并触发相应的分级电机工作。分级电机还与控制系统相连，并由控制系统控制其转动方向。拨爪和滑道的表面包裹有硅胶发泡板，可避免苹果碰伤。

1：滑道；2：执行电机；3：拨爪；4：输果管道。

2.2 苹果特征提取

2.2.1 大小特征提取 苹果大小检测的具体流程为：读入原始彩色图像(图7a)；采用对彩色图像的R、G、B分量进行加权平均的算法将图像转换为灰度图(图7b)；对灰度图进行直方图均衡化处理，增加图像灰度级的动态范围(图7c)；采用3×3模板对灰度化的图像进行高斯滤波，高斯滤波参数Sigma=1.6 (图7d)；将图像二值化并进行腐蚀和膨胀处理 (图7e)；利用MER法寻找最小外接矩形[19-20]，该矩形的长边即为苹果的最大横径(图7f)；评定等级。

2.2.2 腐烂面积特征提取 苹果腐烂面积识别的具体流程为：读入原始彩色图像结果(图8a)；采用对彩色图像的R、G、B分量进行加权平均的算法将图像转换为灰度图(图8b)；增强图像，将灰度级在0.1～0.3的值映射到0～1的值(图8c)；利用最大类间方差法寻找合适阈值，并参考文献[21]的方法使用这个阈值把灰度图像转换为二值图像结果(图8d)；使用3×3 模板进行中值滤波，去除斑点噪声(图8e)，记为A；填充图像孔洞(图8f),记为B，提取边界并对其进行膨胀处理(图8g)，连接断开的像素(图8h)，记为C，B-A-C即可得到果实表面腐烂 (图8i)；计算腐烂面积，并根据文献[22]的方法评定等级。

2.2.3 质量特征提取 质量传感器安装在果盘和转轴之间，传感器两端分别与果盘和转轴利用螺栓固定。传感器信号经放大后，传给下位机控制器，下位机控制器驱动AD转换电路将该模拟信号转换成数字信号，折算成苹果实际质量并根据预先规定的规则判定苹果等级。称质量传感器选用蚌埠中诺公司生产的JSBL-1kg型压力传感器，其量程为0～1 kg，最小分辨率0.01 g。

图7 苹果大小检测Fig.7 Apple size detection

图8 苹果腐烂面积检测Fig.8 Apple rot area detection

3 控制系统

3.1 系统组成

考虑到系统良好的开放性和可扩展性，引入CAN总线技术[23]，构建基于总线的分布式控制网络结构，如图9所示。工控机模块为上位机，上位机节点通过USB-CAN转接卡与下位机进行通讯。自行设计了下位机节点，采用单片机作为微处理器，主要包括主处理器、接口电路、电动机控制电路、数据采集电路等模块。这种分布式控制网络结构为后续添加不同农业生产所需要的末端执行器、传感器模块等提供了方便。

图9 控制系统结构图Fig.9 Structural diagram of the control system

3.2 程序界面

以VS2008为编译器，在VS中编写的应用程序作为客户机在前端工作，通过Matlab计算引擎向后台Matlab服务器传送数据，图像计算的结果再由Matlab计算引擎返回给应用程序[24-25]。控制软件主要由图片显示区、系统控制区、光源控制区、CAN控制区、信息显示区组成，具体界面见图10，图片显示区可以显示当前处理苹果的原始图、大小检测图和腐烂检测图；系统控制区集合了分级过程中的控制操作；软件有自动分级和手动调试2种状态，手动调试状态下可以实时调整分级的流程及相关参数；光源的调整通过光源控制区实现，质量模块、运动电机的控制通过CAN控制区实现；信息显示区可以显示当前苹果的大小、质量、腐烂面积等信息，以及系统的工作状态信息。

图10 控制程序界面Fig.10 Control program interface

4 试验与结果分析

为测试分级系统的性能，2016年8月19—25日在南京农业大学智能化实验室进行了试验研究。由于目前苹果采摘机器人仍处于加工阶段，为了准确测试分级系统的性能，避免苹果采摘对分级的影响，试验时人工模拟机械臂的采摘动作，手动将苹果放置在分级系统的入口处，即预分级机构的顶端。试验选用红富士苹果，分别进行了预分级、大小检测、质量检测、腐烂面积检测和综合分级试验。试验前质量传感器和CCD相机均经过了标定。

4.1 预分级试验

初步试验表明，预分级成功率主要与滑道的倾斜安装角度有关系。因此，在室内进行了预分级试验，改变滑道的倾斜角，统计并计算在不同安装倾角下果径小于70 mm和大于70 mm苹果的预分级成功率。定义预分级机构预分级成功的标准为：对于果径小于70 mm的苹果，当且仅当苹果顺利穿过分级孔且无损伤视为预分级成功；对于果径大于70 mm的苹果，当且仅当苹果顺利越过分级孔且无损伤视为预分级成功[14]。苹果损伤通过试验后使用5倍放大镜观察，根据果实表面是否有表皮损伤或汁液溢出的现象确定[6]。试验统计结果表明，当滑道的安装倾斜角为23°时预分级效果最佳，此时，果径小于70 mm和大于70 mm苹果的预分级成功率分别可以达到94.20%和93.83%。

4.2 苹果质量、大小和腐烂面积检测

凯丰JCS-600型电子天平测定苹果质量，最小分辨率为0.01 g。系统工作在手动调试状态下，通过CAN总线向称质量模块发送控制命令，获取苹果的质量。试验结果表明：苹果质量实际测量值与分级系统检测值之间的最大绝对误差为2.91 g，平均绝对误差为1.05 g，最大相对误差为0.77%，平均相对误差为0.38%。以质量传感器测量的质量为横坐标，苹果的实际质量为纵坐标作图(图11a)，得到苹果果径实际质量(m实)与检测质量(m测)的回归方程：m实=1.004 8m测-1.368 5(R2=0.999 6)。

游标卡尺测量苹果果径并将其与视觉分级系统得到的结果进行对比分析。试验结果表明：苹果果径实际测量值与分级系统检测值间的最大绝对误差为2.68 mm，平均绝对误差为1.16 mm，最大相对误差为3.49%，平均相对误差为1.45%。以实际测量的苹果果径为横坐标，分级系统识别的苹果果径为纵坐标作图(图11b)，得到苹果实际最大果径(d实)与检测最大果径(d测)的回归方程：d实=0.990 3d测+1.827 3(R2=0.990 3)。

苹果的实际腐烂面积使用坐标纸测量，测量时将透明的坐标纸铺在损伤苹果表面，使用细记号笔描画腐烂边界，统计边界内的单位方格的数目，即可得到腐烂部位的面积。将实际测量的苹果腐烂面积与分级系统测量得到腐烂面积数据对比分析可得：两者的最大绝对误差为0.38 cm2，平均绝对误差为0.11 cm2，最大相对误差为17.39%，平均相对误差为7.12%。以实际测量的腐烂面积为横坐标，分级系统识别腐烂面积为纵坐标作图(图11c)，得到苹果实际腐烂面积(S实)与检测腐烂面积(S测)的回归方程：S实=1.011 1S测+0.017 0(R2=0.985 5)。

实心点为实际测量值，虚线为系统检测值。

4.3 综合分级试验

选择不同等级的烟台红富士苹果共68个，其中特级果23个、一级果17个、二级果13个、等级之外果15个，试验前通过人工测量确定其综合等级并标记，然后利用搭建的分级系统判定等级，同时记录每个苹果从放置于滑道顶端到最终完成分级的时间，统计分级正确的苹果数量。综合等级的判定准则为取按照大小、质量、腐烂面积单一特征分级结果中最小的一个数值作为苹果最终的等级。试验统计结果表明：68个苹果中有61个分级正确，分级系统综合分级成功率可以达到89.71%，连续分级时单果平均分级时间为2.89 s，与其配套使用的采摘机器人的平均采摘速度为9.50 s·个-1，可以满足使用要求。

5 结论

根据苹果采摘机器人的采摘效率和使用要求设计了苹果在线综合品质评价的分级系统，提出了分层分级的思想，在视觉分级之前剔除了大小和质量在等级外的产品，提高了分级效率，试验结果表明，对于果径小于70 mm和大于70 mm苹果的预分级成功率分别可以达到94.20%和93.83%。

分别对苹果进行了大小、质量、腐烂面积检测和综合分级试验，对比分析人工测量值和分级系统的检测值。苹果质量试验结果表明：最大绝对误差为2.91 g，平均绝对误差为1.05 g，最大相对误差为0.77%，平均相对误差为0.38%。苹果大小检测试验结果表明：最大绝对误差为2.68 mm，平均绝对误差为1.16 mm，最大相对误差为3.49%，平均相对误差为1.45%。苹果腐烂面积检测试验结果表明：最大绝对误差为0.38 cm2，平均绝对误差为0.11 cm2，最大相对误差为17.39%，平均相对误差为7.12%。综合试验结果表明，分级系统的分级成功率可以达到89.71%，连续分级时单果平均分级时间为2.89 s，可以满足配套使用要求。

[1] 李先锋, 朱伟兴, 花小朋, 等. 基于D-S证据理论的决策级多特征融合苹果分级方法[J]. 农业机械学报, 2011, 42(6): 188-192.

[2] 殷勇, 陶凯, 于慧春. 基于机器视觉的苹果分级中特征参量选择方法[J]. 农业机械学报, 2012, 43(6): 118-121.

[3] BLASCO J, ALEIXOS N, CUBERO S, et al. Fruit, vegetable and nut quality evaluation and control using computer vision[M]. Cambridge: Woodhead Publishing, 2012： 379-399.

[4] GARRIDO N C, PEREZ M D, AMIGO J M, et al. Grading and color evolution of apples using RGB and hyperspectral imaging vision cameras[J]. J Food Eng, 2012, 113(2): 281-288.

[5] LEEMANS V, DESTAIN M F. A real-time grading method of apples based on features extracted from defects[J]. J Food Eng, 2004, 61(1): 83-89.

[6] 张麒麟, 姬长英, 高峰, 等. 苹果采摘机械手对果实损伤的影响[J]. 食品工业科技, 2011, 32(12): 404-405.

[7] 吝凯, 王维新. 果品的冲击损伤研究现状及发展趋势[J]. 农机化研究, 2010, 38(1): 233-235.

[8] 赵启明. 6GF-500型小杂果分级技术装备的开发[J]. 中国农机化学报, 2013, 34(1): 142-145.

[9] 毛华先, 莫建灿, 方连发, 等. 水果品质智能化实时检测和分级系统研究[J]. 农机化研究, 2010, 32(10): 95-97.

[10]饶秀勤. 基于机器视觉的水果品质实时检测与分级生产线的关键技术研究[D]. 杭州: 浙江大学, 2007.

[11]南京农业大学. 一种苹果分级执行机构： 201620277082. 9[P]. 2016-09-07.

[12]李庆中. 苹果自动分级中计算机视觉信息快速获取与处理技术的研究[D]. 北京: 中国农业大学, 2000.

[13]中华人民共和国国家质量监督检验检疫总局，中国国家标准化管理委员会. 鲜苹果： GB/T 10651—2008[S]. 北京: 中国标准出版社： 2008.

[14]中华人民共和国农业部. 红富士苹果： NY/T 1075—2006[S]. 北京: 中国标准出版社, 2006.

[15]ZHANG B H, HUANG W Q, LI J B, et al. Principles, developments and applications of computer vision for external quality inspection of fruits and vegetables: A review[J]. Food Res Int, 2014, 62: 326-343.

[16]CUBERO S, ALEIXOS N, MOLTO E, et al. Advances in machine vision applications for automatic inspection and quality evaluation of fruits and vegetables[J]. Food Bioprocess Tech, 2011, 4(4): 487-504.

[17]朱蓓. 苹果全表面图像信息获取方法的研究[D]. 杭州: 浙江大学, 2013.

[18]曹乐平, 何建湖, 黄中培, 等. 基于计算机视觉的图像采集对水果分级准确率的影响[J]. 西北农业学报, 2008, 17(1): 282-285.

[19]应义斌, 成芳, 马俊福. 基于最小矩形法的柑桔横径实时检测方法研究[J]. 生物数学学报, 2004, 31(3): 352-356.

[20]冯斌, 汪懋华. 基于计算机视觉的水果大小检测方法[J]. 农业机械学报, 2003, 34(1): 73-75.

[21]RIQUELME M T, BARRERIRO P, RUIZ A M, et al. Olive classification according to external damage using image analysis[J]. J Food Eng, 2008, 87(3): 371-379.

[22]刘佳男. 基于机器视觉的水果表面腐烂伤识别方法的研究[D]. 无锡: 江南大学, 2012.

[23]安秋. 农业机器人视觉导航系统及其光照问题的研究[D]. 南京: 南京农业大学, 2008.

[24]李旭辉, 李俊山, 李建军, 等. VC调用MATLAB图形图像处理方法研究[C]//中国计算机学会. 2004年全国第5届嵌入式系统学术交流会论文集. 北京: 中国计算机学会, 2004: 73-77.

[25]李文煜. VC与Matlab混合编程实现图像处理[J]. 计算机仿真, 2005, 22(1): 254-257.

【责任编辑 霍 欢】

Design and experiment of an online grading system for apple

ZHANG Qingyi1， GU Baoxing1， JI Changying1， FANG Huimin2， GUO Jun1， SHEN Wenlong1

(1 College of Engineering, Nanjing Agricultural University, Nanjing 210031, China; 2 Shandong Academy of Agricultural Machinery Sciences, Jinan 250100, China)

【Objective】 To design a matched online grading system based on the structure and working behavior of the apple harvesting robot，and meet the needs of grading apples in real time. 【Method】The pre-grading principle was proposed to eliminate apples with diameters below standard which could improve the grading efficiency. Apple weight was measured by a force sensor and the weight grade was determinated. Apple size and rot area were detected using the machine vision technology. The image processing algorithm and interface control program were developed using Matlab and VS2008. The distributed control network was constructed based on CAN bus. Comprehensive grading tests on apples were performed. 【Result】The determination coefficient of apple actual diameter and detected diameter was 0.990 3, the determination coefficient of the actual weight and test weight was 0.999 6, the determination coefficient of actual rotting area and detected rotting area was 0.985 5. The success rate of comprehensive grading reached 89.71%, and the average grading time per apple was 2.89 s during continuous grading.【Conclusion】The apple grading system is stable, easy to expand, highly efficient and accurate, and can meet the real-time grading needs of the apple harvesting robot.

harvesting robot； pre-grading； online grading in real time； machine vision； image processing algorithm； comprehensive grading

2016- 11- 28 优先出版时间：2017- 06-22

张庆怡(1990—)，男，硕士研究生，E-mail：zhangqingyi90@126.com；通信作者：姬长英(1957—)，男，教授，博士，E-mail：chyji@njau.edu.cn

江苏省自然科学基金(BK20140720)；中央高校基本科研业务费专项(KYZ201325)

S233.74

A

1001- 411X(2017)04- 0117- 08

优先出版网址：http://kns.cnki.net/kcms/detail/44.1110.s.20170622.1010.014.html

张庆怡， 顾宝兴， 姬长英， 等.苹果在线分级系统设计与试验[J].华南农业大学学报，2017,38(4):117- 124.