非结构环境中扰动葡萄采摘点的视觉定位技术

熊俊涛 何志良 汤林越 林 睿 刘 振

(华南农业大学数学与信息学院， 广州 510642)

非结构环境中扰动葡萄采摘点的视觉定位技术

熊俊涛 何志良 汤林越 林 睿 刘 振

(华南农业大学数学与信息学院， 广州 510642)

非结构环境下采摘机器人对扰动葡萄采摘点的视觉识别定位有实际应用价值。首先基于“挠性杆-铰链-刚性杆-质量球”模型对葡萄串形态进行分析，将其扰动状态分解为XOY和YOZ2个平面的类单摆运动，对扰动葡萄进行视频拍摄，通过对视频中多帧葡萄图像进行Otsu阈值分割得到果实和果梗，并计算出各帧图像中葡萄串的质心；对各帧图像的葡萄串质心进行曲线拟合，计算出葡萄类单摆运动的周期与摆角，从而确定当前扰动葡萄是否适合视觉定位；对可实现视觉定位的扰动葡萄，选取类单摆中间位置质心点对应的葡萄图像，对葡萄串上方矩形区域进行Canny边缘检测，再利用霍夫直线拟合结合角度约束法实现扰动葡萄采摘点的定位。视觉定位试验结果表明：自然环境中不同光照下扰动葡萄采摘点的视觉定位准确率达80%以上，为采摘机器人应用于实际生产提供了理论基础。

葡萄； 扰动； 采摘点； 视觉定位

引言

葡萄具有口味好、营养丰富等特点，是一种重要的园艺作物。葡萄采摘会耗费大量时间和人力，而当前利用机械化收获葡萄还很少。自然环境下葡萄采摘主要难点为葡萄串形状不规则、自然环境中树叶遮挡、光照变化以及随机扰动等复杂因素，因此采摘机器人对葡萄实现采摘点的准确视觉定位是机器视觉领域的难点问题。

国外对自然环境中水果定位的研究起步较早。KONDO等[1]首先对葡萄光谱特性进行了研究并根据颜色对葡萄进行了识别定位。FONT等[2]研究了夜间人工照明下的葡萄识别方法，并根据葡萄对光的球面反射峰实现了葡萄的识别。THENDRAL等[3]提出了一种基于YIQ颜色空间的成熟果实定位方法，识别的成功率达到93%。REIS等[4]建立了特殊的光照系统，并基于该光照系统建立了葡萄识别模型来识别夜间葡萄果实。国内对水果采摘机器人的视觉技术也有研究。叶浩等[5]基于ELSD算法实现了单个葡萄的分割并测量其半径，并且半径的测量误差平均值为0.53 mm。孙贤刚等[6]研发的苹果采摘机器人能够实现自动导航、自动识别和采摘功能，并且采摘的成功率达到94%。熊俊涛等[7]对自然环境下扰动荔枝的运动规律和视觉定位方法进行了研究，成功地对静止和微扰动状态下的荔枝采摘点进行了视觉定位。罗陆锋等[8]研究了自然环境下静止状态的葡萄视觉采摘点定位，首先对特定区域进行直线检测，并把采摘点定位在离质心最近的直线上，然而该方法对主穗梗周围的叶子和其它枝条的情况较敏感。

本文研究扰动状态下的葡萄视觉定位方法。首先对自然环境下扰动葡萄串的外形及其自然环境下的运动规律进行分析，并确定其采摘点位置为类单摆中间质心对应的葡萄图像的正上方区域，然后对基于视频获取的葡萄图像进行Otsu分割得到果实和果梗，再进行葡萄目标上方矩形区域的Canny边缘检测和霍夫直线检测，结合角度约束条件，最终找到主穗梗所对应的直线，并将直线的中点确认为采摘点。

1 扰动目标的形状与运动分析

葡萄一般是成串存在的，文献[9]提出了一种“挠性杆-铰链-刚性杆-质量球”复合果穗模型对成串葡萄进行分析，如图1所示。该模型将葡萄串的主穗梗视为挠性杆，葡萄果实视为质量球，果柄视为刚性杆，主穗梗与分穗梗的连接处视为铰链，而葡萄的采摘点则位于主穗梗上。

图1 “挠性杆-铰链-刚性杆-质量球”模型Fig.1 Model of “flexible rod-hinge-rigid rod-mass ball”1.刚性杆 2.采摘点区域 3.质量球 4.铰链 5.挠性杆

葡萄串在空间上的扰动是随机的。由于葡萄串主穗梗上端与果柄连接，果柄作为刚性杆，其运动幅度较小，所以本文近似地认为果柄是静止的，并将葡萄串的运动分解为XOY平面与YOZ平面上的运动，如图2所示，这样可以将葡萄串的运动近似地看作在以主穗梗和果柄交点为支点的XOY平面和YOZ平面单摆运动相结合的综合运动。其中Y轴为与地面垂直并指向上方的轴，Z轴为指向机器人方向，X轴垂直于YOZ平面。

图2 扰动葡萄运动分解模型Fig.2 Motion decomposition model of disturbed grape1.果柄 2.主穗梗 3.采摘点

2 扰动葡萄的视觉定位方法

2.1 葡萄果实串的图像分割

为提高葡萄图像分割的准确率，先对不同光照条件下葡萄串的色彩模型进行分析，找出能凸显夏黑葡萄颜色量的色彩模型，其中包括晴天顺光、晴天逆光、阴天顺光和阴天逆光。而当天气为阴天时，发现顺光条件和逆光条件并无明显差异，因此，将这两种条件合并为阴天光照一种条件研究。通过对YCbCr、HSV、Lab和RGB等颜色模型进行分析，当光照条件为晴天逆光和阴天光照时，在HSV的H分量中，葡萄串与背景的差异较大，其直方图如图3c和图3g所示。因此本文选用H分量对晴天逆光和阴天光照两种光照条件的葡萄进行分割。首先提取图像HSV空间的H分量，然后使用最大类间方差算法(Otsu)求出图像分割阈值[10-11]，Otsu算法根据图像中的像素分布计算出动态分割阈值，然后图像中大于阈值的像素点即可认为是葡萄串的像素点，否则为背景的像素点。最后再使用形态学填充小孔洞和去除噪声点。阴天光照条件下和晴天逆光条件下的最终分割效果如图3d和图3h所示。

图3 晴天逆光和阴天光照下葡萄分割结果Fig.3 Segmentation results of grape under shade of sunny and light of overcast

图4 晴天顺光的葡萄分割Fig.4 Segmentation results of grape under direct sunlight

然而在晴天顺光的条件下，发现H分量进行葡萄分割的准确率较低，使用H分量的Otsu分割效果如图4d所示，可见大部分葡萄串的像素点被误判为背景像素点。进一步对晴天顺光的各颜色分量分析，发现其在Lab颜色空间的a分量中，葡萄果实串与背景有较明显的差异，即a分量能够较准确的分割出葡萄果实串，因此对于晴天顺光条件，本文则在Lab颜色空间利用Otsu算法进行葡萄图像的分割，并进行形态学去噪，其分割效果如图4g所示。

综上所述，葡萄图像的识别过程如下：对拍摄平均时长为2.4 s的视频，每隔0.2 s读取视频中的一帧图像，然后提取其Lab模型的L分量，根据L分量的均值，判断当前的光照条件，当L>152时，认为光照条件为晴天顺光，则提取图像Lab模型的a分量，当L≤152时，认为光照条件为晴天逆光或阴天光照，则提取图像HSV模型的H分量，然后使用Otsu算法计算动态分割阈值，进行葡萄图像分割和形态学方法去噪。

2.2 基于视频的葡萄运动分析

(1)求取质心和目标图像

直接对整串葡萄的运动进行分析比较复杂，本文通过提取葡萄串的质心代表葡萄串当前的位置。基于2.1节的方法得到视频流中葡萄串的二值图，然后通过图像的一阶矩求得质心。质心的位置即代表了葡萄串在XOY平面中的位置，最后获取其摆动到中间位置质心对应的图像作为确定采摘点的目标图像。图5是目标图像，红点是视频流中质心在目标图像上的分布，蓝点是中间位置的质心。

图5 葡萄串质心Fig.5 Centroid of grape

(2)运动周期分析

在整个视频流中，葡萄串可能会往复运动多个周期，为提高算法运行速度，只对葡萄串的1个运动周期进行分析。如图5所示，当葡萄串从左往右摆动时，葡萄串的下一帧图像质心的X轴坐标Xi+1与当前帧图像质心的X轴坐标Xi的差值d=Xi+1-Xi>0，当葡萄串摆动到最右端时，此时葡萄串则会向左返回，即从右往左摆动。从而下一帧图像质心的X轴坐标值与当前帧图像质心的X轴坐标值之差d<0。所以，如果任取连续3帧图像质心，并计算t=(Xi+2-Xi+1)(Xi+1-Xi)；当t>0时，葡萄串从左往右摆动或从右往左摆动，而当t<0时，代表葡萄串运动到左上方或右上方最高点并且开始返回运动。所以，当2次出现小于0时，即可认为葡萄串经过了至少1个摆动周期。

(3)葡萄串摆动幅度

当葡萄串运动幅度过大时，可能会超出机器的采摘范围，因此还需要分析葡萄串的运动幅度。而单摆运动的摆长、摆动频率等变量与摄像头和目标的距离有关。本文选用单摆运动的摆角来判断葡萄摆动幅度。

首先通过最小二乘法求取葡萄摆动所在的圆，假设圆的方程为X2+Y2+aX+bY+c=0。像素点的坐标(Xi,Yi)到圆心的残差平方和为

(1)

式中a、b、c——待定系数

将视频流葡萄串所有的质心坐标代入该公式中，通过平方和的偏导数求a、b、c的值使得σ2最小时，即得到圆的方程[12-13]。然后通过圆心和X轴最左方与最右方质心坐标即可求得葡萄串的摆角。当摆角大于30°时，认为葡萄串的运动幅度过大，则放弃采摘。

2.3 采摘点定位

葡萄串的主穗梗一般位于葡萄串上方，外形近似直线，并且其上方长度约为葡萄串长度的1/3。根据其生长特性，在图像分割得到葡萄串的目标区域之后，通过对目标区域上方高度为L/3、宽度为W的矩形区域进行边缘检测和霍夫直线检测。其中，L和W分别为葡萄串最小外接矩形的高度和宽度。另外葡萄串摆动至中间位置时，穗梗与Y轴的角度一般较小，因此，仅检测与Y轴夹角小于30°的直线。霍夫直线检测的基本思想是通过构造参数空间的累加器实现直线的检测[14-15]，基本过程如下：

假设平面上的一条直线方程为

ρ=xcosθ+ysinθ

(2)

式中x、y——图像像素坐标ρ——原点到直线的距离θ——直线法线和X轴的夹角

(2)对每个给定的像素点坐标(x,y)，遍历ρ，并代入式(2)中求出θ。根据ρ和θ的值累加数组A(ρ,θ)=A(ρ,θ)+1；A(ρ,θ)对应的就是图像上直线像素点的个数，即A(ρ,θ)越大，对应的直线越长。

本文取累加数组最大的20个元素，即求出目标区域最长的20条直线。直线检测的效果如图7a、7c所示。然后，需要在多条直线中确定主穗梗所在的直线。假设穗梗与Y轴的夹角为α，由于葡萄串是垂直生长的，所以角α一般较小。然而仅仅以角α判断误差较大，如图6中的直线1，其角α较小，但并不是穗梗所在直线。假设中间质心与主穗梗所在直线的中点的连线跟主穗所在直线的夹角中较小夹角为β，穗梗与Y轴夹角α也较小。然而也有图6中直线3的情况出现，所以，综合考虑α、β，当α+β的值最小时，才认为该直线是穗梗所在的直线，如图6中直线2的情况，并取直线的中点为最终的采摘点。

图6 中间质心与直线的位置关系Fig.6 Position relationship between middle centroid and straight line

图7a、7b、7c分别是晴天逆光、阴天光照、晴天顺光情况下的采摘点定位效果图，图中绿色直线是在目标区域内进行直线检测的效果，蓝色圆点是中间质心，由于穗梗的边缘位于穗梗两侧，所以检测到的直线一般位于穗梗的边缘，而最优采摘点应该是穗梗中轴线上的点，因此在X轴方向会存在像素误差，误差大约为穗梗半径。该误差显然在采摘机器人可接受的误差范围内。图中蓝色直线即为目标直线，可见都位于穗梗的边缘上，然后再取直线中点为采摘点，即图中的红色圆点。图7d是定位失败的效果，可见图中中间质心误定位到实际质心的右上方，导致最终采摘点定位失败。

图7 采摘点定位结果Fig.7 Positioning results of picking point

3 试验与误差分析

3.1 试验

设计了自然环境下扰动夏黑葡萄视觉定位试验。首先在自然微风条件下或人为外力下使葡萄扰动，然后通过维视公司的CCD摄像机拍摄扰动葡萄的视频，拍摄距离为20～80 cm，拍摄视频长度为

2～3 s(平均2.4 s)、分辨率为864像素×486像素、帧率为25帧/s。选取晴天顺光、晴天逆光、阴天光照3种情况分类进行共111次试验来对算法进行验证。试验结果如表1所示。

表1 试验结果

3.2 误差分析

基于表1中试验数据分析结果，其中造成视觉定位误差的主要因素有：①由于摄像头扰动，导致葡萄串在不同帧之间的质心相对位置发生偏差，从而中间质心的定位误差增大。②由于复杂背景存在其他果梗、树枝和树叶遮挡等干扰因素，造成直线检测的误差增大。③在晴天顺光的条件下，葡萄表面的反光比较明显，导致葡萄串分割的误差增加。

针对以上产生误差的因素，改进思路为：①使用卡尔曼滤波或粒子滤波等算法对扰动葡萄进行跟踪，提高质心的定位精度。②针对穗梗被遮挡的情况，可以尝试根据葡萄运动轨迹估计质心的位置。③对图像进行光照预处理，增强葡萄与背景的对比度，提高分割的准确率。

4 结论

(1)对自然环境下扰动葡萄采摘的视觉定位技术进行了研究。对扰动葡萄的形状进行分析，确定其采摘点在主穗梗上，然后对其运动状态进行分析，将其分解为XOY平面与YOZ平面的类单摆运动。最后以葡萄串的质心表示葡萄当前的位置，分析了其运动周期，并用最小二乘法确定了其摆角。

(2)根据葡萄串的位置确定其上方采摘点的检测区域，然后对该区域进行边缘检测和直线检测，最后根据角度约束确定采摘点最终位置。并设计了视觉试验，选取了晴天顺光、晴天逆光和阴天光照3种条件进行试验，试验结果显示视觉定位扰动葡萄采摘点的成功率分别为80.0%、84.1%和83.3%，该结果为采摘机器人对扰动目标的视觉定位提供了技术支持。

1 KONDO N, SHIBANO Y, MOHRI K, et al. Basic studies on robot to work in vineyard (part 2)[J]. Journal of the Japanese Society of Agricultural Machinery, 1994, 56(1): 45-53.

2 FONT D, PALLEJA T, TRESANCHEZ M, et al. Counting red grapes in vineyards by detecting specular spherical reflection peaks in RGB images obtained at night with artificial illumination[J]. Computers and Electronics in Agriculture, 2014, 108: 105-111.

3 THENDRAL R, SUHASINI A. Enhanced machine vision system for ripe fruit detection based on robotic harvesting[J]. Advance Journal of Food Science & Technology,2015, 7(11): 841-849.

4 REIS M J C S, MORAIS R, PERES E, et al. Automatic detection of bunches of grapes in natural environment from color images [J]. Journal of Applied Logic, 2012,10(4): 285-290.

5 叶浩,詹国敏,吴亮,等. 基于图像分割的葡萄果粒粒径快速测量技术[J]. 新技术新工艺,2016(5):84-87. YE Hao, ZHAN Guomin, WU Liang, et al. Raipd measuring technology for the size of grape based on image segmentation[J]. New Technology & New Process, 2016(5):84-87. (in Chinese)

6 孙贤刚, 伍锡如, 党选举,等. 基于视觉检测的苹果采摘机器人系统设计与实现[J]. 农机化研究, 2016(6):151-155. SUN Xiangang, WU Xiru, DANG Xuanju, et al. Design and implementation of apple picking robot system based on visual inspection [J]. Journal of Agricultural Mechanization Research, 2016(6):151-155. (in Chinese)

7 熊俊涛，邹湘军，邹海鑫，等. 基于动态目标的采摘机器人视觉定位技术研究[J]. 系统仿真学报,2015,27(4):836-842. XIONG Juntao, ZOU Xiangjun, ZOU Haixin, et al. Visual positioning technology research of picking robot based on dynamic target[J]. Journal of System Simulation, 2015,27(4):836-842. (in Chinese)

8 罗陆锋，邹湘军，熊俊涛，等. 自然环境下葡萄采摘机器人采摘点的自动定位[J]. 农业工程学报,2015,31(2):14-21. LUO Lufeng, ZOU Xiangjun, XIONG Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the CSAE,2015, 31(2): 14-21. (in Chinese)

9 刘继展, 唐善奇, 单帅，等. 机器人采摘葡萄果穗振动仿真与试验[J/OL].农业机械学报,2016,47(5):1-8. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160501&flag=1. DOI:10.6041/j.issn.1000-1298. 2016.05.001. LIU Jizhan, TANG Shanqi, SHAN Shuai, et al. Simulation and test of grape fruit cluster vibration for robotic harvesting[J/OL]. Transactions of the Chinese society for Agricultural Machinery 2016,47(5):1-8.(in Chinese)

10 OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on System Man and Cybernetic, 1979, 9(1):62-66.

11 胡敏,李梅,汪荣贵.改进的Otsu 算法在图像分割中的应用[J].电子测量与仪器学报,2010,24(5):443-449. HU Min, LI Mei, WANG Ronggui. Application of an improved Otsu algorithm in image segmentation [J]. Journal of Electronic Measurement and Instrument,2010,24(5):443-449. (in Chinese)

12 邹乐强. 最小二乘法原理及其简单应用[J]. 科技信息,2010,2(23):282-283.

13 刘珂, 周富强,张广军. 半径约束最小二乘圆拟合方法及其误差分析[J]. 光电子激光,2006,17(5):604-607. LIU Ke, ZHOU Fuqiang, ZHANG Guangjun. Radius constraint least-square circle fitting method and error analysis [J]. Journal of Optoelectronics Laser,2006,17(5):604-607. (in Chinese)

14 孙丰荣,刘积仁. 快速霍夫变换算法[J]. 计算机学报, 2001,24(10):1102-1109. SUN Fengrong, LIU Jiren. Fast hough transform algorithm[J]. Chinese Journal of Computers,2001,24(10):1102-1109. (in Chinese)

15 易玲. 基于分级的快速霍夫变换直线检测[J]. 微计算机信息,2007,23(11):206-208. YI Ling. Fast hough transform straight line detection based on classification[J]. Journal of Micro Computer Information, 2007,23(11):206-208.(in Chinese)

Visual Localization of Disturbed Grape Picking Point in Non-structural Environment

XIONG Juntao HE Zhiliang TANG Linyue LIN Rui LIU Zhen

(CollegeofMathematicsandInformatics,SouthChinaAgriculturalUniversity,Guangzhou510642,China)

The picking robot in unstructured environment has practical value in visual localization of disturbed grape. Firstly, the shape of grape was analyzed based on model of “flexible rod-hinge-rigid rod-mass ball” and its disturbed state was decomposed into pendulum ofXOYplane andYOZplane, and then fruit and stalk of grape were obtained by Otsu function from multi frame image in video of which captured disturbed grape. Then centroid of grape in each frame image was calculated, and curve fitting of grape centroid of each frame image was made. The period of grape pendulum movement and swing angle were calculated to judge whether current disturbed of the grape was suitable for visual positioning. For disturbed grape that can achieve visual positioning, choosing grape images corresponding to location in the middle of centroid point of pendulum motion, Canny edge detection was carried out on the upper rectangular region. The method of Hough line fitting and angle constraint were used to localize picking point of disturbed grape. Experiment results of visual localization showed that the accuracy of visual localization for disturbed grape picking points under different illuminations were more than 80% in natural environment, which provided theoretical basis for the application of picking robot in practical production.

grape; disturbance; picking point; vision localization

10.6041/j.issn.1000-1298.2017.04.003

2016-07-27

2016-08-30

国家自然科学基金项目(31201135)、广东省科技计划项目(2015A020209123)和广州市科技计划项目(201506010081)

熊俊涛(1981—)，男，副教授，主要从事农业机器人和智能设计与制造研究，E-mail: xiongjt2340@163.com

TP391.41

A

1000-1298(2017)04-0029-05