颜色差信息提取耦合圆拟合技术的果树桃子检测算法

张桂宁（陕西省行政学院，陕西宝鸡710068）

颜色差信息提取耦合圆拟合技术的果树桃子检测算法

张桂宁
（陕西省行政学院，陕西宝鸡710068）

机器人在采摘果树桃子果实时，需要从复杂的果树背景中识别出桃子，以此为依据计算出桃子的圆心坐标与半径，传送给机器人系统进行作业，其中果树桃子的准确检测是机器人采摘作业的关键步骤。对此，提出了颜色差信息提取耦合圆拟合技术的果树桃子检测算法。首先利用颜色差信息提取桃子区域；然后基于边界跟踪处理与匹配膨胀处理得到桃子的完整区域；再分别用圆拟合方法计算出桃子的圆心，完成定位检测。该算法的性能测试结果表明：与当前水果检测算法相比，该算法具有更好的检测效果，可准确定位出桃子的目标位置。

桃子检测；颜色差信息；边界跟踪处理；匹配膨胀处理；圆拟合

随着计算机科学、图像处理算法研究的蓬勃发展，机器人作业、机器视觉检测等技术在相关社会领域内得到广泛应用，已在很大程度上推动了社会生产力的发展［1-3］。其中，在农业自动化领域，图像处理与机器视觉技术也起到了越来越重要的作用，主要是引导机器人抓取果实和对果实表面进行质量检测等［4-6］。因此，果实定位与检测的准确度显得尤为重要［7-8］。但是，现在很多地区的果实采集仍然依靠人力，如果采用机器人，既减少了人力成本，同时也提高了采摘准确度和效率［9-11］。实现农业果实的机器人自动采摘既能够避免人眼的主观性，又能发挥机器视觉的客观性。部分专家利用果树图像中果实颜色差异进行果实识别，取得了一定的识别效果［10］，但当背景复杂时识别效果不佳，因为单纯依靠颜色差异的阈值分割很难区分果实和背景。

为了实现基于机器视觉与图像处理的桃子检测，本文提出了颜色差信息提取耦合圆拟合技术的果树桃子检测算法。本研究的对象是果树桃子，主要实现对果树桃子的识别、定位、检测，把位置坐标（即圆心位置）传递给机器人完成采摘。通过实验验证了本文算法的定位检测性能。

1　本文算法设计

本文检测算法的流程见图1。从图中可知，该算法包括3个步骤：①利用颜色差信息提取桃子区域；②基于边界跟踪处理与匹配膨胀处理得到桃子的完整区域；③用本文的圆拟合方法计算出桃子的圆心。

1.1基于颜色差信息的桃子区域分割

由于成熟桃子颜色一般以红色为主，如图2～4所示，因此对原彩色图像f，首先利用红、绿色差信息提取图像中桃子红色区域，然后再采用与原图进行匹配膨胀［12-13］的方法获取桃子完整区域。

图1　本文检测算法流程

对图像中的像素点（xi，yi），设其红色分量和绿色分量的像素值分别为R（xi，yi），G（xi，yi），其差值为Ci=R（xi，yi）-G（xi，yi），由此获得一个灰度图（RG图像）。然后计算RG图像中所有非零像素点的均值a。逐像素扫描RG图像，如果Ci＞a则将该点像素值设为255（白色），否则设为0（黑色），得到二值图像fb，并对其进行补洞和面积小于200像素的处理。

式（1）中k为RG图像中非零像素点的个数。

图5～7分别为图2～4采用R-G色差均值为阈值提取桃子红色区域的二值图像。由图可见，该方法在各种光照条件和不同背景情况都能较好地提取出桃子的红色区域。

图2　待检测的桃子1

图3　待检测的桃子2

图4　待检测的桃子3

图5　桃子红色区域分割结果1

图6　桃子红色区域分割结果2

图7　桃子红色区域分割结果3

1.2基于边界跟踪处理与匹配膨胀的桃子分割

复制二值图像fb为fc，设图像中白色区域的个数为m，白色区域的边界点总数为n，存放在各白色区域边界点个数的数组为length［］，存放边界点坐标（x、y结构体）的数组为lst［］。初始化m=0，n=0，以fb上的白色区域为目标进行下述边界追踪处理。

1）设length［0］=0，从上到下、从左到右逐像素扫描fb。遇到没有标记的白色像素时，查看其左侧像素，若为黑色则停止该扫描（主扫描）。

2）将检测过程中的白色像素视为边界起始点b（b=255），并设其为目标像素，坐标存入lst［n］，n值增加1，则lengh［m］值加1。

3）设标记值p=1，从目标像素的右侧开始，顺时针扫描目标像素的8领域像素，若遇到白色像素，将其值设为标记值p，并将其作为目标像素，坐标存入lst［n］，n值增加1，则lengh［m］值加1。

4）以上一个边界像素为起始点，在当前目标像素的8领域中按顺时针方向搜索，遇到白色像素时，将其设定为标记值p，并将其作为目标像素，坐标存入lst［n］，n值增加1，则lengh［m］值加1。

5）反复执行步骤4），当遇到边界初始点b时，表示当前的白色区域边界追踪完毕，m的值增加1。

6）从步骤1）的主扫描停止位置重新执行步骤1）～5），对图像中其他白色区域进行边界追踪处理［14］，直到扫描完整副图像为止，然后进行后续的匹配膨胀处理。

随后，设区域号为j（0＜j＜m），膨胀后边界点总数为n2，存放膨胀后边界点个数的数组为length2［］，存放膨胀后边界点坐标的数组为lst2［］。

1）设j=0，n2=0。

2）设length2［j］=0。

3）依次从lst［］中读取区域j的边界坐标点Pi（0＜i＜length［j］），分别对其进行后续处理。

4）顺时针扫描图像fc和原图像f上点Pi的24领域Nk，计算fc上为白色所对应原图像f上R分量值的最大值Rmax和最小值Rmin。

5）在图像fc上顺时针扫描Pi的8领域Nk，若遇到黑色像素，则读取原图像f上相同位置的R分量值和G分量值。如果R＞G，则认为该黑色像素点属于桃子上的点，将图像fc上该点变为白色，并将该点坐标存入lst2［］，n2增加1，length2［j］值增加1，当区域jd的所有边界坐标点Pi完成上述处理后，j值加1。

6）循环步骤2）～5），直到j=m时，表示一次匹配膨胀结束。

7）拷贝lst2［］到lst［］，拷贝length2［］到length［］，令n=n2，重复步骤1）～6），进行下一次匹配膨胀处理。在某次匹配膨胀处理中，如果在步骤5）中，没有满足条件的黑色像素出现，则表示匹配膨胀完成，退出匹配膨胀处理。之后对图像进行fc补洞，3次膨胀和腐蚀的修复处理。

图8～10为图5～7与彩色原图进行匹配膨胀后的二值图像。因为同一个桃子上相邻像素的R分量值不会发生剧烈变化，而桃子边缘相邻像素的R分量值则会出现较大变化，据此将目标像素24领域内桃子像素点的R分量值的最大、最小值作为无显著变动的阈值范围。该方法可以自动确定阈值，能够准确、快速地将本属于桃子的像素重新找回。结果表明桃子区域分割中黑色像素都被很好地匹配膨胀成了白色像素。

图8　桃子完整区域分割结果1

图9　桃子完整区域分割结果2

图10　桃子完整区域分割结果3

结果表明：本文提出的分割提取算法能够适应桃子颜色的非均一性和图像光照的复杂性，很好地去除了天空、枝叶等复杂背景，而且几乎完好地保存了未被枝叶遮挡的桃子区域，取得了较好的分割效果。

1.3基于圆拟合方法的圆心计算

对于每个分割出的桃子区域很容易求得中心区域，但是进一步求得圆心坐标有一定的难度，本文对这个点展开研究。首先中心区域内点为可能圆心点群，（Ox，iOyi）为可能圆心点，0＜i＜m，m表示可能圆心点个数。由式（2）～（5）分别计算圆心x和y坐标的平均值和标准偏差。

式中：Dx为可能圆心点横坐标的标准偏差；为可能圆心点横坐标的平均值；Oxi为第i个可能圆心点的横坐标；Dy为可能圆心点纵坐标的标准偏差；O-y为可能圆心点纵坐标的平均值；Oyi为第i个可能圆心点的纵坐标。按照式（4）逐个判断每个可能圆心点。

将满足式（6）的所有可能圆心点坐标存入数组S中，之后对S中所有点重新求平均值，将其作为拟合圆的圆心记为O。计算数组S中所有可能圆心点坐标与圆心O的距离，找出距离最小的可能圆心点的坐标。

本文检测算法部分关键代码：

2　实验与讨论

本文实验平台基于windows7系统、VS2010环境和C++语言编程实现。对照组依据文献［15］的基于依靠颜色差异阈值分割来识别果实。

图11～13是拟合结果图像，可见圆拟合结果非常准确，表明该拟合算法能够适应桃子单个果实、多个果实相互分离以及多个果实相互接触等多种生长状态，并且对于部分遮挡的果实也能够很好地拟合。

图14～16是对照组的识别效果，可见存在明显定位识别偏差。因此，单纯依靠颜色差异进行阈值分割时，如背景较复杂，则识别效果弱于本文算法。

图11　单个桃子检测结果

图12　两个桃子相互接触的检测结果

图13　多个桃子相互分离的检测结果

图14　基于传统算法的单个桃子检测结果

图15　基于传统算法的两个桃子相互接触的检测结果

图16　基于传统算法的多个桃子相互分离的检测结果

3　结束语

为了提高桃子的检测精度，本文提出了颜色差信息提取耦合圆拟合技术的果树桃子检测算法。首先利用颜色差信息提取桃子区域；然后基于边界跟踪处理与匹配膨胀处理得到桃子的完整区域；再分别用本文的圆拟合方法计算出桃子的圆心，完成定位检测。实验证明：本文检测算法的检测性能较好。

［1］杨惠，杨会成，王晓薇倩.改进Harris角点检测算法的零件形状识别［J］.重庆理工大学学报：自然科学版，2013，27（12）：64-68.

［2］崔红光.图像处理技术在农业机器人中的应用［J］.农机化研究，2013，18（11）：383-387.

［3］李少昆.作物株型信息多媒体图像处理技术的研究［J］.作物学报，2013，36（4）：181-185.

［4］李辉.数字图像处理技术及其在农业中的应用研究［J］.安徽农业科学，2013，21（7）：1906-1913.

［5］王兆文.基于Matlab/GUI的汽油机缸内直接喷雾图像处理方法［J］.农业机械学报，2013，33（10）：2886 -2890.

［6］肖德琴.基于嵌入式应用的高分辨率农业图像采集节点设计［J］.农业机械学报，2011，23（2）：371-376.

［7］Noori H，Saryazdi S.A bilateral image inpainting［J］. IJST Trans Electr Eng，2011，25（E2）：95-108.

［8］Kuang Y，Zhang L，Yi Z.An Adaptive Rank-sparsity KSVD Algorithm for Image Sequence Denoising［J］.Pattern Recognition Letters，2014，33（17）：1021-1032.

［9］耿楠.基于水平集和先验信息的农业图像分割方法［J］.农业机械学报，2014，18（15）：482-4387.

［10］贵慧宏，张锦，陈永剑.基于GTS901A的测量机器人变形监测自动化软件的开发［J］.测绘科学，2010（4）：166-168.

［11］冯娟，刘刚，司永胜.苹果采摘机器人激光视觉系统的构建［J］.农业机械学报，2013，29（1）：32-36.

［12］赵晓霞，张铁中，陈兵旗.自然环境下桃子图像分割算法［J］.农机化研究，2009（2）：107-111.

［13］贾永红，邹勤，付修军.于数学形态学的扫描地图点状符号识别方法［J］.武汉大学学报：信息科学版，2008，33（7）：673-675.

［14］郭常有，曹广斌，韩世成.基于图像处理技术的扇贝尺寸及位置自动识别［J］.大连海洋大学学报：自然科学版，2012，27（6）：578-582.

［15］Ehmann J，Pappas T，Neuhoff D.Structure Texture similaritymetrics for image analysis and retrieval［J］.IEEE Transactions，2013，22（7）：2545-2258.

（责任编辑何杰玲）

Peach Detection Algorithm Based on Information Extraction of Color Difference Coup led Circle Fitting Technique

ZHANG Gui-ning
（Shaanxi Academy of Governance，Baoji710068，China）

When robot is picking peach，robotneeds to identify it from the complicated background of fruit trees，and on this basis to calculate the peach center coordinates and radius and transmit to the robot system for operation.Due to the work environment that tends to have interference such as strong light，insufficient light or shade leaves，and the fruit trees peach accurate detection is the key step in the robot's picking operation.To this，this paper proposed a fruit peach detection mechanism based on extraction information of color difference coupled circle fitting technique.First using color difference information extraction peach area，and then treatmentwith matching expansion based on boundary tracing，complete area of peach was got，and again with this circle fittingmethod，the center of the circle of peach to finish the fruit detection was calculated.The results of the tested performance ofmechanism show that compared with other fruit detection mechanism，thismechanism has better detection effect and can accurately pinpoint the peach target location.

peach detection；color difference information；processing of boundary tracking；matching expansion treatment；circle fitting

TP391

A

1674-8425（2015）05-0093-06

10.3969/j.issn.1674-8425（z）.2015.05.017

2015-02-02

陕西省自然科学基金资助项目（2011F47）；陕西省行政学院科研立项项目（YKT010）

张桂宁（1984—），女，陕西宝鸡人，助理工程师，主要从事目标检测定位、计算机网络与信息安全研究。

张桂宁.颜色差信息提取耦合圆拟合技术的果树桃子检测算法［J］.重庆理工大学学报：自然科学版，2015（5）：93-98.

format：ZHANG Gui-ning.Peach Detection Algorithm Based on Information Extraction of Color Difference Coupled Circle Fitting Technique［J］.Journal of Chongqing University of Technology：Natural Science，2015（5）：93 -98.