基于立体视觉的温室作业机器人障碍物检测方法

梁传君　尚雪莲

摘要：针对农业温室中作业机器人的路径规划问题，提出一种基于立体视觉图像处理的障碍物检测方案。首先，利用Kinect 3D传感器捕获温室路径图像；然后，基于图像的深度信息，分离出温室地面；接着，根据图像颜色特征构建颜色分类器，对预定义的障碍物进行检测；最后，根据图像纹理特征，基于局部二进制模式（LBP）纹理直方图来构建纹理分类器，对未定义的障碍物进行检查。试验结果表明，提出的方案能够准确地检查出温室路径中的障碍物，能够为作业机器人规划有效路径。

关键词：温室机器人；立体视觉；障碍物检测；颜色特征；纹理特征

中图分类号：TP242 文献标志码： A

文章编号：1002-1302（2017）14-0175-04

传统农业机械在一些作业过程中需要人来操作。随着计算机、图像处理技术的高速发展，农业机械开始向着农业机器人的方向发展[1]。在温室中，为了避免人类参与对健康有害的作业（如喷洒农药、施化肥等），研制无人操作的农业机器人具有重要意义。在温室机器人的研究中，路径规划是重要部分，它的基础是对温室路径中的障碍物进行有效地检测[2]。

目前，用于解决农业机器人障碍物检测的主要方法是基于立体视觉图像的处理[3]。常用来捕捉具有深度信息的彩色（RGB）图像传感器为微软Kinect 3D传感器[4]。然而，它们大部分用于室外农田机械的自主运动和轨迹规划，在温室中的应用较少。温室机器人通常体型较小，容易受到小型障碍物的阻挡。另外，温室中经常存在多种小型农具，例如水桶、推车等，对这些障碍物检测具有一定的难度[5]。

为此，本研究提出一种用于温室机器人的避障系统，利用Kinect 3D传感器捕获温室内路径图像，基于图像的深度、颜色和纹理信息对障碍物进行检测，以确保机器人在行进过程中避开障碍物。

1提出的障碍物检测系统

1.1检测系统基本架构

本研究基于每个视频帧的深度、颜色和纹理信息，构建一种温室路径中障碍物检测系统。首先，计算深度图像像素的斜率，通过阈值判断来识别温室地面。然后，利用人工标注的数据来训练分类器，基于图像的颜色特征来检测预定义的障碍物，基于图像的纹理特征来分类未定义的障碍物。最后，将基于斜率和颜色的分类结果进行融合，作出图像级障碍物检测的最终决策。障碍物检测系统框架如图1所示。

1.2基于深度信息分离地面

Kinect传感器输出640×480像素的颜色和深度图像，图像区域为一个水平角度57°和垂直角度43°的扇形区域。垂直斜率是障碍物与地面的明显标志[6]，本研究将在斜率阈值范围内的像素标记为地面区域，其他像素标记为可疑障碍物。

图2所示为一个基于深度像素计算斜率的几何模型，其中（xi，yj）和（xi，yk）为位于相同水平位置上的2个垂直相邻像素点，Rj和Rk为传感器分别到这2个垂直相邻像素的测量距离。基于深度关系，能够计算这2个相邻垂直像素之间的斜率值[7]。

据对多次试验结果的分析，发现设定斜率上下阈值范围为10～30时，地面与障碍物的分离效果最好。

图3所示为障碍物检测的一个例子，其中Kinect传感器捕获的颜色和深度图像分别如图3-a和图3-b所示。图 3-c为计算获得的斜率图像，可以看出，温室地面的斜率值接近于20，而其他物体的斜率值达到40以上或0以下。图3-d为地面和障碍物的分割图像，黑色表示地面，白色表示障碍物。

1.3基于颜色信息初步检测障碍物

通过斜率计算可以分离出疑似障碍物，然后，基于颜色信息对预定义的障碍物进行分类。其中障碍物分为以下3类：绿色农作物、红色辣椒和白色温室顶棚。本研究使用马氏距离作为分类的距离度量[8]，一个障碍物实例的RGB彩色像素与预定义类的马氏距离表达式为：

1.4基于纹理算子进一步检测障碍物

在上述基于颜色信息对障碍物进行分类时，只能检测出颜色特征明显且面积较大的障碍物。

确性，本研究融入了基于纹理算子的分类器。由于直接采用纹理分类器的计算成本较高，为此，本研究先用颜色分类器对障碍物进行检测，获得初步检测图像帧；然后再应用纹理分类器寻找出颜色分类器没有检测到的障碍物。

纹理分类器是基于当前像素和其相邻像素的比较进行分类。其中，局部二进制模式（Local Binary Pattern，LBP）算子[9]是一种简单且有效的灰度不变纹理度量算子，对由光照变化引起的单调灰度变化具有鲁棒性。LBP编码中，对于给定图像中的一个像素，其领域包括8个相邻像素，根据领域中心的相对灰度值，总共可以得到28=256种不同的标签。强度为gc的像素c的LBP定义如下。

在检测过程中，将图像区域像素直方图和其相邻像素直方图进行比较，当检测到障碍物时，将其与4类障碍物纹理直方图模型进行匹配，如果不属于其中任何一类，则判定为未定义的障碍物类，从而检测出颜色分类器无法检测的障碍物。

图5显示了一个颜色和纹理分类器的例子。可以看出，在颜色分类器中，由于图像右下角的一个小推车的颜色为接近绿色，所以错误地将其归类为绿色农作物类，而经过纹理分类器后，则成功地将其检测出來。

2试验及分析

本研究在一个本地温室大棚内进行试验。在光线充足的下午时段，利用Kinect传感器拍摄大棚中的4条路径现场，包括地面、辣椒和农作物区域。其中每条路径中包含了158帧图像。利用OpenCV及VC++等工具实现各种障碍物检测算法。

2.1训练数据集

本研究使用路径视频中的12个帧作为训练数据，已通过手动方式标注了各类障碍物中的一个像素块，如图6所示。预定义的障碍物类别有红辣椒、绿色农作物、黑色地面和白色温室顶棚。

首先，根据训练集中标记的像素块来计算各类障碍物像素的均值和协方差矩阵，作为颜色分类器的参考值。各类的RGB颜色像素的均值和协方差矩阵分别见表1和表2。

2.2试验结果

试验中，首先基于深度信息分离出地面，然后通过颜色分类器对障碍物进行初步检测，接着应用纹理分类器寻找出更多的潜在障碍物。以此确保系统能够检测出所有障碍物，使农业机器人避免发生碰撞。

对于颜色分类器，选择合适的颜色空间模型对障碍物检测性能影响很大。为了进行比较，试验中采用了4种不同的颜色空间，分别为：RGB、OHTA、XYZ、Lab。其中，RGB颜色空间基于红、绿、蓝3种基色的笛卡尔坐标系统；对RGB空间进行线性变换，可形成OHTA、XYZ等空间[11]。OHTA空间中3个分量系数相互正交，能够有效地进行彩色图像处理。XYZ空间能够解决RGB中3种颜色系数出现负值的缺点。Lab空间是由CIE（国际照明委员会）制定的，通过XYZ空间变换而来，能够直接用颜色空间的几何距离进行不同颜色的比较。各颜色空间表达式如下：

表3显示了在一个包含9个障碍物的图像帧中，各种颜色分类器和颜色+纹理分类器对障碍物的检测结果。可以看出，颜色+纹理分类器能够检测出颜色分类器没有检测到的障碍物，实现了完全检测。

为了更准确地展示分类器性能，在温室路径视频序列中的158帧图像中进行障碍物检测，其中共包含了87个障碍物。表4给出了各种颜色特征+纹理分类器对各类障碍物的检查结果，并给出了3种经典性能指标数据：召回率（Recall）、精度（Precision）和F值（F-Measure）。可以看出，相比于其他颜色空间，Lab空间取得了最好的效果。这是因为[CM（25]对于颜色比较复杂的障碍物，用全局颜色特征就很难区分。为此，本研究颜色分类器采用Lab颜色空间特征。另外，提出的颜色+纹理特征分类器表现出较高的召回率和精度，证明了本研究系统的有效性和可行性。

4结束语

本研究提出了一种基于立体视觉图像处理的温室作业机器人避障系统。通过安装在机器人头部的Kinect 3D传感器捕获温室路径图像，利用图像的深度、颜色和纹理特征来检测预定义和未定义类型的障碍物。在一个温室中的试验结果证明了提出系统的有效性和可行性。

在今后工作中，将提出的避障系统应用到温室喷雾作业机器人身上，进一步验证其实用性。另外，为了解决摄像机在机器人移动过程中的角度偏移问题，将考虑融入图像校正过程。

参考文献：

[1]袁挺，任永新，李伟，等. 基于光照色彩稳定性分析的温室机器人导航信息获取[J]. 农业机械学报，2012，43（10）：161-166.

[2]高国琴，李明. 基于K-means算法的温室移动机器人导航路徑识别[J]. 农业工程学报，2014，30（7）：25-33.

[3]Xue J，Zhang L，Grift T E. Variable field-of-view machine vision based row guidance of an agricultural robot[J]. Computers & Electronics in Agriculture，2012，84（2）：85-91.

[4]李智娴，陈正鸣. 1种基于Kinect深度图像的指尖检测与跟踪算法[J]. 江苏农业科学，2015，43（5）：416-419.

[5]牛雪梅，高国琴，鲍志达，等. 基于滑模变结构控制的温室喷药移动机器人路径跟踪[J]. 农业工程学报，2013，29（2）：9-16.

[6]杨磊，蔡纪源，任衍允，等. 一种基于深度信息的障碍物检测方法[J]. 计算机技术与发展，2015，25（8）：43-47.

[7]Huang H C. An indoor obstacle detection system using depth information and region growth[J]. Sensors，2015，15（10）：116-141.

[8]周燕，曾凡智，张志飞，等. 面向制造过程的海量数字图像高效检索算法研究[J]. 湘潭大学自然科学学报，2014，36（3）：105-110.

[9]朱林，赵建，冯全，等. 基于LBP滤波和ACWE的葡萄病害图像分割方法[J]. 中国农机化学报，2014，35（6）：99-104.

[10]Asha V，Bhajantri N U，Nagabhushan P. GLCM-based chi-square histogram distance for automatic detection of defects on patterned textures[J]. International Journal of Computational Vision & Robotics，2012，2（4）：302-313.

[11]江锽. 基于Kinect的温室喷雾机器人视觉导航定位系统的研究[D]. 北京：北京林业大学，2015：10-14.