基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

张 勤，陈建敏，李 彬，徐 灿

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

张 勤1，陈建敏1，李 彬2※，徐 灿3

（1. 华南理工大学机械与汽车工程学院，广州 510641；2. 华南理工大学自动化科学与工程学院，广州 510641；3. 广东省现代农业装备研究所，广州 510630）

采摘点的识别与定位是智能采摘的关键技术，也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题，提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系，快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest，ROI）；融合RGB-D图像中的深度信息和颜色特征识别采摘点，通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像，得到采摘点的图像坐标；匹配果梗深度图和彩色图信息，得到采摘点在相机坐标系下的精确坐标；引导机器人完成采摘任务。研究和大量现场试验结果表明，该方法可在复杂近色背景下，实现番茄串采摘点识别定位，单帧图像平均识别时间为54 ms，采摘点识别成功率为93.83%，采摘点深度误差±3 mm，满足自动采摘实时性要求。

图像识别；对象识别；提取；番茄串；RGB-D图像；信息融合；目标检测；采摘点

0 引 言

番茄串人工采摘作业季节性强、劳动强度大、费用高，随着番茄种植面积扩大，劳动成本逐年提高，机器人代替人工的智能采摘是未来发展方向[1-3]。采摘点识别与定位是机器人智能采摘的关键技术，也是实现高效、适时、无损采摘的重要保证。……