可训练变换器和RdNet在果实识别网络中的应用

崔翔宇 赵红 朱智富 袁焕涛 仇俊政 牟亮

摘要：  为解决YOLO算法由于其端到端的网络结构导致某些尺度上的特征被淡化或丢失使识别率较低的问题，本文以葡萄为例，对可训练变换器和RdNet在果实识别网络中的应用进行研究。提出基于可训练变换器和多尺度特征图融合的改进YOLO算法，以自主设计的基于堆叠残差块和降采样块的RdNet作为特征提取网络，采用converter变换器结构进行不同尺度的特征变换融合，从采集并筛选的葡萄果园照片中，随机选取120张作为测试集，将其余照片进行数据增强，得到480张图片作为训练集，并分别对提出的模型、YOLOv3和快速区域提出卷积神经网络（faster region-convolutional neural networks，Faster R-CNN）三种算法进行训练，使用其在测试集上的F1值与AP值评估各模型的性能差异。实验结果表明，模型在测试集上的F1值可达9258%，AP值可达9233%，而在Nvidia Jetson TX2平台上，检测速度达到19 f/s，單张640×480图片的推理时间为526 ms，达到了较理想的识别准确率，且能满足采摘机器人的实时性要求。该研究在果园等场景中可以得到更好的应用效果。

关键词：  卷积神经网络; 葡萄; 目标检测; 多尺度特征; YOLO

中图分类号： TP391.41文献标识码： A

作者简介：  崔翔宇（1996-），男，硕士研究生， 主要研究方向为用于果实采摘和无人驾驶感知的计算机视觉。

通信作者：  赵红（1973-），女， 博士，副教授，主要研究方向为汽车节能减排与新能源技术。 Email： qdlizh@163.com

我国是农业大国，有着上百万平方公里的农业土地，但农场与果园却面临日益严重的劳动力短缺[1]。近年来，随着农业信息化与机械化的不断发展[2]，果实采摘机器人[35]成为未来农业发展的一项很重要的课题。……