基于机器视觉的沙糖橘果皮破裂和缺陷检测

王士龙 朱景焕 王小明

摘要 在对果皮质量进行检测分级时，破裂果、机械损伤和硬疤是沙糖橘表面常见的主要缺陷。传统的自动检测系统通常不能准确地识别这些表面缺陷。为了解决这一问题，设计了一种硬件和软件相结合的计算机视觉检测分类系统。该系统采用单CCD和LED环形光源，通过计算机协作，利用计算机视觉系统提取沙糖橘果皮的正面图像，构建了有效的图像采集方法、预处理方法、颜色模型和分割方法，采用傅里叶变换、高频滤波、形态学（方案）和分类树等方法对沙糖橘的表面缺陷进行研究，并为实际的自动化应用找到更准确和更合适的方法。结果表明，該方法的可靠性和稳定性优于传统的单一形态学的识别方法。

关键词 果皮；计算机视觉；图像处理；智能分级；傅立叶变换；分类树

中图分类号 S126 文献标识码 A 文章编号 0517-6611（2023）09-0231-05

doi：10.3969/j.issn.0517-6611.2023.09.054

Abstract When grading and detecting fruit quality， the broken fruit， mechanical damage and hard scar are the common main defects on the surface of sugar orange. The traditional automatic inspect system often cannot accurately distinguish these surface defects. To solve this problem， we designed a computer vision detection and classification system which combined hardware and software. The system used a single CCD and a ring LED light source through computer cooperation， used computer vision system to extract the front image of sugar orange peel， and constructed an effective image acquisition method， preprocessing method， color module and segmentation method. We used the method （scheme） of Fourier transform， highfrequency filtering and morphology and classification trees and so on to study the surface defects of sugar orange， and found a more accurate and suitable method for the practical application of automation. The results showed that the reliability and stability of this peel recognition method were better than the traditional recognition method using a single morphology.

Key words Fruit peel;Computer vision;Image processing;Intelligent grading;Fourier transform;Classification tree

作者简介 王士龙（1982—），男，河南南阳人，工程师，硕士，从事计算机视觉与农产品品质分级研究。*通信作者，助理研究员，硕士，从事农业高效生产管理技术研究。

机器视觉（machine vision，MV）也称为计算机视觉（computer vision ，CV）。机器视觉技术涉及人工智能、图像处理、模式识别、计算机软硬件等诸多领域［1-4］。机器视觉比人工视觉具有更高的观察速度和分辨率，识别结果具有可重复性，因此广泛应用于批量化、标准化生产，如产品分类、产品质量检测、医学图像分析、智能分析处理系统等［5-9］。机器视觉技术在农副产品表面缺陷和伤痕检测方面逐渐得到大量应用。例如，禽蛋蛋壳完整性是评价禽蛋品质的重要指标，蛋壳完整性还会影响到禽蛋的贮藏性能，通过机器视觉检测技术对连续旋转的禽蛋进行裂纹检测，检测效率较高且精准。而机器视觉技术在水果蔬菜表面缺陷和伤痕检测中也有较多应用，机器视觉技术不仅能识别其外表的缺陷和伤痕情况，也能对缺陷和伤痕的形成原因进行分析诊断，如分辨区别机械损伤、病害损伤、虫害损伤等不同的损害原因。机器视觉是目前发展前景较好的农产品品质客观评估方法，与人工视觉辨别相比，机器视觉的最大优势体现在快速、精准、无损、客观、高效、成本低和可量化，因此可以利用机器视觉技术开发以沙糖橘外观质量分类标准为判定依据的自动分类系统。

以沙糖橘果皮的特性为研究对象，依托计算机图像技术，配合模式识别技术，结合基于国标的人工感官评价结果与机器视觉设备的测量结果作为综合评价依据。在此基础上，笔者选择常用的视觉图像采集系统，研究了水果外部特征的有效提取方法，设计建立了具有一定精度和稳定性的图像分级评价模型，最终完成了一套硬软件功能齐全的沙糖橘果皮质量分级系统。

1 机器视觉检测系统构成

CCD硬件系统用于采集高质量的果皮图像，重点是有效完整地提取果皮图像特征数据。其核心工作是批量分析沙糖橘果皮的特征，获取合适的能用来区分不同分类级别的果皮特征，使用人工分类结果比对评价和优化完善果皮区分类判别阈值，建立区分判别模型树。最终系统使用特征阈值和判别树实现对沙糖橘果皮特征的分类分级。

视觉采集系统采用环形LED白色光源和单个CCD，使用黑色载物台背景，测试验证后采用从上到下的垂直打光方式，将光圈调整到适当位置并锁定；同时把图像采集系统固定在光源相同的环境下，以达到理想的图像采集条件。为了对标国标的尺度，整个成像系统进行了人工相机标定操作。

计算机采用64位Windows 7操作系统，开发软件使用学生版MATLAB R2015a、OpenCV3和Halcon等，并使用千兆网卡连接CCD。模块化结构设计的软件系统，主要包括用户交互模块、原始图像采集、图像处理特征信息提取、分类检测模型训练与建立、分类预测的试分类模型［10-11］。

2 图像处理算法

2.1 原始图像获取和图像预处理

图像预处理是图像分割和特征提取的基本步骤。视觉系统采集的原始图像往往容易受到照明和机械噪声等因素的影响，因此有必要通过图像预处理，或进行格式转换和区域获取等来消除噪声污染，提高图像质量。使用CCD摄像机静态采集图像，采集的原始图像如图1所示。通常图像噪声可以从2个方向去除：空间滤波和频域滤波，如图2所示，常见的滤波方法包括中值滤波、选择性平均、小波变换和拉普拉斯滤波。使用3x3奇数窗口的中值滤波处理效果如图3所示。中值滤波方法不仅去除了椒盐噪声，还保留了图像的边缘和细节信息，过滤效果如图4所示［12-13］。

最大类间方差算法或大津法—Otsu，被广泛用于图像分割。在该研究的沙糖橘的6个分量（GRB和HSI）中，通过测试验证发现B分量中沙糖橘与背景的灰度差异最为显著，这对沙糖橘的背景分割是最有利的，因此采用沙糖橘B通道圖像进行阈值分割。从图5可以看出，当通过对沙糖橘进行处理灰度图像阈值化时，图像B通道可以使用自适应迭代选择阈值法或Otsu方法（Otsu算法）来完成沙糖橘和背景的分割，并能达到理想的效果［14-15］。

2.2 沙糖橘果皮纹理特征提取 傅里叶变换（Fourier transform）是一种非常好的数字图像基本处理技术，它利用图像信息在频域和时域之间进行切换，然后提取和分析图像的特征信息。傅里叶变换最初被提出作为热过程的分析工具，它将满足特定条件的特定函数表示为三角形正弦和等效函数或相应的线性积分组合。根据不同的研究领域，傅立叶变换有许多不同的变体，如连续和离散。傅里叶变换实现了原本困难的时域信号与易于分析的频域信号之间的转换。从数学纯粹的意义上看，FT实现了将一系列周期函数转换为一个函数的过程。图像FT的物理意义在于，图像中灰度级的变化程度由图像的频率表示，灰度级是图像频率在平面空间中的表达程度。傅立叶变换的物理意义是实现从图像灰度分布到图像频率分布函数的变换。反傅立叶变换是与傅立叶变换相对应的算法。在本质上看反傅立叶变换也是一种累加方式，如此就把独立变化的正弦波信号转化为一个信号。傅立叶逆变换是实现图像频率分布到灰度分布函数的转换。

首先对沙糖橘图像进行预处理，然后进行傅立叶变换、高频滤波、灰度分割、感兴趣区域定位、特征提取，并计算连接区域数n。如果n=0，则表示沙糖橘表面完整；如果n=1，则表示存在一个区域，即沙糖橘的果蒂和果柄；如果n＞1，则表明除果蒂和果柄区域外，该区域还存在破损或腐烂区域的缺陷区域。

加载原始图像，对彩色图像执行RGB三通道分解，使用B通道选择目标区域，生成感兴趣区域的掩模，分别生成sigma为30和28的2个高斯滤波器，分别对图像执行高斯滤波，计算2个高斯滤波图像之间的差以生成滤波器，将原始图像傅里叶变换到频域，用滤波器在频域中卷积图像，将卷积的频域图像逆傅里叶变换为时域图像，并对掩模进行形态学蚀刻以消除图像边缘轮廓的干扰，使用掩模提取图像的ROI区域，分割图像，连接并提取符合特征的区域，并计算符合特征的区域总数。如果总数小于或等于1，则表示图像没有腐烂或损坏区域，如果总数大于1，则表明图像有腐烂或损坏的区域。 近似算法流程如下图6所示。

2.3 沙糖橘表面疤痕缺陷的识别方法

在此基础上，正确提取了糖橘皮表面的缺陷区域，包括腐烂、裂纹和疤痕区域。然而，由于大多数腐烂、裂纹和疤痕区域为灰黑色，破裂区域形状复杂，并有其他颜色，如浅黄色。研究发现这些区域的灰度共生矩阵不能很好地区分不同特征，区域的平均灰度值和方差不能很好区分不同特征。该研究经图像灰度级计算得到共生矩阵（纹理）特征由反差、自相关、能量、均值、逆差距和方差6个参数值来表示。由于破裂区颜色形态的多样性，切换到RGB和HSI颜色模型也无法准确识别破裂区。

研究发现，压碎腐烂和机械损伤果实的缺陷区域多为带状和三角形区域，而疤痕区域多为果实生长过程中自然形成，区域形态多为斑点和类似圆形。因此，可以根据形态学区分疤痕区域和断裂区域，最终将沙糖橘的表面缺陷分为2类：条形以及类似三角区域的破裂区域；类似圆形、椭圆形的疤痕区域。图片处理后，选择合适的面积区域，连通区域，计算缺陷区域的个数，此时沙糖橘的果蒂果柄区域也被选中，先计算区域的个数，如果总数小于等于1，该沙糖橘为完整沙糖橘，如果总数大于1，则遍历计算每个区域的圆形度，如果圆形度小于0.2，则表示该区域是破裂区，此时停止遍历，判定该沙糖橘为破裂果，如果所有区域圆形度都大于等于0.2，则表示该沙糖橘为疤痕沙糖橘。如果区域中同时有破裂区和硬疤区，则优先判定该沙糖橘为破裂沙糖橘，这样符合沙糖橘的品质判定标准。破裂域和疤痕区域的检测和识别效果如图7所示。

3 测试分析

从图7可以看出，沙糖橘的表面相对复杂，但在算法指定的阈值范围内，可以很好地识别具有裂纹和硬疤痕表面缺陷的沙糖橘，效果较理想，精度很好，能够满足实际测试要求。其中逻辑判断流程如图8所示。

4 结论

根据沙糖橘果皮的特点，通过实际试验选择合适的光源和镜头后，可以采用傅里叶变换、高频滤波和形态学、分类树相结合的方法来检测沙糖橘果皮是否存在破裂和缺陷，该研究方法优于直接通过形态学和分类树分析获得的稳定性和可靠性，这主要是因为只在频率域的范围进行沙糖橘果皮特征分析时，没有更有效的方法应对沙糖橘复杂的果皮特征，而通过在时域范围内的操作则可大大提升图像的处理效果。因此，该系统的设计具有良好的实用价值，研究方法对其他果蔬的果皮分类具有良好的借鉴和参考价值［16-19］。

参考文献

［1］ 陈静，梁俊毅.基于机器视觉的禽蛋外观品质在线检测系统设计［J］.食品工业，2020，41（5）：232-234.

［2］ 马佳佳，王克强，郑奕雄，等.基于机器视觉的花生种子外观品质检测与分类方法研究［J］.安徽农业科学，2021，49（10）：225-227，231.

［3］ 闫朋涛，王昆伦，孙家亮，等.基于机器视觉的淡水鱼去鳞损伤无损检测识别方法［J］.食品工业，2020，41（3）：184-187.

［4］ 何东健，张庭锋，李邦国，等.除草机器人机器视觉自动导航技术研究［J］.安徽农业科学，2020，48（18）：201-205.

［5］ 王哲禄，程向娇，尤文生.基于机器视觉的蔬菜嫁接机自动上苗控制系统设计［J］.安徽农业科学，2019，47（7）：218-220.

［6］ 安丛姝.关于图像处理技术现状及发展的分析［J］.科技资讯，2018，16（25）：72-73.

［7］ PU Y Y，FENG Y Z， SUN D W. Recent progress of hyperspectral imaging on quality and safety inspection of fruits and vegetables：A review［J］.Comprehensive reviews in food science and food safety，2015，14（2）：176-188.

［8］ 應义斌，饶秀勤，赵匀，等.机器视觉技术在农产品品质自动识别中的应用（I）［J］.农业工程学报，2000，16（1）：103-108.

［9］ SUN D W.Computer vision technology for food quality evaluation［M］.San Diego：Academic Press，2016.

［10］ BAIGVAND M， BANAKAR A，MINAEI S，et al. Machine vision system for grading of dried figs［J］.Computers and electronics in agriculture，2015，119：158-165.

［11］ 刘峻，孙美艳，焦中元，等.基于全局阈值迭代的苹果图像分割计数方法［J］.安徽农业科学，2018，46（29）：180-182，186.

［12］ 余洪.基于计算机视觉技术的茶叶品质分级研究［D］.南昌：江西农业大学，2017.

［13］ SATORRES MARTNEZ S，MARTNEZ GILA D，BEYAZ A，et al. A computer vision approach based on endocarp features for the identification of olive cultivars［J］.Computers and electronics in agriculture，2018，154：341-346.

［14］ 罗枫，鲁晓翔，张鹏，等.冷藏樱桃内部品质的近红外漫反射光谱检测［J］.食品与发酵工业，2015，41（3）：219-224.

［15］ 孙旭东，刘燕德，李轶凡，等.鸭梨黑心病和可溶性固形物含量同时在线检测研究［J］.农业机械学报，2016，47（1）：227-233.

［16］ 张玉华，孟一，张明岗，等.基于近红外、机器视觉及信息融合的水果综合品质检测［J］.食品工业，2018，39（11）：247-250.

［17］ 裴悦琨，叶家敏，姜艳超，等.基于机器视觉的樱桃形状及大小检测技术［J］.食品工业，2020，41（8）：199-202.

［18］ 张世庆，戴其俊，孙力，等.禽蛋裂纹检测敲击装置力学分析与结构优化［J］.农业机械学报，2017，48（5）：363-368.

［19］ ZHU Q B，HE C L，LU R F，et al. Ripeness evaluation of ‘Sun Bright’tomato using optical absorption and scattering properties［J］.Postharvest biology and technology，2015，103：27-34.