基于全卷积神经网络的核桃异物检测装备设计与试验

谢丽娟 戴犇辉 洪友君 应义斌

(1.浙江大学生物系统工程与食品科学学院， 杭州 310058；2.浙江省农业智能装备与机器人重点实验室， 杭州 310058；3.金华市婺城区东方红林场， 金华 321025)

0 引言

食品异物是食品生产过程中较为常见的一种质量缺陷，同时也是食品品质和安全投诉的主要来源[1-2]。异物污染不仅对消费者的身体健康造成伤害，也同样给企业带来影响。因此，迫切需要食品异物快速检测的技术和设备来提升食品的品质。

现代检测技术中无损检测技术因非侵入性特点在生产加工过程中得到了广泛的关注和应用[3]，根据检测原理包括光学、声学、电学等。X射线具有较强的穿透能力，能检测食物(如肉类、酸奶)中的纸张、纤维等异物[4]。超声波检测技术根据声波的振动原理，目前在食品产业中的应用包括对方腿肉中的玻璃、金属等小尺寸异物的检测[5]。核磁共振方法对塑料和有机物这类低密度异物有较好的检测效果，是对X射线和CT成像的很好补充[6]。近红外技术(780～2 526 nm)可以对大米[7]、麻油[8]等食品掺假进行检测。太赫兹光谱检测(30～3 000 μm)是一种新兴且有较大潜力的技术[9]，介于中红外和微波的范围之间，由于其波长较长，不易受散射影响，在食品异物检测方面也得到了较好的应用[10]。不论是X射线还是红外检测设备，都存在设备体积大、安装复杂、价格高昂等问题。可见光成像技术在模拟人类视觉对食品异物检测识别中应用最为广泛，具有操作简单、成本低廉等优点，但检测处理速度受硬件和算法影响[11]，同时，因可见光的透过性弱，基于透射图像的可见光成像技术对于组织较厚的食品在应用时受到很大限制，对异物识别正确率低。

随着硬件的提升、数据集的建立和深度学习技术的发展，机器视觉技术在图像分割和目标识别上的准确率不断提高。作为机器学习中的重要子集，深度学习的相关研究不断升温，能够实现对数据的快速准确处理，已被应用于谷物[12]、水果[13-14]、农作物[15-16]、坚果[17-18]等农产品目标识别和品质检测上。目前，卷积神经网络(Convolutional neural networks，CNN)能用于种类繁多的目标识别，且能满足识别速度要求，可用于异物识别。

核桃具有较高的营养价值和较好的食用体验，是坚果类食品中最常见的一种坚果，但核桃异物是引起其品质下降的重要因素。目前市场上有较大规模的机械自动化生产线可实现脱青皮、清洗、干燥、除瘪、分级、包装等操作以提升核桃果实的品质和品相。然而，异物检测仍是一个薄弱的环节。为了满足现有生产企业的异物检测要求，需要在现有的坚果加工生产线上增加异物检测的功能，同时要求该异物检测模块在保证检测准确率的前提下，不需要高昂的检测成本。

针对核桃生产线存在的异物检测需求，本文首先根据现有通用的核桃加工生产线，设计并搭建一套核桃异物检测设备进行核桃异物的检测，即通过工业相机实时采集生产线上的核桃图像，获取直观的图像信息数据，结合深度学习与计算机视觉技术，利用基于全卷积神经网络(Fully convolutional networks，FCN)的算法进行图像边缘检测，对核桃生产加工中可能出现的异物进行检测，并通过试验对其性能加以验证。

1 功能需求分析与系统整体设计

1.1 异物分析

图1 样本实物图Fig.1 Pictures of samples1.核桃 2.纸片 3.石头 4.螺母 5.螺丝 6.塑料 7.纺织物 8.树叶

如图1所示，根据核桃生产加工过程中可能接触的各个环节[19-20]，异物主要包括：树叶和石子(来源于采摘过程中夹带)、纸片(来源于包装纸箱和工作记录本)、螺丝螺母(来源于设备松动脱落)和纺织物(来源于工作人员着装)等。这些异物的材质、尺寸和颜色差异较大。

1.2 系统工作原理

相机实时采集生产线上的完整核桃和异物图像，并对图像格式进行转换，在此基础上用算法对核桃和异物的轮廓进行分割并标注，把检测到的异物标记出像素坐标，传输到CPU单元，CPU单元读取到输入信息后，判断有效标志位，并将喷吹信号发给企业自主研发的喷吹控制器，启动喷吹系统，用高速气流将异物剔除。

1.3 系统硬件设计

本研究对坚果基地的18家核桃加工企业进行了调研，对其设备进行了现场考察。经实地测量，在核桃进行最终产品装袋前，大部分企业使用的输送线尺寸如图2所示。综合考虑实际生产的环境空间条件，同时为了设备的安装搭建和后期的调试维护方便，在不影响正常生产的基础上，设计一套异物检测设备安放于原有的生产线上，达到增加异物检测功能的目的。该设备组成包括设备框架、图像采集系统和恒定光源系统。

图2 设备与生产线结构示意图Fig.2 Structure of equipment & production line1.异物检测装备 2.生产线

(1)设备框架

图2为设备安装于生产线上的结构示意图，该设备的框架尺寸(长×宽×高)为470 mm×600 mm×615 mm，由20 mm×20 mm的铝型材搭建而成。设备上、下两部分可以进行独立开关，便于设备的调试。上部分用于对相机的调节，在工作过程中打开该部分不影响生产线正常运行。设备下部分用于调节光源，以及对生产线工作状态的观察。

设备的尺寸参数由传送带宽度、可用空间、环境障碍、相机镜头焦距等要素决定。设备的宽度根据传送带的尺寸设计，需要考虑带宽和两侧支撑。所以设定框架主体部分尺寸(长×宽)为470 mm×470 mm，不遮挡生产线。框架底部的横向铝型材，用以增加接触面积，提高设备的稳定性。该框架安装简单，且质量为5.4 kg，便于搬运。

(2)图像采集系统

图像采集系统由工业彩色千兆以太网相机(DVP-30GC03E-33型，分辨率1 280像素×960像素，60 f/s)和500万像素镜头(TCL-1216-5MP型，购自德国The Image Source)组成，用于拍摄传送带上的核桃与异物。该相机可承受苛刻的环境，如冲击或振动，满足应用时对一致性和可靠性的要求。

图像的视野范围公式为

(1)

式中f——镜头焦距，mmL——工作距离，mm

VCMOS——相机芯片长边长度，mm

HCMOS——相机芯片短边长度，mm

VFOV——视野范围长边长度，mm

HFOV——视野范围短边长度，mm

由式(1)得

(2)

(3)

考虑到生产线的实际尺寸、框架主体尺寸及相机实际工作的区域，选择了可能工作的部分镜头相关参数，如表1所示。生产线宽度(考虑传送带与壁面间隙，左右各50 mm)，即视野范围长边长度最小值为306 mm。芯片边长取8 mm，工作距离L取470 mm，将数据代入式(2)，得f≈12.288 mm。

表1 镜头参数Tab.1 Parameters of lens

为了给布置光源、电源线等保留充足的空间，总体高度约为宽度的1.3倍，得高度为615 mm。其中，相机与镜头总长约为100 mm，保留数据线与电源线空间约50 mm，检测装备底部与待测对象距离约30 mm，则实际工作距离约为：L=615-100-50+30=495 mm。

为了保证检测对象尺寸和生产线高度变化时图像采集系统的稳定性，相机的固定架设计为垂直于输送带的可移动结构。

(3)恒定光源系统

在图像采集的过程中，较差的图像质量会增加后续图像处理的难度。在实际生产中，不同时间段的光线差异和不同生产环境差异都会影响图像质量，增加误差。为此，设计了恒定光源系统，由LED灯带、漫反射涂层、遮光板组成，可提高拍摄图像的质量，减少误差。

图3中LED灯带由4条环形白光LED灯(12 V，6 500 K白光)组成，灯带沿着框架的内部边缘布置，长400 mm，距离底部约120 mm，每条灯带上均匀布置25个灯珠。这种灯带布置方式可使待测对象轮廓突出，且照射均匀。图3中的漫反射涂层，用于增加光线在图像采集设备中的反射，使光源更加均匀。遮光板由黑色的不透光亚克力材质组成，用于隔绝外界光源干扰。同时，由于实际生产的环境中存在灰尘，遮光板能起到对内部相机镜头及其他设备的保护作用。

图3 异物检测装备Fig.3 Image of impurity detection equipment1.设备框架 2.图像采集系统 3.遮光板 4.漫反射层 5.LED灯带 6.待测对象

2 检测算法

2.1 图像采集

图像采集于浙江省杭州市临安区的坚果基地，拍摄生产线上的核桃和异物共60幅图像，异物为核桃生产加工中常见的内源性和外源性异物，包括树叶、纸片、螺丝等。每幅图像中平均包含了30个核桃和不同数量、不同类型、不同尺寸和不同颜色的异物。

2.2 数据集制备

对获取的60幅核桃和异物图像，按照比例4∶1随机分为训练图像集和验证图像集。训练集主要用于模型训练结果的评估，验证集用于对模型实际检测效果的评估。

2.3 算法模型

CNN是利用线性代数中矩阵的原理对图像进行分类和识别，主要包括：①卷积层，也称部分连接层，起到特征提取的作用。②池化层，用于减少特征映射的尺寸，减少需要学习的参数数量和在网络中执行的计算量，提取由卷积层生成的特征映射图上某个区域的特征。③全连接层，用于综合前面提取到的所有特征。

虽然CNN的算法在分类工作中有较高的准确率，但是在实际检测中的效果却不佳，原因是分类时需要被测物特征具有位置不变性，而实际检测时则需要对目标的移动做出快速响应。为了解决这个问题，本文选择全卷积神经网络(图4[21])将CNN最后的全连接层全部用卷积层替代，这使得网络中所有的计算都是共享的，可以同时处理位置可变性和平移可变性问题。

在FCN网络结构调整过程中，比较表征模型性能的4个参数(模型尺寸、训练时间、准确率和损失值)，寻找出适合核桃异物识别任务的最优网络结构。综合考虑模型的训练速度和准确率后，通过调整，选择了适合核桃异物识别的FCN网络，该网络拥有15层卷积层和5层池化层(图4)。其中选用FCN-32s是为了获得更多的全局信息；选用FCN-16s是为了获得更多的局部信息；选用FCN-8s是为了提供更精确的边界信息。在生产线核桃异物检测时发现此算法能达到较好的识别效果，满足检测要求，故没有对算法改进。

2.4 边缘检测

图4 FCN网络结构图Fig.4 Network structure of FCN

由图像采集系统获取的图像分辨率为1 280像素×960像素，需要先将图像通过Matlab软件处理为512像素×512像素的bmp格式。如图5所示，采用VGG Image Annotator对bmp图像进行标记，具体处理步骤为：将核桃和异物的轮廓全部人工标出，形成独立的封闭曲线，此处不区分类别，只标注轮廓；将标注的轮廓分为2个标签：核桃和异物，图像其余部分默认为背景；导出json格式的文件，文件中包含标签和对应的坐标位置(背景像素被标注为0，核桃像素被标注为1，异物像素被标注为2)。

图5 标记后的核桃与异物Fig.5 Labeled walnuts and impurities

2.5 模型训练

对优化完成的全卷积神经网络模型进行训练，并对其中的每幅图像进行亮度调整，提高网络泛化能力。对所有的训练图像进行训练完成后，再对其进行验证分析，直至误差收敛于稳定数值，停止训练，完成神经网络模型训练。

2.6 评价指标

为了客观评价异物检测设备的工作性能，将该设备应用于生产线，拍摄加工生产时的实时图像，对检测误差进行分析，分别计算训练集和验证集的检测准确率及检测速率，使检测速率能满足生产线的实际运行速度要求。

3 试验

3.1 试验平台环境配置

试验平台环境为Intel Core i7-8700@3.2 GHz，运行内存16 GB，GPU选择NVIDIA GTX1080显卡，操作系统为Windows 10。选用的编程语言为Python 3.9。选用深度学习框架Pytorch(Facebook人工智能研究院，Stable 1.7.1)。

图像采集系统配置如前所述，设备实物如图6所示。

图6 生产线上的设备Fig.6 Equipment on production line

3.2 误差分析

表2为FCN模型的混淆矩阵，表明真实值和预测值之间的关系，前后2种状态都包含背景、核桃、异物3个维度。每组数据的含义为：真实值中对象(背景、核桃、异物)与预测值中对象(背景、核桃、异物)的对应像素点数及匹配度。

表2 FCN模型对各类别预测的混淆矩阵Tab.2 Confusion matrix for class prediction of FCN

研究中最大的误差像素点数为134 516个像素点，来自于“核桃-背景”，即原本的核桃被预测为背景。主要原因为核桃中的某些特征(如裂缝、纹路)与背景相似。

匹配度是指正确匹配的像素点数与总的真实像素点数百分比(或对应的所有预测值之和)。可以看到，正确匹配的像素点远高于其余项，说明匹配度较高。

最大误差匹配度为18.91%，来自于“异物-背景”。检测的主要目的是找出异物，所以重点分析真实值中异物的误差，即真实值的异物所在行。可以看到异物被错误预测为“背景”的数据(24 873个像素点，18.91%)远大于被错误预测为“核桃”的数据(3 954个像素点，3.01%)。导致这种差异的原因主要有2个：人工标注传送带上的污染物不作为异物判断；由于异物的尺寸普遍较小，像素点的基数不足，错误预测产生的影响更大，从而放大了误差。

3.3 试验结果分析

由图7可知，对于异物的识别较为清楚，但是边缘分割还存在误差。同时发现，尽管人工标注图中可能会出现标注的失误，即核桃被错标成异物，但是经过训练的模型，仍能很好地分割出核桃和附近的异物，模型可靠性较好。采用FCN对所有图像进行分割，并统计检测结果，得到训练集准确率为92.75%，验证集准确率为90.35%，两者均在90%以上，检测速率为4.28 f/s，满足生产线运输速度为1 m/s的检测要求。

图7 异物检测结果Fig.7 Results of impurity detection

4 结束语

在现有的核桃加工生产线基础上，设计搭建了一套图像采集及异物检测装备，包括框架、图像采集系统、恒定光源系统、硬件平台等，在不改变原有设备和环境的基础上对加工过程中可能出现的异物进行了检测。研究过程中通过工业摄像头对核桃检测生产线进行图像拍摄，利用基于深度学习的FCN算法建立核桃异物检测模型。在样本量较少的情况下，仍然得到了较好的图像分割效果，结果显示训练集准确率为92.75%，验证集准确率为90.35%，表明所搭建的异物检测设备和提出的检测技术满足实际检测需求。