基于气流脉冲和结构光成像的牛肉嫩度检测方法

卢 伟 胡庆迎 代德建 张澄宇 DENG Yiming

(1.南京农业大学人工智能学院， 南京 210031； 2.密歇根州立大学工程学院， 东兰辛 48824)

0 引言

牛肉蛋白质、维生素及矿物质含量高且脂肪含量低，是人们日常生活中的重要肉品，我国牛肉年消耗超8×106t[1]。牛肉嫩度可反映牛肉肌肉中蛋白质结构特性、结缔组织结构含量及分布、肌纤维直径和牛肉大理石结构等，是评价牛肉食用品质的重要指标，直接决定其品质和市场价值[2]。

传统牛肉嫩度检测方法为感官评价法和剪切力测试法。感官评价法主要由专业评审员根据个人经验，借助视觉和味觉对肉的品质特性进行评价[3]，其评审结果易受个人主观因素影响，且效率较低。剪切力法是把牛肉加热到一定温度再用刀具切断，根据切断力来判断肉的嫩度，其操作过程较为繁琐[4]。以上两种方法采取抽样测量的方式，难以实现生鲜牛肉嫩度的大批量在线检测。随着光谱技术和计算机技术的发展，近红外光谱(NIR)、高光谱(HI)和机器视觉等方法逐渐应用于牛肉嫩度的无损检测。文献[5]采用近红外光谱，在750～1 098 nm范围内建立了牛肉背最长肌的嫩度模型；文献[6]在4 000～10 000 cm-1光谱范围内对牛肉进行扫描，并采用多元线性回归法得出其分级准确度为84.21%；文献[7]应用高光谱成像技术，在900～1 700 nm范围内对牛肉嫩度进行了预测；文献[8]基于机器视觉和图像处理方法对牛肉纹理信息进行分析，并采用Stepwise多元线性回归对肉嫩度进行预测分级，预测准确率为88.57%。以上方法能够获得较为全面的牛肉表面光学信息，但易受到外界环境光及牛个体生理差异等因素影响，检测精度和泛化能力难以进一步提高[9]。

牛肉嫩度是反映牛肉品质的综合指标，受到多种因素影响，其中，牛肉的粘弹性是预测质地的重要物性指标，与嫩度密切相关[10]。基于此特性，文献[11]将气流脉冲结合激光测距技术应用于鸡胸肉，并将建立的弹性模型与剪切力进行对比，为禽肉嫩度快速检测提供了依据。文献[12]将恒定气流作用于牛肉上，并采用激光测距仪实时捕获牛肉表面凹陷深度，基于此建立六元粘弹性模型，用于牛肉新鲜度检测，但现有气流冲击法通过凹陷区域的深度检测肉嫩度易受牛肉纹理等因素影响，且牛肉颜色容易吸收部分激光而导致测量误差产生。

本文利用气流脉冲对牛肉表面施加冲击力，同时采用结构光3D成像技术及点云处理手段获取牛肉表面形变的信息，建立牛肉样本剪切力预测模型和牛肉嫩度分级模型，并进行实验验证，以实现对牛肉嫩度的快速、无损测量。

1 材料与方法

1.1 样本采集

牛肉样本购自南京市浦口区南京苏食肉品直销中心，为鲁西黄牛肉，选取里脊、牛肩、后腿。样品采购后放入有冰袋的贮存箱中运输至实验室。按照文献[13]将牛肉切成适当形状，尺寸(长×宽×高)不小于6 cm×3 cm×3 cm，且剔除表面筋膜。剪切处理后获得72个新鲜牛肉样本，将样本按顺序编号，并置于4℃冰箱中冷藏。

1.2 牛肉嫩度标定

目前，剪切力测定法仍然是与感官评定结果最相吻合的一种牛肉嫩度评价法，也是目前普遍采用的牛肉嫩度测定方法。因此本研究参照文献[13]进行实验，获得牛肉样本剪切力参考值。采用TMS-PRO型质构仪(美国FTC公司)、DT-612型热电偶测温仪(探头直径小于2 mm, 深圳华盛昌机械实业有限公司)、HH-1型数显恒温水浴锅(金坛市城东超韵实验仪器厂)、M30-H2型圆形钻孔取样器(直径1.5 cm,哈尔滨量具刃具集团有限公司)等仪器对气流脉冲结构光成像系统检测后的牛肉样本进行处理。每块样本选取6个采样孔，选取最大剪切力的平均值作为样本的剪切力[13]。

1.3 检测系统

本文采用的基于气流脉冲和结构光成像的检测系统如图1所示，主要由800W-8L型空气压缩机(台州市奥突斯工贸有限公司)、ITV2050型SMC比例阀、VX220AAXB型SMC气动电磁阀喷头、DLP数字投影仪、USB高清摄像头(1 920像素×1 080像素，30帧/s)和计算机(Intel Core i5-7300HQ CPU 2.50 GHz)组成。

图1 气流脉冲和结构光检测系统Fig.1 Air-puff and structural light system1.小型空气压缩机 2.储气罐 3.SMC比例阀 4.气动电磁阀5.通气管道及喷头 6.DLP数字投影仪 7.摄像头 8.便携式计算机

冲击脉冲气流由空气压缩机产生，经储气罐缓存稳压，通过比例阀和电磁阀控制脉冲气流压力。喷头内口径为3 mm，气压优选为50 kPa。结构光成像系统由投影仪、USB高清摄像头和计算机组成。为使结构光成像与气流冲击位置一致，出口喷嘴、DLP数字投影仪和USB高清摄像头三者共面，且紧凑安装。为保证气流的冲击效果且不遮挡牛肉表面投影光栅，进行多次实验，标定获得气管倾斜角为45°。

1.4 基于格雷码编码结构光的点云获取

牛肉表面的受力形变信息由结构光3D重建技术获得。本实验采用单目格雷码编码结构光法[14]对牛肉表面进行重建，采用图像处理技术实现格雷码的编码与解码[15]。结构光成像流程如图2所示。

图2 牛肉表面信息采集系统Fig.2 Beef surface information acquisition system

(1)相机、投影仪及系统的标定

为通过三角测量从捕获的图像中恢复三维坐标，需对摄像头、投影仪分别进行标定[16]，获得相机内参数矩阵KL和投影仪的内参数矩阵KR以及外参数矩阵R、T。固定好相机和投影仪的位置后，将制作好的10×10棋盘格标定板放置于相机和投影仪的共同视角范围，标定板距离相机40 cm。投影仪投射格雷码编码光栅图案后启动摄像头采集图像，并旋转、平移棋盘格，从不同角度采集棋盘格图案。使用Harris角点检测法从图像中提取角点，确定标定板位姿信息，然后使用奇异值分解(SVD)计算投影仪和相机的内参数及外参数[17]。角点检测和标定均采用Matlab 2016b标定工具箱(Matlab calibration toolbox，单目标定)。

(2)捕获调制后的编码结构光图像

格雷码编码采用黑白两种颜色对图像的每一个像素点进行编码，黑色标记为0、白色标记为1。设编码位数为n，因此，最多可对2n个区域进行编码。实验中，投影仪分辨率为1 024像素×768像素，当设置n为10进行编码时，每个区域对应单个像素点。

(3)RGB图像转换为灰度图像

采集的图像为RGB图像，为增强图像信息中的图像特征，首先将RGB图像转换为灰度图像。由于相机捕获的视角范围较广，结构光在工作过程中除了捕获到投影区域外，还捕获到死角区域。可通过投影全黑和全白两幅图像来区分投影区域和死角区域。首先投影全黑图像，转换为灰度图像后记为Img1，然后投影全白图像，转换为灰度图像后记为Img2。令Img0=Img2-Img1，设定灰度阈值为threshold，Img0小于threshold的区域即为死角区域。

(4)灰度图像的边缘提取

采用Canny算子对灰度图进行处理，识别出黑白条纹的边界。条纹边缘提取有助于提高变形条纹边界的辨识精度和格雷码的解码准确度。

(5)基于自适应阈值的图像二值化

由于环境光的影响，一幅图像中像素的灰度不均匀。因此需要采用自适应阈值法进行图像二值化。分别投射格雷码编码及其反码图案，则原来为黑(0)的区域变为白(1)，原来白(1)的区域变为黑(0)。通过比较像素间灰度可完成图像二值化[18]。利用正反编码图案可提高二值化和格雷码解码精确度。

(6)解码及保存点云数据

通过格雷码解码确定了相机坐标系中的格雷码编码。根据三角测距原理和小孔成像原理可得出每个像素点的空间坐标，即为相机视线和投影仪视线交线点的坐标。因此，可通过建立物体坐标系、投影仪坐标系和相机坐标系之间的关系来确定像素点的空间坐标。设三维空间中的物体在相机和投影仪的成像位置分别为Pc(uc,vc)和Pp(up,vp)，且设世界坐标系的原点与相机坐标系的原点重合。则相机的外参数矩阵Rc和Tc(相机和世界坐标系的转换矩阵)分别为

(1)

标定所得外参数矩阵R、T即为投影仪的外参数矩阵Rp和Tp(投影仪和世界坐标系的转换矩阵)

(2)

利用小孔成像原理可得

(3)

(4)

式中Kc——相机内参数矩阵

Kp——投影仪内参数矩阵

Sc——相机坐标系中尺度因子

Sp——投影仪坐标系中尺度因子

联立上述方程组，可解出Sc、Sp以及空间点的三维坐标(X，Y，Z)，解法如下：

设矩阵Mc为空间点在相机坐标系中的坐标矩阵，矩阵Mp为空间点在投影仪坐标系中的坐标矩阵，表示为

(5)

(6)

则结构光3D成像系统每个像素点的三维解为

(7)

1.5 检测系统校准

由于待测牛肉表面受气体冲击形变后为近似球冠，因此，通过3D打印机制作标准半球，标定获得结构光有效成像视角及空间点距如图3所示。

图3 扫描系统的标定Fig.3 Calibration of scan system

经过标准块的标定，结构光3D扫描系统的空间点距为0.22 mm，有效误差不大于2.5%，最大重建角θ为123°，重建点云精准度为99.2%。因此，所研制的检测系统可满足牛肉表面精确重建的要求。

1.6 牛肉表面形变区域特征参数提取

采用格雷码编码结构光法获得的三维点云数据中包含牛肉及检测平台的信息。为提取代表牛肉嫩度的凹陷区域特征，分别进行点云去噪、区域生长、点云分割、点云映射、点云三角化、网格划分、最小包围盒处理等处理，获得形变区域的深度、映射面积、表面积、体积4个特征参数。点云处理示意图及流程图如图4、5所示。

图4 牛肉点云处理效果Fig.4 Effect of beef point cloud processing

图5 牛肉表面信息处理流程Fig.5 Flow chart of beef surface information processing

1.6.1预处理

首先，基于K-近邻算法(KNN)剔除离群点。假设Pi={p1,p2,…,pn}为点云曲面S上的点云集合，S中与Pi距离最近的k个点称为Pi的K-近邻，记为N(Pi)。搜索点云中任意点Pi的K-近邻点，并计算当前点Pj与其K邻域内各点之间的距离，取其平均值Dmid(Pi)，即

(8)

计算距离的平均值、样本方差和样本标准差。阈值为平均距离加上标准差的倍数。若Dmid(Pi)大于阈值，判为噪声并从数据中剔除[20]。

去噪后进行点云分割处理提取牛肉样本区域。本文基于区域生长算法[21]，采用MLESAC算法[22]选取种子点与相似点，共同组成生长区域。采用此方法选取背景板中一点作为种子点，标定法向量为参考标准，通过设定偏离角阈值和点间距最小值将背景板平面与牛肉分离。

1.6.2剖面分析

为寻找形变区域，分别将点云切片投影到YOZ平面和XOZ平面。切片间隔根据点云密度确定，设为点云密度的2/3。切片所得图像为牛肉表面点集，通过计算高程差获得切片处的表面形变深度变化，遍历以获得高程差最大处的坐标值，记为形变中心。

1.6.3形变域提取

由于凹陷处俯视观察时横截面近似为圆形，通过上述剖面分析获得凹陷的直径和最深凹陷处的横纵坐标(x0,y0)。以(x0,y0)为圆心，以凹陷直径为直径得到圆柱形区域，获得牛肉表面形变区域的点云信息。

1.6.4形变域参数提取

形变域参数提取主要包括降采样处理[23]、K-近邻算法、贪婪投影三角化算法[24]、Delaunay三角剖分算法[25]和包围盒(OBB)算法等[26]，并通过点云投影、曲面拟合等手段获得深度、映射面积、表面积和体积信息。

(1)凹陷区域映射面积

将分割获得的牛肉凹陷点云进行降采样处理，并投影至XOY平面。采用Delaunay三角剖分算法对X平面点云进行包络处理，将单个点划分至三角形中，建立三角面片索引，遍历累加计算投影底面积S1。其中，单个投影三角形的面积Si利用海伦凯勒公式获得，即

(9)

(10)

式中i——面片索引号

hi——面片三角化周长的1/2

ai、bi、ci——三角形各边长

q——总面片数

(2)凹陷区域体积

对凹陷点云投影至XOY平面，三次样条插值处理对平面点进行网格划分。计算每个网格面积及原始点云高程参数差Hi，遍历累加获得形变区域的体积V，即

(11)

(3)凹陷区域表面积

获得凹陷点云进行曲面插值拟合，并剔除离散点。采用贪婪投影三角化对凹陷点云进行三角面片处理。选取一个样本三角化面片作为空间区域增长点并向四周延伸形成完整三角网格曲面，每个面片包含对原始点云的索引，遍历获得空间牛肉点云面积S2。

(4)凹陷区域深度

采用包围盒算法，以底面为基准获得主法向量方向的包围盒，包围盒高度即为点云最低点到点云拟合底面的距离，即点云深度。计算包围盒垂直方向距离获得形变区域的深度H，公式为

(12)

式中x1、y1、z1——法向量方向z值较大点的坐标

x2、y2、z2——法向量方向z值较小点的坐标

2 结果与讨论

2.1 牛肉剪切力统计分析及等级评价

采用气流脉冲结合结构光成像法无损提取牛肉特征参数后，对牛肉进行剪切力实测，获得样本的剪切力。

由5位受过专门训练并积累一定经验的评审人员对72个样本进行主观评价。将实验所测得的剪切力与主观评价实验中评审员的嫩度分级相对照，结合样本差异性得出对照表(表1)。剪切力小于63.5 N嫩度等级为1(嫩)；剪切力大于90.5 N嫩度等级为3(老)；剪切力介于63.5～90.5 N之间的牛肉嫩度等级为2(中等)[6]。

表1 牛肉剪切力与嫩度分级对照Tab.1 Beef shear force value and tenderness grading

2.2 基于结构光成像的生鲜牛肉剪切力预测模型

通过本文方法获取72份牛肉样品的特征参数(牛肉凹陷的深度H、映射面积S1、凹陷面积S2和凹陷体积V)。样本随机分成3份，2份为训练集，1份为预测集。因为数据集不大，CNN等深度神经网络不适宜，因此比较最小二乘支持向量机回归(LS-SVR)、BP神经网络和广义回归神经网络(GRNN)[27-28]建立的牛肉剪切力预测模型，结果如图6所示。

图6 牛肉剪切力预测模型Fig.6 Prediction models of beef shear force

(1) LS-SVR

采用LS-SVR进行建模，首先对数据进行归一化处理。LS-SVR模型各参数设置如下：核函数类型选择径向基核(RBF)，用网络搜索法确定此次剪切力模型的最佳惩罚系数c=6.8和最佳RBF核函数参数g=2.4。

(2) BP神经网络

采用BP神经网络建模，首先进行数据归一化处理；因为所建模型为MISO结构，因此网络结构输入层节点数为4，隐藏层节点数为10，输出层节点数为1，各层之间全连接，同层之间无连接，激活函数为Sigmoid函数。网络最大训练次数为100，期望误差为4×10-5，学习速率为0.2，计算过程采用梯度下降法计算权重系数。

(3) GRNN

GRNN基于径向基函数网络，结构4层，分别为输入层、模式层、求和层和输出层。首先对数据进行归一化处理，然后利用K-fold交叉验证法对神经网络训练(K取10), 并根据最小均方误差结合循环判别法寻找出GRNN光滑因子spread的最优值(最优值为0.3), 同时获得目标识别训练样本的最优输入输出值。

不同模型的训练集与测试集的相关系数Rc、校准集均方根误差、预测集相关系数Rp、预测集均方根误差等如表2所示。

表2 特征参数建模结果Tab.2 Modeling results of feature parameters

可见，基于LS-SVR神经网络训练效果最佳，训练集相关系数为0.974，均方根误差为5.324 N；基于GRNN的预测效果最佳，预测集相关系数为0.975，均方根误差为5.307 N。

2.3 基于剪切力的生鲜牛肉嫩度分级

在获得特征参数值和牛肉剪切力后，对照牛肉嫩度等级表进行嫩度划分，并采用基于K-fold交叉验证的GRNN对嫩度等级进行预测，预测结果如图7所示。

图7 牛肉样本嫩度等级预测结果Fig.7 Prediction results of tenderness grade of beef samples

其中，采用交叉验证的GRNN对牛肉嫩度等级进行预测时，对等级1(嫩)和等级2(中等)的预测效果较好，为100%；对等级3(老)的预测效果稍差，为91.3%。可见，当牛肉样本数较少时，GRNN模型最优，可对牛肉的剪切力等级进行精确预测。

3 结论

(1)提出一种基于气流脉冲结合结构光3D成像的牛肉嫩度无损检测方法。采用脉冲气流冲击牛肉样品表面，利用格雷码编码结构光3D成像技术获得点云信息，采用去噪、分割、剖面分析、变形区域提取等系列算法处理三维点云数据，提取牛肉凹陷区域的深度、映射面积、表面积和体积信息，并以此作为特征参数对牛肉剪切力和嫩度等级进行预测。

(2)在气流脉冲和结构光检测后，通过质构仪剪切牛肉实验获取了牛肉的实测剪切力，分别与基于LS-SVR、BP神经网络、GRNN的牛肉剪切力预测模型进行对比，结果表明，GRNN预测模型最佳，预测集相关系数为0.975，均方根误差为5.307 N。从嫩度等级预测结果看，较嫩的牛肉预测效果优于较老牛肉。