基于小波核极限学习机的烟叶烘烤过程的智能识别

邢玉清，樊彩霞，豆根生，宋朝鹏，吴莉莉*

基于小波核极限学习机的烟叶烘烤过程的智能识别

邢玉清1, 2，樊彩霞1，豆根生3，宋朝鹏4，吴莉莉1*

1 河南农业大学理学院，河南省农业物联网安全与创新工程技术研究中心，河南 郑州 450002；2 信息工程大学网络空间安全学院，河南 郑州 450001；3 河南农业大学农学院，河南 郑州 450002；4 河南农业大学烟草学院，河南 郑州 450002

烟叶烘烤设备操作复杂、技术含量高、熟练掌握烟叶烘烤技术人员不足等问题，影响了烟叶的烘烤质量。针对上述问题，本文提出了基于小波核极限学习机的烟叶烘烤过程的智能识别方法。实验中对三段式烘烤过程中的叶片变软、主脉变软、勾尖卷边、小打筒、大打筒和干筋6个烘烤阶段分别提取了颜色、纹理和温湿度特征，组建了9维特征向量进入小波核极限学习机，通过增量型算法自适应地选择神经元个数，快速准确地识别了6个阶段，得到了98.33%的识别率。实验结果表明本文提出的基于小波核极限学习机的烟叶烘烤过程的智能识别方法具有一定的可行性，为研发烟叶烘烤智能调控系统奠定了理论基础。

极限学习机；小波核函数；烟叶烘烤；特征提取；识别

烟叶烘烤是决定烟叶质量的关键环节。如何高效高质量地完成烟叶烘烤是烤烟工作中的重点问题。目前烟叶烘烤大多采用三段式烘烤技术，即变黄、定色和干筋三个阶段[1-12]；烘烤时以烘烤曲线为参考，预设每个阶段的烘烤时间和温湿度。

烟叶烘烤过程中需要经验丰富的技工实时观察烟叶烘烤情况，根据烟叶状态来调节烘烤工艺参数。这种烘烤方式受人的主观影响，导致烘烤质量不稳定。同时较长的烘烤周期也会消耗大量的人力资源。

针对目前烟叶烘烤过程中存在的上述问题，国内外许多学者做了大量的研究工作。2015年唐岚[3]实时采集了烟叶烘烤图像，并提取图像特征，采用人工神经网络实时预测与自动调控烤房温湿度，取得了较好的烘烤效果。2015年刘军令[4]提出了一种基于电子鼻的烟叶烘烤控制预测算法，通过对烟叶烘烤过程中气敏传感器阵列采集的烟叶气味数据进行分析，得到烘烤过程中烟叶气味的变化规律，依据烟叶气味变化特征，建立了基于BP 网络的烟叶烘烤预测模型，取得了一定的预测效果。2017年Wang等[13]通过获取烘烤过程中烟叶的光学图像，提取烟叶的颜色特征和纹理特征，利用BP网络对烤房的温湿度进行预测和控制，开发了一种新型的智能实时烤房控制系统。实验结果表明，基于颜色和纹理特征的方法比仅采用颜色特征的方法，能显著提高检测精度。2020年Miguel Condorí 等[14]研制了一种基于数字图像处理技术的烟叶烘烤过程控制系统，通过采用HSV彩色模型、叶片样品的重量损失和每个阶段的预期参数来控制烘烤条件，实 验结果表明该系统可以很好地区分变黄、定色和干筋阶段。

上述研究从气味、外观、重量等不同方面对烘烤过程中烟叶的变化状态进行了探讨，取了一定的成果。

为解决烟叶烘烤过程中人力消耗大、烘烤质量不稳定的问题，本文将机器学习应用到烟叶的烘烤过程中，提出基于小波核极限学习机的烟叶烘烤过程的智能识别方法，通过电子设备实时获取烟叶烘烤信息，并由机器自动识别当前烟叶烘烤阶段，从而实现烟叶烘烤过程的智能调控，稳定烟叶烘烤品质，减少人力投入，提高生产效率。

1 小波核极限学习机

1.1 极限学习机的基本模型

极限学习机（extreme learning machine，ELM）是一种单隐含层前馈神经网络[7]，该算法随机设置输入层与隐含层间的连接权值以及隐含层神经元阈值，无需进行更新，只需设置隐含层神经元的个数，一次性求解出输出权值的最小二乘解即可完成网络的训练，不仅学习速度快，而且具有良好的泛化性能[15-17]。

根据Huang等[18]的理论研究可知，当()无限可微时，w和b不需要训练调整，可在学习前随机选取，网络的训练误差可以接近任意小的正数ε。此时学习过程等价为求式（2）的最小二乘解[19-21]。

其解为

1.2 小波核ELM

由于ELM无法解决线性加权与非线性样本不匹配的问题，以及输入权值的随机选取可能导致某些隐含层节点权值近似为零，进而影响分类准确度。因此Huang等[22]在ELM中引入了核的概念，与ELM相比，核极限学习机能够使用核函数保持一定的映射，而不考虑确定的映射相关性，不仅可以减少训练和输出权重的误差，同时还能提高网络的整体效率。

引入惩戒因子C（C为可调参数），可得权值矩阵的最小二乘解为：

此时ELM分类器的输出为：

在ELM中把每一个样本的隐层输出看成是样本的特征映射，这个特征映射可以用核函数去替代，如式（6）所示：

此时ELM分类器的输出由式（5）变为式（7），

式中就是核函数，当核函数采用小波函数时[23]，ELM就是小波核极限学习机（wavelet kernel extreme learning machine，WKELM）。

本文采用Mexican Hat（mexh）小波核函数对烟叶烘烤过程进行智能识别，小波核函数表达式如式（8）所示。

2 烟叶烘烤过程的数据获取和预处理

2.1 数据获取

本实验中的烤烟品种为云烟98，于2019年9月21日10:00至28日10:00在河南省三门峡市某密集烤房进行烟叶烘烤。烘烤过程中，自带LED的摄像头和温湿度传感器都置于烤房人走通道固定架上，距离烟叶50 cm处，通过WIFI方式将数据传至服务器。其中摄像头采用的是水星MIPC451-4，获取烘烤全程烟叶视频，温湿度传感器选用RS-WS-WIFI-6系列产品，获取烘烤全程烤房内的温湿度。

2.2 数据预处理

将摄像头获取的视频转换为JPG图像，每隔2 s采样一次，转换好的图像统一设置为1280×720像素。为保证识别效果，对图像进行平滑预处理。由于中值滤波在去噪的同时还能较好地保护细节，因此文中采用中值滤波法对烟叶图像进行平滑去噪。为提高分析效率和准确度，对去噪后的烟叶图像利用区域生成的方法选取感兴趣区域，只对选定区域进行特征提取。图1为6个阶段的原始图像，图2为经过预处理之后的6个阶段的样本图像。

图2 经过预处理后的不同阶段烟叶烘烤图像

3 烟叶烘烤过程特征值的提取

三段式烘烤中变黄阶段可分为2步，一是叶片变软，二是主脉变软，该阶段不仅要使烟叶实现变黄，还要使烟叶适量脱水实现变软；定色阶段可分为勾尖卷边、小打筒和大打筒3步，主要目的是使叶片干燥，从而将黄色固定下来；干筋阶段烟叶主脉全干。

实验中将识别叶片变软、主脉变软、勾尖卷边、小打筒、大打筒和干筋6个烘烤阶段，以图像和温湿度为主要参考特征，组建特征向量。

3.1 颜色特征提取

烟叶在烘烤过程中，颜色的变化比较明显，从绿色逐渐变到黄褐色。实验中拟分别从RGB与HIS 2种颜色空间进行颜色特征的提取，从不同角度来表征烟叶烘烤过程中色彩状态的变化。

RGB模型是目前运用最广的颜色模型之一，通过对红（Red）、绿（Green）、蓝（Blue）3种颜色的叠加得到视觉所能感知的颜色。由于红色与绿色融合会呈现黄色，所以烟叶的颜色变化主要与红色和绿色分量有关，在特征提取时主要选取R和G分量。

HIS模型与人眼对事物的观察模式一致，用色调（Hue）、饱和度（Saturation）和亮度（Intensity）来描述颜色，反映了人的视觉系统感知彩色的方式。

选用2种不同色彩模型可以从不同角度表征烟叶烘烤过程中色彩状态的改变，使得提取的颜色特征更多元化。

在HIS模型中，只有H分量变化较为规律且明显，因此在特征提取时选取H分量。

HSI模型与RGB模型的关系如式（9）～（11）所示。

其中

实验中对烟叶烘烤过程中6个不同阶段的图像进行颜色特征提取时，考虑到实时性，每个阶段随机选用60幅图像作为训练样本，20幅图像作为测试样本，共计360个训练样本，120个测试样本。对这些样本分别计算R、G、H分量的均值作为颜色特征，为了便于观察，图3分别给出了6个烘烤阶段的各特征值分布。从颜色特征值分布来看，叶片变软、主脉变软和勾尖卷边3个阶段的特征值几乎无交叉，较易区分，这是因为烘烤过程中烟叶从绿色逐渐变到黄色，颜色变化明显；而后面几个阶段烟叶脱水严重，颜色几乎没有大的变化，因此颜色特征值混叠在一起，不易区分。为了能有效地识别各个烘烤阶段，还需融合其他特征。

（a）R分量特征值分布 （b）G分量特征值分布

（c）H分量特征值分布

图3 颜色特征值分布

Fig.3 Color eigenvalue distribution

3.2 纹理特征提取

烟叶烘烤达到定色期以后颜色变化缓慢，但烟叶失水量较大，叶片皱缩明显，由平整逐渐卷曲，纹理特征发生了较明显的变化。纹理是图像中局部不规则而宏观上有规律的特性，是物体表面的一种自然属性，也是常用的图像特征之一。

实验中利用灰度共生矩阵来提取纹理特征，分别从0°、45°、90°、135°4个方向计算图像的能量、对比度、相关性和同质性来表示纹理特征，计算公式如式（12）～（15）所示。

能量表征了图像灰度分布的均匀性。

对比度反映了图像纹路的深浅和清晰度。

相关性体现了水平和垂直方向上相邻像素间的相似性。

同质性反映了图像纹理局部变化的均匀性。

图4分别给出了6个烘烤阶段的纹理征值分布。勾尖卷边和干筋阶段的对比度几乎和其他阶段无交叉，较易区分；叶片变软和小打筒阶段的相关性起伏不大，趋于一致，也比较好辨认。叶片变软和主脉变软处于烘烤前期，失水量较少，纹理特征不易区分。

（a）能量 （b）对比度

（c）相关性 （d）同质性

图4 纹理特征值分布

Fig.4 Texture feature value distribution

3.3 温湿度特征提取

参照样本图像获取的时间节点，读取相应时间的温湿度传感器的温度和湿度值，分别按式（16）进行归一化处理，使其位于[0，1]。

4 烟叶烘烤过程的智能识别

核极限学习机训练速度快，准确度较高，但核函数的种类和参数会影响KELM的学习能力和泛化能力。实验中，利用WKELM对烟叶烘烤过程智能识别时，颜色特征、纹理特征和温湿度一同作为输入向量，建立9维输入和6维（待识别的烘烤阶段）输出。

实验中在Matlab环境下编写了WKELM的训练和预测函数。WKELM的训练过程主要有以下3个步骤：

（1）确定隐含层神经元个数，随机设定输入层与隐含层的连接权值矩阵以及隐含层神经元的阈值矩阵；

（2）选择Mexican Hat小波核函数作为隐含层神经元的激活函数，计算隐含层输出矩阵；

在建立WKELM模型时，隐含层神经元个数需要提前设置，为了得到最佳的识别性能，拟采用增量型算法[23-29]自适应选择神经元个数。在迭代过程中逐渐增加隐含层神经元个数，更新隐含层神经元的输出权值和期望余差，直到余差等于或接近期望值。

图5给出了当隐含层神经元个数从20个至200个时对应的识别率关系曲线，可以看到当神经元个数为52时，识别率达到最大，为98.33%。

图5 隐含层神经元个数与识别率的关系曲线

为了说明WKELM对烟叶烘烤过程识别的有效性，实验中采用不同分类器进行识别性能对比。将相同的训练样本和测试样本分别进入卷积神经网络（convolutional neural network，CNN）、决策树、概率神经网络、极限学习机、多项式核极限学习机和小波核极限学习机分类器中，识别结果如表1所示。从表中的分类性能来看，采用概率神经网络的分类识别率最低，CNN和WKELM的识别率最高，可达98.33%，小波核函数继承了小波函数的多尺度逼近的特点，因此在分类问题上也有更好的效果。使用深度学习中的CNN分类器的耗时最长，ELM的耗时最短，而WKELM的耗时比ELM多了1.41 s，识别率却提高了1.66%。

表1 不同分类器识别结果对比

Tab.1 Comparison of recognition results of different classifiers

为了增强WKELM模型的鲁棒性，在所有实验样本中随机生成了10组训练样本和测试样本进行分类实验，识别率如图6所示。可以看出，模型的最低识别率为92.5%，最高为98.33%，平均识别率可达95.75%，因此采用WKELM对烟叶烘烤过程的识别方法是可行的。

图6 10组随机测试样本的识别率

5 结束语

为实现烟叶烘烤过程的智能识别，本文以云烟98烘烤过程为例，对叶片变软、主脉变软、勾尖卷边、小打筒、大打筒和干筋6个烘烤阶段的特征提取和分类识别进行了研究，提出了融合颜色、纹理和温湿度的特征提取方法，利用小波核极限学习机作为分类器得到了98.33%的识别率。与卷积神经网络、决策树、概率神经网络、极限学习机等分类器的对比实验结果说明了采用小波核极限学习机进行烟叶烘烤过程智能识别的理论一定可行性。本文的研究将为研发烟叶烘烤智能调控系统奠定理论基础，促进机器学习在烤烟领域的应用。

[1] JIE Chen, YAN Li, XIAN He, et al. Influences of different curing methods on chemical compositions in different types of tobaccos[J]. Industrial Crops & Products, 2021, 167: 1-11.

[2] CAO Gengshuo, BAO Yafeng, WU Chao, et al. Analysis on efficiency optimization of tobacco leaf flue-curing process[J]. Procedia Engineering, 2017, 205: 540–547.

[3] 唐岚. 密集化烟叶烘烤中图像特征提取及应用研究[D].重庆：重庆大学，2015.

TANG Lan.Research on image feature’s extraction and application in bulk tobacco curing[D]. Chongqing: Chongqing University, 2015.

[4] 刘军令. 烟草智能烤房系统中电子鼻关键技术研究[D]. 重庆：重庆大学，2015.

LIU Junling. Study on the key technology of electronic nose in intelligent tobacco barn systems[D]. Chongqing: Chongqing University,2015.

[5] 李增盛，孟令峰，王松峰，等. 基于图像处理的烟叶烘烤阶段判别模型优选[J]. 中国烟草学报,2022,28(02):65-76.

LI Zengsheng, MENG Lingfeng, WANG Songfeng, et al. Selection of optimum discriminant model in tobacco curing stage based on image processing[J]. Acta Tabacaria Sinica, 2022,28(02):65-76.

[6] 林志，谭军，曾惠宇，等. 不同温湿度自控仪对烟叶烘烤的影响[J]. 现代农业科技，2021(24):185-187.

LIN Zhi, TAN Jun, ZENG Huiyu, et al. Effect of different temperature and humidity automatic control instruments on tobacco baking[J]. Modern Agricultural Science and Technology, 2021(24):185-187.

[7] 仙立国，王松峰，孙帅帅，等. 热泵密集烤房对烟叶烘烤主要生理变化和质量的影响[J]. 中国烟草科学，2021,42(06):53-59.

XIAN Liguo, WANG Songfeng, SUN Shuaishuai, et al. The effect of air-source heat pump bulk curing barn on the main physiological changes and quality of flue-cured tobacco[J]. Chinese Tobacco Science, 2021,42(06):53-59.

[8] 刘兆宇，陈颐，罗会龙，等. 烟叶烘烤定色期密集烤房热湿环境数值分析[J]. 西南农业学报，2021,34(11):2518-2524.

LIU Zhaoyu, CHEN Yi, LUO Huilong, et al. Numerical analysis of hot and wet environment in bulk curing barn during color fixing period[J]. Southwest China Journal of Agricultural Sciences,2021,34(11):2518-2524..

[9] 杨波，张喜峰. 不同烘烤工艺对中部烟叶烘烤质量的影响[J]. 陕西农业科学，2021,67(11):86-90.

YANG Bo, ZHANG Xifeng. Effect of different flue-curing processes on tobacco quality of middle leaves[J]. Shaanxi Journal of Agricultural Sciences,2021,67(11):86-90.

[10] 李永辉，徐锐.不同烘烤工艺对云烟87上部烟叶烘烤质量的影响[J]. 绿色科技，2021,23(21):107-109.

LI Yonghui, XU Rui. Effects of different baking processes on the baking quality of upper leaves of Yunyan 87[J]. Journal of Green Science and Technology, 2021,23(21):107-109.

[11] 朱昌银. 分类编烟对烟叶烘烤质量的影响[J]. 农技服务, 2021, 38(09):28-30.

ZHU Changyin. Effect of classified cooking on tobacco baking quality[J]. Agricultural Technology Service, 2021, 38(09):28-30.

[12] 过伟民，赵虎，郑劲民，等. 基于物联网数据采集技术的河南烟叶烘烤工艺大数据分析[J]. 烟草科技，2021,54(09):11-18+39.

GUO Weimin, ZHAO Hu, ZHENG Jinmin, et al. Big data analysis on flue-curing process of tobacco leaves in Henan based on data acquisition via internet of things(IoTs)[J]. Tobacco Science & Technology, 2021,54(09):11-18+39.

[13] WANG Lutao, CHENG Bei, LI Zhengzhou, et al. Intelligent tobacco flue-curing method based on leaf texture feature analysis[J]. Optik, 2017,150: 117–130.

[14] Miguel Condorí, Federico Albesa, Fabiana Altobelli, et al. Image processing for monitoring of the cured tobacco process in a bulk-curing stove[J]. Computers and Electronics in Agriculture, 2020, 168:1-9.

[15] LU Sijia, GAO Wei, HONG Cui, et al. A newly-designed fault diagnostic method for transformers via improved empirical wavelet transform and kernel extreme learning machine[J]. Advanced Engineering Informatics, 2021, 49: 1-12.

[16] GONG Daozhi, HAO Weiping, GAO Lili, et al. Extreme learning machine for reference crop evapotranspiration estimation: Model optimization and spatiotemporal assessment across different climates in China[J]. Computers and Electronics in Agriculture, 2021, 187: 1-13.

[17] Pegah Golestaneh, Maryam Zekri, Farid Sheikholeslam. Fuzzy wavelet extreme learning machine[J]. Fuzzy Sets and Systems, 2018, 342: 90-108.

[18] HUANG GB, ZHU QY, SIEW CK. Extreme learning machine: a new learning scheme of feedforward neural networks[C]. Proceedings of the 2004 IEEE International Joint Conference on Neural Networks. Budapest, Hungary, 2004: 985-990.

[19] Pengpeng Pi, Dimas Lima. Gray level co-occurrence matrix and extreme learning machine for Covid-19 diagnosis[J]. International Journal of Cognitive Computing in Engineering, 2021, 2:93-103.

[20] Maryam Malekzadeh, Saeid Kardar, Saeid Shabanlou. Simulation of groundwater level using MODFLOW, extreme learning machine and Wavelet-Extreme Learning Machine models[J]. Groundwater for Sustainable Development, 2019, 9: 1-18.

[21] Diker A, Avci D, Avci E, et al. A new technique for ECG signal classification genetic algorithm wavelet kernel extreme learning machine[J]. International Journal for Light and Electron Optics, 2019, 180: 46–55.

[22] HUANG GB, ZHOU H, DING X, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics, 2012, 42(2): 513-529.

[23] 王杰，李自豪. 脉象分类识别的小波核极限学习机方法[J]. 计算机工程与设计，2019, 40 (5): 1472-1476.

WANG Jie, LI Zihao. Pulse classification using wavelet kernel extreme learning machine[J]. Computer Engineering and Design, 2019, 40 (5): 1472-14760.

[24] HUANG GB, CHEN L. Enhanced random search based incremental extreme learning machine[J]. Neurocomputing, 2008, 71: 3460- 3468.

[25] 王超，王建辉，顾树生，等. 改进式混合增量极限学习机算法[J]. 控制与决策，2015, 11: 1981-1986.

WANG Chao, WANG Jianhui, GU Shusheng, et al. Improved hybrid incremental extreme learning machine algorithm[J]. Control and Decision 2015, 11: 1981-1986.

[26] 詹浩东，林勇，孙伟业.基于极限学习机的高压输电线路障碍物识别方法[J]. 电子设计工程，2022,30(03):84-88+93.

ZHAN Haodong,LIN Yong,SUN Weiye. High voltage transmission line obstacle recognition method based on extreme learning machine[J]. Electronic Design Engineering, 2022,30(03): 84-88+93..

[27] 张海翔，李培培，胡学钢.基于核极限学习机的多标签数据流集成分类方法[J]. 数据采集与处理，2022,37(01):183-193.

ZHANG Haixiang，LI Peipei，HU Xuegang. Multi⁃label Data Stream Ensemble Classification Approach Based on Kernel Extreme Learning Machine[J]. Journal of Data Acquisition and Processing, 2022,37(01):183-193.

[28] 蔡祥云，王小鹏. 利用极限学习机的人脸活体检测方法[J]. 传感器与微系统，2021,40(12):122-124+132.

CAI Xiangyun, WANG Xiaopeng. Face liveness detection method using ELM[J]. Transducer and Microsystem Technologies, 2021, 40(12):122-124+132.

[29] 韩宝珠. 基于在线极限学习机的电机滚动轴承故障识别方法研究[J]. 电子技术，2021,50(12):36-39.

HAN Baozhu. Study on fault identification of rolling element bearings based on os-elm[J]. Electronic Technology, 2021, 50(12): 36-39.

Intelligent recognition of tobacco curing process based on wavelet kernel extreme learning machine

XING Yuqing1,2, FAN Caixia1, DOU Gensheng3, SONGZhaopeng4, WULili1*

1 College of Sciences, Henan Agricultural University, Henan Agricultural Internet of Things Security and Innovation Engineering Technology Research Center, Zhengzhou, 450002, China;2 School of Cybersecurity, Information Engineering University, Zhengzhou ,450001, China;3 College of Agronomy, Henan Agricultural University, Zhengzhou, 450002, China;4 College of Tobacco, Henan Agricultural University, Zhengzhou, 450002, China

In order to solve the problems of large manpower consumption and unstable baking quality in the tobacco curing process, an intelligent recognition method of tobacco curing process based on wavelet kernel limit learning machine is proposed in this paper. In the experiment, the six baking stages including leaf softening, main vein softening, leaf curling, leaf small rolling, leaf large rolling and stem drying during the three-stage baking process were identified. The color, texture, temperature and humidity features were extracted from the six baking stages and a 9-dimensional feature vector was established to enter the wavelet kernel extreme learning machine. The number of neurons was adaptively selected through an incremental algorithm to identify the six stages quickly and accurately. The recognition rate was 98.33%. The experimental results show that the intelligent recognition method of tobacco curing process based on wavelet kernel extreme learning machine is feasible, which lays a theoretical foundation for the development of tobacco curing intelligent control system.

extreme learning machine; wavelet kernel function; tobacco curing; feature extraction; recognition

. Email：wulili@henau.edu.cn

中国烟草总公司科技重点研发项目（110202102007）；中国烟草总公司福建省公司资助项目（2021350000240019）；重庆中烟工业有限责任公司资助项目（YL202202）；河南农业大学自然科学类青年创新基金项目（KJCX2017A19）

邢玉清（1981—），博士，副教授，硕士生导师，主要从事机器学习、网络安全与数学模型等方面的研究，Email：xyq@henau.edu.cn

吴莉莉（1977—），博士，教授，硕士生导师，主要从事传感器技术、生物信号处理和模式识别等方面的研究，Email：wulili@henau.edu.cn

2022-01-21；

2023-08-30

邢玉清，樊彩霞，豆根生，等. 基于小波核极限学习机的烟叶烘烤过程的智能识别[J]. 中国烟草学报，2024,30（1）. XING Yuqing, FAN Caixia, DOU Gensheng，et al . Intelligent recognition of tobacco curing process based on wavelet kernel extreme learning machine[J]. Acta Tabacaria Sinica, 2024,30(1). doi:10.16472/j.chinatobacco.2022.T0019