基于证据合成的高斯过程回归多模型软测量方法

梅从立，杨铭，刘国海

（江苏大学电气信息工程学院，江苏 镇江 212013）

基于证据合成的高斯过程回归多模型软测量方法

梅从立，杨铭，刘国海

（江苏大学电气信息工程学院，江苏 镇江 212013）

针对生物发酵过程，提出了一种基于证据理论的高斯过程回归多模型软测量方法，其中多模型融合策略同时考虑了数据聚类特性和软测量子模型统计特性。首先，对聚类后的各子类建立高斯过程回归子模型；然后，基于聚类隶属度函数和高斯过程回归子模型后验概率分别设计子模型权值，并利用证据合成规则将两类权值进行证据合成得到融合权值；最后，将该融合权值作为加权因子对子模型进行融合。通过青霉素发酵过程仿真数据和红霉素发酵过程工业数据研究表明, 相比单一模型和传统多模型高斯过程回归软测量方法，本文所提方法具有较高的预测精度和较小的预测不确定度。

软测量；多模型；高斯过程回归；证据理论；仪表；发酵；算法

多模型软测量模型建模方法一般为：首先，基于训练数据集各聚类子集建立子模型；然后，通过计算样本点对聚类中心的隶属度来获得各子模型的权值；最后，基于所设计权值融合子模型，从而得到加权形式的多模型软测量模型[4-10]。故就多模型软测量建模而言，关键问题在于如何设计子模型加权函数。为了进一步优化权值函数，文献[11-12]提出了基于证据合成规则融合隶属度函数并获得优化权值的多模型软测量方法。文献[13-14]首先参数化权值函数，然后通过迭代优化方法对权函数参数进行优化辨识，以提高多模型软测量模型性能。上述方法在建模时均充分考虑了模型对数据的拟合性能，但是均没有充分利用子模型的统计特性。

此外，根据测量原理，测量过程不仅应该得到测量结果，而且应给出相应的精度参数[15]，即测量不确定度。传统软测量建模采用支持向量机回归、神经网络回归等方法[4-7]。这类方法无法确定软测量预测值的精度或者不确定区间，限制了软测量模型在实际过程中的应用。高斯过程回归(Gaussian process regression, GPR)模型是一种相对新的软测量建模方法[15-18]，具有能够集成先验概率、超参数较少，输出具有概率意义等优点。如何在保持其优势的前提下，把其推广到多模型建模领域，以解决多工况复杂过程建模问题，还有待进一步研究。

针对上述问题，本文提出一种基于证据理论(Dempster-Shafer theory，DS)的GPR多模型软测量方法。该方法在设计子模型权值时不仅考虑了样本点对数据集聚类中心的隶属度，也充分考虑了各软测量子模型的统计性质，且输出结果保持了单模型高斯过程回归软测量模型所具有的概率特性，即输出预测均值的同时输出预测不确定度。最后，分别采用青霉素发酵过程仿真数据和红霉素发酵过程工业数据验证所提方法的有效性。

1　基于聚类隶属度函数的权值设计

使用模糊C均值（fuzzy C-means，FCM）聚类算法对训练样本集进行聚类处理。考虑样本集

将此集合依据一定的准则用FCM方法划分为c个模糊子集。该准则一般是用来表征聚类性能指标的优化目标函数。FCM聚类算法的目标函数是

对隶属度函数做如下处理

2　基于子模型后验概率的权值设计

2.1高斯过程回归

定义一个高斯过程 (GP)[19]来描述输入和输出间的映射关系。GP是任意有限个随机变量均具有联合高斯分布的集合, 其性质完全由均值和协方差确定，即

其中，K为对称正定的协方差矩阵，x、y分别为训练集的输入输出变量，∗x为测试输入变量，分别为测试点与训练集的输入的协方差以及测试点自身的协方差，分别是高斯过程预测输出和预测输出的均值，为了计算方便，通常在数据预处理时使其均值为 0。考虑如下回归问题

其中，x为输入向量，输入样本点的总数为n，f为函数值，y为收到噪声干扰的观测值，ε是均值为0、标准差为nσ的白噪声。进一步可以得到y的先验分布为

观测值y和预测值f∗的联合先验分布为

其中

GPR模型的建立首先要进行模型的选择，即确定协方差函数。所选协方差函数要保证对于任一输入都能够产生一个对称半正定的协方差矩阵，同时希望相邻的输入产生相邻的输出。考虑到对协方差函数连续性和可导性的要求, 通常选择径向基函数作为协方差函数

其中，0v表示先验知识的总体度量，1v表示服从高斯分布的噪声的方差，ijδ是Kronecker算子。协方差函数的超参数采用极大似然法来获得其最优值。对于上述给定的协方差函数，其关于超参数的对数似然函数为

对超参数求偏导

2.2基于后验概率的权值设计

假设同等条件下同一被测变量的l次测量结果对应的不确定度分别为。若对这l次测量也做一个加权组合来得到最后的测量结果，那么它们各自所占的权重[20]应该满足

在多模型软测量方法中，通过聚类分析将样本划分成若干个子类，使得同类样本之间的相似度尽可能高而不同类样本之间的相似度尽可能小[9]。聚类算法将过程数据进行了划分，可以看作是对过程工况的划分，不同工况可以看作是相互独立的。所以各子数据集之间（或各子模型之间）可以看作是相互独立的。多模型软测量结果，可以看作是由 c个独立子模型软测量后经过加权组合后所得的结果，那么这c个子模型的权值应该满足

式中，第 j个子模型的不确定度函数可据式（12）求得，即。对于某个样本点，各子模型的权值应满足

3　基于证据理论的权值融合

4　多模型合成机制

采用加权策略对各子模型进行合成。GPR多模型软测量模型合成规则为

代入式（20）可得

基于DS证据合成规则的GPR多模型软测量算法具体步骤如下：

（1）数据预处理，将输入样本集进行归一化处理并用变量选择方法选出辅助变量, 再将所有样本数据分为训练样本集和测试样本集；

（2）使用FCM聚类方法将训练样本集X聚类为c个子集，并获得聚类中心V；

（3）用c个训练样本子集建立c个GPR子模型。

（4）确定各GPR子模型的权值，针对测试样本点，将两种权值设计方法所设计权值作为证据，依据式(18)对两类证据进行融合获得各子模型融合权值；

（5）多模型融合，根据式(20)得到 GPR的多模型软测量的预测输出值，并根据式(21)得到该软测量结果的不确定度。

图1　青霉素发酵过程软测量结果对比Fig.1　Results of different soft sensors for penicillin fermentation process

5　仿真研究

青霉素发酵过程是一个典型的微生物发酵反应过程。本文首先基于青霉素发酵过程仿真软件（Pensim[24]）模拟产生过程数据，开展软测量模型研究工作。许多研究工作表明了该仿真平台具有重要的研究价值[25-27]。

在Pensim正常工况初始条件范围内，随机产生30组初始设定值；然后，运行Pensim软件产生30批青霉素发酵过程数据。发酵过程周期设定为400 h，采样时间间隔为1 h。任取3批数据作为测试数据集，剩下的27批数据作为训练数据集用于软测量建模。为了说明所提方法的优越性，将其性能与单一模型高斯过程回归软测量方法[15]（SGPR）、基于聚类算法的多模型GPR方法[17-18]（FCM-MGPR）、基于证据理论和聚类算法多模型[11-12]GPR 方法（DS-FCM-MGPR）进行了比较分析。同时，采用均方根误差（RMSE）和95%置信区间（2倍预测方差）的平均值[MCI，如式（22）]分别来定量评估软测量模型的预测精度和不确定度。RMSE通常用来从全局的角度评估预测值对真实值的接近程度，MCI可以用来评估预测值的可靠性。

其中，n为样本个数，Ui和Li分别为第i个样本点预测值95%置信区间上限和下限。

图1为上述3种软测量方法以及本文所提方法对第1个批次测试数据的预测结果。由图1可以看出，本文所提软测量模型预测值更逼近真实值。表1给出了不同软测量方法对3个批次测试数据软测量结果的性能指标统计结果。从表1可以看出，本文所提方法RMSE和MCI值均优于SGPR以及其他多模型GPR建模方法。

6　工业应用

本文工业数据来源于江苏镇江某制药公司红霉素发酵生产过程，其发酵反应流程如图2所示。总共采集10批发酵过程数据。

每批实验通过在线传感器采集 15个状态变量作为输入变量，包括时间、溶解氧、pH、糊精流量、豆油流量、丙醇流量、水流量、糊精体积、豆油体积、丙醇体积、水体积、温度、相对气压、搅拌马达转速和空气流量，另外，每批实验通过离线分析方式采集生物量浓度作为输出变量。利用主元分析对 15个输入变量进行辅助变量选择[28]，获得溶解氧、pH、糊精流量、糊精体积、水体积5个变量作为软测量模型的输入辅助变量。在软测量建模之前，首先将样本数据分为两类：训练数据集和测试数据集。将 1～7批发酵数据作为训练数据集，另外 3批作为测试数据集。

图2　红霉素发酵过程Fig.2　Schematic diagram of erythromycin fermentation process

分别采用本文所提方法和第5节提到的3种方法对红霉素发酵过程工业数据进行软测量模型建模研究。测试数据集预测结果见图3。从图3可以直观看出，本文所提方法预测值与真实值更为接近，且95%置信区间较小。为了进一步从细节说明4种方法预测值与真实值的逼近程度，图4给出了各批次数据动态预测标准差。从图4可以看出，本文所提方法标准差小于其他3种方法。

表 2 给出了测试集数据的软测量结果统计指标。表2中RMSE指标定量分析各种方法预测值与真实值的逼近程度，可以看出本文所提方法RMSE值小于其他3种方法。从表2中MCI指标看出，对于各批次测试数据，本文所提方法MCI指标均小于其他3种方法。说明本文预测方法的预测值具有更小的不确定性，可以理解为软测量结果具有更高的可靠性。

表1　青霉素发酵过程不同软测量方法性能比较Table 1　Comparisons of different soft sensors for penicillin fermentation process

本文方法之所以优于其他3种方法，是因为：单模型建模时考虑的样本数过多，模型过于复杂，使得预测精度和预测不确定度都不够理想；传统的多模型方法建模时仅依据聚类结果确定子模型的权值，并没有考虑到子模型本身的统计特性。本文所提方法从子模型本身的统计性质和数据聚类特性两个方面着手，充分利用高斯过程回归方法给出预测不确定度的优点，将子模型的后验概率和聚类子集的隶属度作为子模型权值分配两类证据，再用 DS合成规则进行融合优化各子模型权值，显著改善了软测量模型的预测精度，大大降低了预测不确定度。红霉素发酵过程工业数据的软测量建模验证了本文所提方法的有效性。

7　结　论

提出了一种基于DS证据理论的GPR多模型软测量方法。该方法综合考虑了测试样本的聚类特性和软测量子模型的统计特性，将聚类隶属度函数和GPR子模型输出后验概率作为证据，利用DS合成规则进行融合获得各子模型融合权值，以提高软测量模型的预测精度并降低预测不确定度。将所提方法应用于生物发酵过程软测量，研究结果表明本文所提方法相比较于其他方法具有预测精度高和不确定度小的优点，具有一定的应用潜力。

图3　红霉素发酵过程不同软测量方法对比Fig.3　Comparisons of different soft sensors for erythromycin fermentation process

表2　红霉素发酵过程不同方法性能比较Table 2　Comparisons of different soft sensors of erythromycin fermentation process

图4　不同软测量方法预测标准差Fig.4　Comparisons of predictive standard deviations of different soft sensors

References

[1] Dai X, Wang W, Ding Y, Sun Z. “Assumed inherent sensor” inversion based ANN dynamic soft-sensing method and its application in erythromycin fermentation process [J]. Computers & Chemical Engineering, 2006, 30: 1203-1225.

[2] Liu G, Zhou D, Xu H, Mei C. Model optimization of SVM for a fermentation soft sensor [J]. Expert Systems with Applications, 2010, 37 (4): 2708-2713.

[3] Wang Bo (王博), Sun Yukun (孙玉坤), Ji Xiaofu (嵇小辅), Huang Yonghong (黄永红), Huang Li (黄丽). Soft-sensor modeling for lysine fermentation processes based on PSO-SVM inversion [J]. CIESC Journal (化工学报), 2012, 63 (9): 3000-3007.

[4]Li Lijuan (李丽娟), Song Kun (宋坤), Zhao Yingkai (赵英凯). Modeling of ARA fermentation based on affinity propagation clustering [J]. CIESC Journal (化工学报), 2011, 62 (8): 2116-2121.

[5]Xu Haixia (徐海霞), Liu Guohai (刘国海), Zhou Dawei (周大为), Mei Congli (梅从立). Soft sensor modeling based on modified kernel fuzzy clustering algorithm [J]. Chinese Journal of Scientific Instrument(仪器仪表学报), 2009, 30 (10): 2226-2231.

[6]Sang Haifeng (桑海峰), Wang Fuli (王福利), He Dakuo (何大阔), Zhang Dapeng (张大鹏), He Jianyong (何建勇). Soft sensors of biomass concentration in nosiheptied fermentation process based on multiple support vector machines [J]. Journal of System Simulation(系统仿真学报), 2006, 18 (7): 1983-1986.

[7]Zhong Weimin (钟伟民), Li Jie (李杰), Cheng Hui (程辉), Kong Xiangdong (孔祥东), Qian Feng (钱锋). A soft sensor multi-modeling for furnace temperature of gasifier based FCM clustering [J]. CIESC Journal (化工学报), 2013, 63 (12): 3951-3955.

[8]Cong Qiumei (丛秋梅), Yuan Mingzhe (苑明哲), Chai Tianyou (柴天佑), Wang Hong (王宏). Online modeling for multi-model by adjusting the centers of operating ranges [J]. Control Theory & Applications (控制理论与应用), 2013, 30 (6): 773-780.

[9]Suo Xingyi (索幸仪), Shi Hongbo (侍洪波). Soft sensor modeling of sewage disposal process based on multi-model fuzzy kernel clustering method [J]. Journal of East China University of Science and Technology: Natural Science Edition (华东理工大学学报: 自然科学版), 2010, 36 (5): 732-736.

[10] Jin X, Wang S, Huang B, Forbes F.Multiple model based LPV soft sensor development with irregular/missing process output measurement [J]. Control Engineering Practice, 2012, 20 (2): 165-172.

[11]Wang Zhenlei (王振雷), Tang Ku (唐苦), Wang Xin (王昕). A multi-model soft sensing method based on D-S and ARIMA model [J]. Control and Decision (控制与决策), 2014, 29 (7): 1160-1166.

[12]Tang Ku (唐苦), Wang Xin (王昕), Wang Zhenlei (王振雷). Multi-model soft sensor based on Dempster-Shafer rule [J]. Control Theory & Applications (控制理论与应用), 2014, 31 (5): 632-637.

[13] Domlan E, Huang B, Xu F, Espejo A. A decoupled multiple model approach for soft sensors design [J]. Control Engineering Practice, 2011, 19 (2): 126-134.

[14] Khatibisepehr S, Huang B, Xu F, Espejo A. A Bayesian approach to design of adaptive multi-model inferential sensors with application in oil sand industry [J]. Journal of Process Control, 2012, 22 (10): 1913-1929.

[15]Wang Huazhong (王华忠). Gaussian process and its application to soft-sensor modeling [J]. Journal of Chemical Industry and Engineering (China) (化工学报), 2007, 58 (11): 2840-2845.

[16]He Zhikun (何志昆), Liu Guangbin (刘光斌), Zhao Xijing (赵曦晶), Wang Minghao (王明昊). Overview of Gaussian process regression [J]. Control and Decision (控制与决策), 2013, 28 (8): 1121-1129.

[17]Lei Yu (雷瑜), Yang Huizhong (杨慧中). Combination model soft sensor based on Gaussian process and Bayesian committee machine [J]. CIESC Journal (化工学报), 2013, 64 (12): 4434-4438.

[18]Li X, Su H, Chu J. Multiple model soft sensor based on affinity propagation, Gaussian process and Bayesian committee machine [J]. Chinese Journal of Chemical Engineering, 2009, 17 (1): 95-99.

[19]Rasmussen C E. Gaussian Processes for Machine Learning [M]. Cambridge: The MIT Press, 2006:16-18.

[20]Sha Dingguo (沙定国). Error Analysis and Measurement Uncertainty Assessment (误差分析与测量误差评定) [M]. Beijing: China Metrology Press, 2003:218.

[21] Murphy C K. Combining belief functions when evidence conflicts [J]. Decision Support Systems, 2000, 29 (1): 1-9.

[22] Li X, Dezert J, Smarandache F, Huang X. Evidence supporting measure of similarity for reducing the complexity in information fusion [J]. Information Sciences, 2011, 181 (10): 1818-1835.

[23] Su Z, Wang P, Shen J, Yu X, Lv Z, Lu L. Multi-model strategy based evidential soft sensor model for predicting evaluation of variables with uncertainty [J]. Applied Soft Computing, 2011, 11 (2): 2595-2610.

[24]Birol G, Ündey C, Cinar A. A modular simulation package for fed-batch fermentation: penicillin production [J]. Computers & Chemical Engineering, 2002, 26 (11): 1553-1565.

[25]Xiong Weili (熊伟丽), Wang Xiao (王肖), Chen Minfang (陈敏芳), Xu Baoguo (徐保国). Modeling for penicillin fermentation process based on weighted LS-SVM [J]. CIESC Journal (化工学报), 2012, 63 (9): 2913-2919.

[26]He Xiaoran (贺晓冉), Chen Chen (陈宸), Kim Kwang Sok (金光石), Xiong Zhihua (熊智华). Model simulation of fed-batch penicillin fermentation and optimization of substrate federate [J]. CIESC Journal (化工学报), 2012, 63 (9): 2831-2835.

[27]Yang Xiaomei (杨小梅), Liu Wenqi (刘文琦), Yang Jun (杨俊). LSSVM modeling for fermentation process based on dividing stages [J]. CIESC Journal (化工学报), 2013, 64 (9): 3262-3269.

[28]Li Xi (李喜). Research and soft sensing applications of partial least-squares regression [D]. Dalian: Dalian University of Technology, 2007.

A multi-model based soft sensor using evidence theory and Gaussian process regression

MEI Congli, YANG Ming, LIU Guohai
(School of Electrical and Information Engineering, Jiangsu University, Zhenjiang 212013, Jiangsu, China)

In this paper, a multi-model soft sensor method based on Dempster-Shafer theory (DS) and Gaussian process regression (GPR) was proposed. Firstly, GPR was used to build the sub-models of the proposed soft sensor after clustering training dataset. Secondly, the initial weightings were designed based on membership functions and output posteriori probabilities of GPR based sub-models, respectively. And the initial weightings were fused using the combination rule of DS. Finally, the weighted sum of sub-models with the fused weightings was used to output predictive means and uncertainty. The proposed method was validated on simulation data of a penicillin fermentation process and industrial data of an erythromycin fermentation process. For comparisons, single model-based soft sensor and traditional multi-model soft sensor were also studied. Simulations showed that the proposed method had better predictive accuracy and lower predictive uncertainty.

soft sensor; multi-model; Gaussian process regression; Dempster-Shafer theory; instrumentation；fermentation; algorithm

引　言

生物量浓度等发酵过程关键变量软测量技术是生物发酵过程测控领域研究热点之一[1-6]。生物发酵过程是一个非线性、多工况的复杂过程，一般可以分为若干个阶段，如微生物生长缓慢的生长初期、生长迅速的指数生长期、生长变化较小的生长稳定期以及由于抑制剂原因导致的速率较低的生长末期。发酵过程关键变量单一模型软测量模型往往会出现模型训练复杂、预测精度低等缺点。多模型软测量建模方法是解决这一问题的有效策略之一。文献[4-6]分别利用多模型软测量方法对发酵过程建立软测量模型，均获得了比单一模型更好的建模效果。

date: 2015-04-17.

MEI Congli, clmei@ujs.edu.cn

supported by the Natural Science Foundation of Jiangsu Province (BK20130531) and the Project Funded by the Priority Academic Program Development of Jiangsu Higher Education Institutions (PAPD).

10.11949/j.issn.0438-1157.20150492

TP 13

A

0438—1157（2015）11—4555—10

2015-04-17收到初稿，2015-07-30收到修改稿。

联系人及第一作者：梅从立（1978—），男，博士，副教授。

江苏省自然科学基金项目（BK20130531）；江苏高校优势学科建设工程资助项目（PAPD）。