基于多模态的贝叶斯网络疼痛识别方法

郭文强， 赵艳， 徐紫薇， 肖秦琨

(1.陕西科技大学电子信息与人工智能学院，西安 710021； 2.陕西科技大学电气与控制工程学院， 西安 710021； 3.西安工业大学电子信息工程学院， 西安 710021)

疼痛作为许多疾病的特征，在临床上可以作为重要指标去监测病情和衡量治疗效果。临床医护人员通常将自我报告作为疼痛的评估方法[1]。但是对于一些特殊人群，如新生儿、智力发育不良或精神受损的人，他们不具备自我评估疼痛的能力。因此在复杂的医疗环境下，高效准确的疼痛评估结果对患者的治疗和护理具有重要的临床意义。

人的面部表情中包含了大量的疼痛信息，是疼痛常见的评价依据之一[2]。文献[3]使用支持向量机(support vector machine，SVM)算法进行疼痛识别，平均识别率为87.2%。但其主要针对疼痛的二分类识别，不能详细描述患者的疼痛强度。在医疗实践中，人们为了更好地进行医疗决策常将疼痛强度视为多分类问题。对此，文献[4]采用长短期记忆(long short-term memory, LSTM)通过分析视频帧间的时间关系进行疼痛强度多分类研究；文献[5]采用循环神经网络(recurrent neural network, RNN)实现疼痛等级的划分。但其均采用“黑箱式”变量关系的表达方式，其模型复杂、可解释性差。文献[6]提出了一种基于贝叶斯网络的疼痛识别方法，其利用贝叶斯网络(Bayesian network, BN)在表示和推理不确定性问题上的优势进行疼痛的多分类识别，且网络结构可以直观、清晰地显示变量之间的因果关系[7]。由上述几种方法可知，其均采用与疼痛相关的面部动作单元(action unit, AU)作为特征向量进行模型训练，没有充分考虑到其他与疼痛相关的模态信息，缺乏多样性。目前在疼痛评估研究中，除面部表情特征外还引入了其他评价手段，如观察者评估、生物生理学信号(如心率、皮肤导电率等)、语音信号等[8]。研究表明，结合多种模态进行情感分析能够有效提高准确度[9-10]。

现提出一种基于多模态的贝叶斯网络(multimodel Bayesian network, MMBN)疼痛识别方法。首先利用互信息对获取的各疼痛特征进行相关性判断，剔除冗余的特征向量；然后将多模态特征与BN模型结构灵活可变的优势相结合来建立疼痛识别模型；最后利用联合树推理算法实现对疼痛客观、准确的评估。

1 基本理论

1.1 多模态疼痛特征

通常将不同的存在形式或信息来源称为模态，将由两种或两种以上模态的组合称为多模态[10]。所提出的利用多模态进行疼痛识别可以有效提高单模态识别的准确度。在评估疼痛时，通过不同采集方式获取的信息源具有独立属性的疼痛信息，如观察者评估信息、面部表情、语音信号、生理信号等。以UNBC-McMaster数据库[11]为例，疼痛信息源主要包括疼痛表情动作单元(AU)、观察者评估(observers rated pain intensity, OPI)、视觉模拟量表(visual analog scales, VAS)和感官量表(the sensory scale, SEN)等疼痛信息。其中OPI是由接受过大量训练的观察者对患者的疼痛进行观察评估，依据经验判断患者的疼痛程度；VAS和SEN是由受试者在每次测试完成后使用感觉和情感语言等疼痛描述符对其产生的疼痛进行评定。

面部表情传递着大量的关于疼痛和情绪状态的信息，Prkachin等[12]基于面部动作编码系统(facial action coding system, FACS)提出了疼痛度量标准(Prkachin and Soloman pain intensity, PSPI)，发现并证实了眉毛聚拢(AU4)、眼窝收紧(AU6和AU7)、提肌收缩(AU9和AU10)以及闭眼(AU43)这4种核心面部运动行为包含大多数的疼痛信息，并通过AU的强度值来评价疼痛的程度[12]。定义的Prkachin & Solomon 疼痛程度度量式为

PSPI=AU4+max(AU6,AU7)+

max(AU9,AU10)+AU43

(1)

式(1)中：除AU43的强度值为0或1，表示闭眼或睁眼外，其余AU的强度值均为0～5，且值越大说明AU强度越高，即总的疼痛程度为AU4的强度值、AU6或AU7(取最大强度值)、AU9或AU10(取最大强度值)和AU43强度值这4项之和。

图1为UNBC-McMaster数据库中的4张包含疼痛表情的图像帧对应的PSPI值，可以看出，随着PSPI值的增大，疼痛程度越强烈。

图1 UNBC-McMaster数据库的图像帧及对应的PSPI值Fig.1 Image frame of UNBC-McMaster database and corresponding PSPI value

1.2 贝叶斯网络

贝叶斯网络[13]由结构G和参数θ两部分组成。结构G=(V,E)为有向无环图，其中n个节点集合V=(X1,X2,…,Xn)是变量，有向边E集合表示变量间的因果依赖关系。θ是网络参数，即节点的概率分布，表示节点之间相互影响的程度。θi∈θ表示在给定节点Xi的父节点时Xi的条件概率，节点集合V的联合概率分布可表示为[13]

(2)

式(2)中：Xi为网络中的节点变量，i=1，2，…，n；π(Xi)为节点Xi的父节点变量集合。

1.2.1 贝叶斯网络建模

贝叶斯网络学习[14]包括BN结构建模、BN参数建模和BN推理三部分，其中BN结构建模常采用专家经验法和根据给定样本学习法。

BN参数学习[15]是在建立好网络拓扑结构后，按照一定的数学准则，利用数据样本集来学习、计算BN的参数分布。当数据集充足时，常采用最大似然估计(maximum likelihood estimation, MLE)算法进行参数学习；当数据集存在不同程度的数据缺失时，常选用期望最大化(expectation maximization, EM)算法进行参数学习，虽然计算时间相对较长，但比MLE算法更精确。使用EM算法计算参数分布。首先初始化每个节点的概率分布，然后根据训练数据修改初始概率分布，找到每个参数的最大似然估计。假定θ的初始值为θ0，参数空间为Θ，EM算法的实现步骤如下[15]。

步骤1E步(expectation step)。以当前参数θk和观测变量x计算对数似然函数lgLc(θ,x)的期望为Q(θ,θk)，计算公式为

Q(θ,θk)=Eθ(k){lgLc(θ,x)}

(3)

式(3)中：Eθ(k)为θ(k)的期望。

步骤2M步(maximization step)。寻找参数最大化期望似然，可表示为

(4)

EM算法使用E步和M步交替计算，直至收敛到局部最优解。

1.2.2 贝叶斯网络推理

BN推理[16]是指在学习到精确的贝叶斯网络结构和参数后，通过概率推理的方式对未知变量进行估计或预测，即在已知证据节点集合e的取值状态下，计算非证据节点o的后验概率分布P(o|e)。采用计算速度最快、应用最广的联合树(junction tree, JT)推理算法进行精确推理算法，其表达式为[16]

(5)

式(5)中：e为证据；P(e)为常数；P(o)为先验概率；P(e|o) =L(o|e)为似然函数。

1.3 互信息

为使建立的贝叶斯网络模型结构更加简洁，且方便后续模型的训练和推理，利用互信息进行多模态特征向量间的相关性判断，剔除冗余的特征向量。互信息是两个变量间相互依赖性的度量，以任意两个变量X、Y为例，互信息I(X,Y)可表示为[17]

(6)

式(6)中：P(X,Y)为变量X和Y的联合概率；P(X)为变量X的概率；P(Y)为变量Y的概率。

2 基于多模态的贝叶斯网络疼痛识别方法

所提出的基于多模态的贝叶斯网络疼痛识别方法主要步骤如下。

步骤1获取有关疼痛的多模态特征样本数据集。

步骤2判断是否构建多模态贝叶斯网络疼痛识别模型。若是，则跳转至步骤6进行BN推理和识别；否则执行步骤3～步骤5，完成疼痛识别模型的建立。

步骤3确定特征总数和特征样本之间的相关性阈值φ。

步骤4利用互信息对多模态特征样本间进行相关性判断，确定贝叶斯网络结构。

步骤5对特征样本数据集中的训练样本利用EM算法进行参数估计，完成疼痛识别模型的建立。

步骤6对特征样本数据集中的待识别样本(未用于训练)采用联合树推理算法完成BN推理和识别判定，输出疼痛等级识别结果。

2.1 多模态BN结构设计

所提出的多模态BN结构模型如图2所示，其由待识别节点T、控制单元S以及证据节点E三部分组成。图2中，E1、E2、…、En为与待识别节点T相关的证据节点，并设置了一个控制单元S=[S1,S2,…,Sn]，其中Si=1或0(i=1,2，…，n)，若Si=1，则待识别节点与Ei存在有向边，模型中包含该信息源的信息；反之，则待识别节点与Ei不存在有向边，模型中不包含该信息源的信息。

图2 多模态BN结构模型图Fig.2 Multimodal BN structure model diagram

2.2 样本获取

以UNBC-McMaster数据库为例，将疼痛划分为不痛、轻度疼痛、中度疼痛和重度疼痛，并将疼痛表情AU特征(AU4、AU6、AU7、AU9、AU10、AU43)、观察者评估(OPI)两种信息源作为多模态BN建模的证据节点。根据文献[11]的方法获取有关疼痛的AU特征样本集，即先用主动外观模型(active appearance model，AAM)系统来跟踪人脸和提取面部底层特征，最后使用SVM方法对面部特征进行分析得到AU样本集，为了方便计算对获取的每个AU强度值加1；数据库中疼痛信息源OPI为接受过大量训练的观察者对患者的疼痛进行观察评估，依据经验判断患者的疼痛程度。对OPI数据进行预处理后，现为3种状态(1，2，3)且数字越大对应患者疼痛程度越强。采用以上方法来获取AU特征样本数据和OPI数据，如获得的重度疼痛特征样本数据如表1所示。

2.3 特征去冗余

利用互信息对与疼痛相关的特征进行相关性判断，剔除冗余的特征向量，确定BN建模时所需的多模态特征。首先设定各特征样本的相关性阈值φ，然后计算n个特征样本数据之间的互信息值Mij(i=1,2，…,n；j=1,2，…,n)，若Mij<阈值φ，将Si置1；否则Si仍保留为0。对获取的特征样本数据进行互信息计算的结果如图3所示，其相关性可以通过互信息值的大小反映，范围在0～1，当大于阈值φ且越接近1时，表示各特征之间的相关性越强；当小于阈值φ时，表示各特征之间相关性较低，其中将阈值φ设为0.6。由图3可以看出，各特征之间的自我相关性最强，如AU4与AU4间互信息值大于阈值φ= 0.6；而不同特征之间的互信息值均小于阈值φ= 0.6，表明了这7个特征之间的相关性较低，可以作为BN建模时所需的特征向量。

表1 重度疼痛的部分特征样本数据

图3 各特征间的互信息计算结果Fig.3 Mutual information calculation results between features

2.4 疼痛识别模型建立

通过多模态BN结构模型图构建的疼痛识别模型主要过程如下：①确定待识别节点T为疼痛等级，即“不痛”、“轻度疼痛”、“中度疼痛”和“重度疼痛”；②分析并确定疼痛识别的影响因素，即证据节点E，如面部有关疼痛的AU特征和观察者评估信息；③根据互信息对各影响因素进行相关性判断，即控制单元S置位判断，构造出用于疼痛识别的贝叶斯网络模型的拓扑结构；④分析各因素对疼痛识别的影响程度，确定条件概率表，即采用EM算法进行参数估计，迭代次数设为5 000。

根据上述过程分析，建立的疼痛识别结构模型如图4所示。图4(a)为基于单模态的BN疼痛识别结构模型，其只采用了与面部有关的疼痛AU特征作为证据节点，Pain Level节点和OPI证据节点之间不存在有向边，即控制单元S=[S1,S2,S3,S4,S5,S6,S7]=[1,1,1,1,1,1,0]；图4(b)为基于多模态的BN疼痛识别结构模型，其采用了有关疼痛的AU特征和OPI疼痛信息共同作为证据节点，Pain Level节点和OPI证据节点之间存在有向边，即控制单元S=[S1,S2,S3,S4,S5,S6,S7]=[1,1,1,1,1,1,1]。

图4 基于贝叶斯网络的疼痛识别模型Fig.4 Pain recognition model based on Bayesian network

图4中，Pain Level节点表示疼痛等级，包含4种状态：“不痛”“轻度疼痛”“中度疼痛”和“重度疼痛”；AU各节点表示由疼痛触发的面部活动单元，其中，子节点AU43共有2种状态，其他AU子节点各有6种状态，代表AU发生的强度；OPI表示观察者评估的疼痛程度，共有3种状态。

2.5 疼痛识别

疼痛识别的过程实质是利用建立好的贝叶斯网络模型进行BN推理和识别判定。使用联合树推理算法根据式(7)计算Painl的后验概率，可以得到“不痛”“轻度疼痛”“中度疼痛”和“重度疼痛”4种疼痛等级的概率，其和为1。通过比较各疼痛等级概率的大小，将概率最大且唯一时所对应的疼痛等级识别结果进行输出。

Pain*=argmaxP(Painl|evidence)

(7)

式(7)中：evidence为输入特征向量对应的观测证据;Painl为疼痛识别节点中疼痛等级取值为l的事件，1≤l≤q，其中q取值为4，即“不痛”“轻度疼痛”“中度疼痛”和“重度疼痛”分别用1、2、3、4表示。

3 实验与分析

3.1 实验设置

本实验仿真实验平台为Windows10系统，处理器为AMD CPU 1.8 GHz，编程工具为MATLAB R2016b，数据集为UNBC-McMaster数据库。

UNBC-McMaster数据库[11]记录了25位志愿者在主动或者被动转动其受伤肩部时的200个面部表情视频，包含48 398个FACS编码的图像帧和相应图像帧的66个AAM特征标记、PSPI疼痛强度值、视频序列下的自我报告和观察者评估信息。按照专家先验知识进行疼痛等级的划分，其各级疼痛的特征样本数据如表2所示。实验中，从各级疼痛图像样本中随机选取268张图像作为训练样本，从剩余的各级疼痛图像样本里随机选取115张图像作为待识别样本。

表2 疼痛等级特征值组合

3.2 基于单模态的实验结果

采用基于单模态的BN模型进行疼痛识别，即仅根据与疼痛相关的AU特征作为疼痛识别的证据节点，其模型结构如图4(a)所示。为了更直观地表明该模型的疼痛等级识别效果，采用混淆矩阵的方式表示实验结果，如表3所示。

由表3可以看出，4种疼痛等级的识别率均达到90%以上。其中“不痛”的识别率可达到100%，可以做到完全区分疼痛与非疼痛表情；“轻度疼痛”

表3 基于单模态的疼痛识别结果

识别率为97.39%，容易与“不痛”混淆；“中度疼痛”的识别率为90.44%，容易与“重度疼痛”混淆。分析可知，基于单模态下BN模型可以准确的划分疼痛等级，能够取得较好的疼痛识别结果。

3.3 基于多模态的实验结果

由于目前UNBC数据库中OPI数据较少，在模型训练时可能会存在过拟合现象。为此根据已有的数据及OPI与Pain Level节点状态存在的关系生成一个有关节点OPI的条件概率表，如表4所示。其可以根据不同Pain Level的状态随机生成每张图片对应OPI值。

利用所提出的基于多模态的BN模型进行疼痛识别，即根据疼痛AU特征和OPI信息共同作为疼痛识别的证据节点，其模型结构如图4(b)所示，实验结果用混淆矩阵表示，如表5所示。

由表5可以看出，4种疼痛等级下的识别率均达到93%以上。其中“不痛”的识别率可达到100%，可以完全区分疼痛与非疼痛表情；“中度疼痛”的识别率为93.91%，容易与“重度疼痛”混淆。分析可知，相较于单模态的实验结果，基于多模态的BN模型对疼痛各等级的识别结果均得到提高，容易混淆的个数得到减少，可以更准确地划分疼痛等级。

表4 节点OPI的条件概率

表5 基于多模态的疼痛识别结果

3.4 不同方法的实验结果对比

为进一步验证本文方法的有效性，与SVM[3]、LSTM[4]、RNN[5]和单模态的BN模型识别方法进行对比。通过平均识别准确率以及机器学习中的接收工作特性曲线下面积(area under the curve, AUC)对分类模型的准确性进行衡量[18]，一般AUC值越大，说明该分类模型的性能更好。不同识别方法的实验结果如图5所示。

图5 不同识别方法的实验结果Fig.5 Experimental results of different recognition methods

由图5可以看出，本文方法的准确率为97%，相较于经典的SVM[3]、LSTM[4]、RNN[5]和单模态的BN模型识别方法分别提高了11%、14%、22%和2%，取得了较好的疼痛识别结果。此外，本文方法的AUC值均高于其他方法，说明了MMBN的分类模型有着较强的分类性能，具备一定预测价值。分析可知，在疼痛条件下利用多种模态之间的信息互补性以及贝叶斯网络模型强大的学习能力和灵活的可扩展性，将不同模态信息融入网络中，使得疼痛的识别更加准确。

4 结论

高效准确地疼痛评估对患者的治疗具有重要意义，为了提高疼痛识别的准确度，打破单模态疼痛识别方法的局限性，提出了一种基于多模态的贝叶斯网络疼痛识别方法。首先设计了一种结合多模态的BN结构模型，将其应用到疼痛识别过程中；其次获取有关疼痛的多模态特征，利用互信息对各疼痛特征进行相关性判断，剔除冗余的特征向量，使得建立的疼痛识别模型更加简洁；最后在UNBC-McMaster数据库上利用该方法与其他传统的单模态方法进行对比，实验结果表明，本文提出的MMBN方法能够充分利用多种模态特征之间的信息互补性及BN模型的可扩展性等优势，可以准确地划分疼痛等级，有效提高疼痛识别率，解决了以往研究中单模态疼痛识别方法准确度低的问题。

在未来工作中，将进一步与生理信号、语音信号等其他模态信息相结合进行疼痛识别的研究，增强疼痛识别模型的鲁棒性，同时在多种疼痛数据集下进行验证，扩大模型的应用范围。