可解释的层次注意力机制网络危重症预警

王天罡，张晓滨，马红叶，蔡宏伟

1.西安工程大学 计算机科学学院，西安710048

2.西安交通大学第一附属医院 网络信息部，西安710061

3.西安交通大学第一附属医院 重症医学科，西安710061

随着近年来人工智能的日益发展，通过深度学习辅助临床诊疗决策研究一直是医疗领域的热点，它在医疗大数据中主要用于医学影像识别、电子病历解析、基于基因组学的精准医学研究以及临床决策支持系统等方面。采用临床表现的疾病预测模型是临床决策支持系统一个重要研究内容，然而实际医疗软件大多仅能提供数据的集成和展示，所具备的功能仅限于医患管理和床旁数据的查询统计。特别是住院ICU危急重症的患者在病情变化非常复杂的情况下，医护人员通过实时观察异常生理指标来治疗患者有时为时已晚。与此同时，ICU床旁监护设备数量多、类型复杂，所提取的各项生命指标较多，仅对每个患者体征数据进行检索浏览就给医生带来了较大的工作量。

当前基于机器学习的疾病预警研究大多采用标准化数据集（例如MIMIC-III）的理论研究，许多模型在得出较好结果的同时由于缺乏可解释性而无法实际应用。例如，当医生通过基于CNN或RNN模型判定一个病人是否有患病风险时，更希望知道模型究竟从各类仪器、床旁设备提取的海量数据中学到了哪些能够以人类可理解方式表达的知识，并且发现各类风险因素之间的关联，从而生成决策结果。如果一个模型难以理解，那么在关乎生命风险的医疗领域就会因无法给出更多的可靠信息而受限，最终只是不同曲线的拟合结果。因此本研究针对临床危重症疾病预警缺乏前瞻性和可解释性等问题，作出了如下工作：

（1）创新性地提出将HAN模型用于基于生理指标的时间序列危急重症预警，利用分层注意力机制分别学习时间及风险因素两个维度上的权重分布，即对每个患者输入序列不同时刻或风险因素赋予不同重要性，将神经网络训练过程中产生的中间项与患者生理指标渐变的过程相结合，提醒医生在治疗过程中应该关注的重点。

（2）模型提出一种利用分层机制分离时间和风险因素的多通道输入结构，使每个因素享有单独的输入序列，更适合当前临床应用中的数据结构。同时提出了一种HAN的输出优化结构，将患者静态人口统计信息和诊疗过程产生的上下文表征序列相结合，使结果除了时序数据的表征外添加了更多的关联特征。4.1节的实验表明，通过与基线神经网络相比，该模型大幅度提升了预警的准确率。

（3）通过对模型添加可解释组件（Interpretable Layer），探讨了深度学习在实际临床医疗的可解释性，证明该模型相较于其他深度学习模型具有良好的可靠性。

（4）研究采集的数据均为现三甲医院ICIS系统提取的临床真实数据，提出的方法真实有效，为医疗人工智能在医院信息系统实际应用奠定了基础。

1 相关工作

1.1 基于临床数据集的疾病预警模型

近年来常用的多变量疾病预警模型按照基础理论的不同可划分成两类：静态统计分析预警模型和动态人工智能预警模型[1]。其中统计分析预警模型相关研究关注的方向主要包括：监测实时生理指标的单变量分析模型、基于多项危险因素指标估测的广义线性回归模型。文献[1]提出通过多因素Logistic回归分析分别提取患者入院和实时的多项危险因素指标，进而比对分析并建立评分机制，评估冠心病的可能性[2]。文献[2-3]分别提出了基于随机森林（RF）支持向量机（SVM）在ICU患者住院24 h内死亡风险预测的应用[3-4]。

上述临床疾病预警研究均采用构建统计分析模型和对实时生理指标的评分预测，无法解决海量数据下的过拟合、梯度消失等问题，同时没能充分利用检查数据时间状态上的关联性或其他与疾病关联的因素对模型的影响，对临床急重症突变预警能力差。因此文献[4]提出了一种多因素线索LSTM模型预测血压变化进而对高血压及时预警，适用于高血压等慢性病的长期预测分析。在实际临床治疗过程中，由于该模型将与血压关联的时序测量数据和患者的环境信息一起作为未来线索数据与血压预测相结合，预测精准度较高[5]。文献[5]采用循环神经网络（RNN）或卷积神经网络（CNN）等当前主流深度学习模型得到了不错的实验结果[6]。

1.2 基于深度学习模型的可解释性研究

准确性和可解释性是决定预测模型能否成功应用的两个主要因素。近年来，随着深度学习的不断发展，模型可解释性的相关准则逐渐被研究人员所关注，Lipton指出了构建可解释性模型的必要性[7]：使人能建立对模型的信任；可以体现事件因果关系；对其他领域可以迁移应用；在训练过程中可附加额外知识等，并认为一个可解释的模型应该至少具备以下特点：

（1）透明性，即模型对人是透明的，可以在模型对具体任务训练之前就模拟预测到对应参数和模型决策，包括模型整体、组件和算法的透明性。

（2）事后可解释性，某些模型尽管事先无法精确阐明其是如何工作的，但是在训练过程中可以为研究人员提供对事实有用的信息，通过对结果可视化或训练过程产生的参数分析得到相关知识。

决策树（Decision Tree，DT）是具备透明可解释性的典型机器学习模型，并已经广泛地在医疗领域应用[8]。但是多数不具备先验知识的情况下，现实更关注的是模型的事后可解释性，Zhang等人提出了一种可解释的卷积神经网络[9]，该模型通过将每一维度的卷积层对应于图像的一部分，不需要其他标注对模型进行解释即可以帮助人们在卷积的过程中获取额外的信息。

近年来，随着注意力机制的兴起，通过对输入序列分配不同权重而影响输出的结果这一方法使神经网络的可解释性得到了重视，具体对于Attention模型的可解释性，有正反两方面的观点。首先自Bahdanau等[10]将Attention用于机器翻译等任务起，研究人员就对其可解释性进行大量的实验论证[11]。然而，最近由Serrano等[12]和Jain等[13]分别对注意力机制的可解释性产生了质疑，并认为注意力机制是不可解释的，前者通过将训练过程中的注意力权重擦除或翻转后观察决策结果，后者引入了对抗注意力权重分布的思想并比较权重和训练梯度的变化趋势来分析模型的可解释性。但是上述研究仅对个别权重较大的参数进行操作，忽略了注意力模型的权重分布并不是独立存在的事实，例如，在文本分类过程中，一篇体育报道中擦除了“体育”“足球”等词向量，但是文章中出现的人名和事件仍然能够使模型产生体育的决策分类结果。对此，Wiegreffe等[14]的研究对以上注意力模型不可解释的验证方法提出了质疑，他认为Attention中间层的参数是无法同整个模型隔离开的，否则就失去了实际的意义。本研究受到上述方法的启发，在模型训练的过程中对其注意力参数进行了整体擦除和重置等操作，实验结果证明了IHAN具有良好的事后可解释性。

图1 编码器-解码器结构

2 基于IHAN的疾病预警模型构建

2.1 注意力机制

与大多数标准化医学数据集不同，在实际基于临床表现的疾病预测应用中，基于患者生理指标的序列结构通常存在以下几个问题：

（1）床旁数据大量冗余。例如心率、呼吸等测定频率为30 s/次，患者在大部分住院期间此类测定均处于正常状态。如果采用传统seq2seq的神经网络，将会把多数无意义的数据混杂到图1所示编码器-解码器结构（Encoder-Decoder）的序列表征c中，严重影响了最终的预测结果。

（2）不同患者的检验数据缺失。例如血红蛋白、红细胞计数测定等检验分析项测定时间间隔较长，频次不一致，导致大多患者均存在数据缺失问题，如果大量使用缺失值填补或样本筛选等方法，同样引起结果不准确。

（3）同一患者不同生理指标采样频次不一致，导致输入序列长度相差较大。例如患者在住院期间进行“平诊肾功七项[复]”检查次数在3～4次，“血细胞分析+五分类”的检查次数在8～9次，而心率血压等测量频率更加频繁。因此在构建例如广义线性回归、CNN等多因素分析模型时，序列长度的差异会导致输入序列不能满足模型的输入结构；而若采用单通道的RNN分析模型时，由于患者病情的变化是多种因素相互作用产生的效果，故忽略了共同作用对结果的影响。

基于神经网络的注意力模型已经成功地应用在计算机视觉[15]、自然语言处理[16]、语音识别[17]等领域。在机器翻译的过程中可以明显体现注意力机制的作用。此时注意力机制在翻译的过程中遵循如下步骤：给定一个长度为S的输入句子，通过h1,h2,…,hs表示句子中的单词序列。为了翻译目标句子中的第j个单词，对原始句子中的每个单词生成一个注意力权值αi代表它与目标单词的关联程度，最后计算式（1）中的上下文表征向量c并且用它预测目标单词。

因此本文利用概念上相似的时间注意力机制在不定长序列转换上的成熟应用[18]，使用临床数据集生成可解释的预测模型，基于可解释的层次注意力模型（IHAN），该模型的优势在于：

（1）总体模仿医生如何关注病人的需求和探索病人的生理指标的特殊变化，利用注意力权重分配的不同忽略无意义的指标，其中重点关注疾病异常风险因素的指标。

（2）使用分层注意力机制分离时间和风险因素，使不同检查项享有单独的不定长时序输入序列，更适合临床实际应用的数据结构，能最大限度地还原数据集本身的特征。

（3）在保留RNN预测时序数据能力的同时，通过对注意力权重的分析，更加容易让医生理解不同疾病的关键风险因素，而且对HAN的输出层根据不同患者的静态统计信息合并优化，有效地提高了预测的准确率。

2.2 基于IHAN模型架构

图2 基于输出优化的IHAN网络模型

图2 显示了IHAN的总体架构，模型通过改进层次注意力模型生成不同维度的注意力权重进行结果预测，分别构建基于时序级（时间维度）和元素级（风险因素维度）的层次注意力模型，主要由时序编码器、时序注意力机制、元素编码器、元素注意力机制、预测输出、解释决策六部分构成。已知数据集有N个风险因素si,i∈[1,N]，且包含M个时刻的离散检查变量xi,t,t∈[1,M]，对于K名患者的检查序列IHAN将单个患者Xi,i∈[1,K]按不同风险因素的时间顺序重构成输入序列输出为对应患者Xi是否患病的概率通过Softmax函数后的分类结果Yi∈{0,1}。

对于输入层，给定一个输入数据集S，由于风险因素之间量纲不同，即使相同量纲之间数量级也可能相差较大，例如：白细胞计数测定的正常范围是（3.5～9.5）×109个/L，红细胞计数为（4.0～7.0）×1012个/L，而血红蛋白为（120～165）g/L。因此定义V={v1,1,v1,2,…,v1,m,…,vi,t,…,vn,1,vn,2,…,vn,m}为因素si在p时间窗内的离散值xi,1,xi,2,…,xi,p通过Z-score标准化函数映射至（0，1）范围内的向量集合，其中vi,t表示患者风险因素i在第t时段的时序向量：

2.2.1 基于实时生理指标变化的时序注意力层

时序编码器（time encoder）：对患者任意风险因素i共M时间内的时序向量{vi,1,vi,2,…,vi,t,…,vi,m}，模型首先采用基于LSTM的双向循环神经网络计算患者在对应病情发展过程的隐藏状态hi,t，LSTM架构如图3所示。

时序向量vi,t输入LSTM时，由公式（3）～（8）得出单向时间维度隐藏表征hi,t：

时序注意力机制（time attention）：床旁设备所采集的例如血压、心率等生理指标并非在任意时刻都有重要的作用，甚至大多正常时间采集的时序变量是无意义的。因此引入注意力机制来提取异常的时序信息：对隐藏表征hi,t分配不同的权重αi,t，如果生理指标在一段时间内较为平稳则该权重较小，反之则权重较大。通过权重αi,t与对应hi,t求加权和，形成单项风险因素si的在整个治疗过程中的表征ri：

其中，αi,t为代表风险因素si在时间[1,M]内各时段生理指标的异常程度，即隐藏表征hi,t的权重，计算方法为：

由于公式（11）中hi,t表示正向和逆向的时序隐藏信息，代表了当前时段在过去和未来的特征表达，因此将[1,t-1]的hi,t-1和进行内积计算异常程度得分即可得到当前生理指标与前后的关联度，若某时段生理指标与前后差异较大，则此时为异常时段。最后通过Softmax函数将各时刻异常得分归一化，即可得基于时间维度的权重αi,t。

2.2.2 基于风险因素的元素注意力层

元素编码器（element encoder）。已知对任意风险因素si有其在病情发展变化的表征ri，使用同样的BiLSTM编码方式可以获得其他因素的隐藏表征向量gi。

元素注意力机制（element attention）。为了能在检查过程中正确预警不同疾病的风险因素，再次使用注意力机制并对因素的隐藏表征gi引入对应的关联权重βi，并使用该权重来衡量患者诊疗过程中致病因素的重要性，通过加权和得到患者在疾病发展过程中的表征c：

与时序性权重αi,t计算不同，模型训练基于不同疾病表达的上下文向量uβ来度量各风险因素在病情变化过程中的重要性βi。将每个风险因素表征gi的转换为非线性表达ui：

计算uβ和ui的相似度并使用Softmax函数进行归一化得到βi：uβ∈Rm×n是在神经网络训练过程中形成的表征向量参数，是一种无监督端到端的记忆网络表达形式，可以看作某类疾病的风险因素影响程度高低的分布，通过衡量训练好的uβ和ui的相似程度可以得知哪一个风险因素是引起某类病症的根本因素。该参数在训练中经过反向传播不断更新后迭代生成。

2.2.3 结合患者基本信息的输出模型优化

为了对患者病情发展过程中产生的风险进行预警分类，将表示该患者基本人口统计信息构成的上下文向量d与患者病情变化表达c拼接并通过全连接层分类输出预警结果。W为参数矩阵，选取患者是否患病的概率中较大的作为预测输出yi-pred，采用交叉熵损失作为模型的损失函数进行学习：

2.2.4 解释决策层

1.2节中Lipton将可解释模型特点分为透明性和事后可解释性，研究通过在4.2节实验分析来证明模型的事后可解释性。同时构建中间可解释层，分析患者Xi在治疗过程中权重αi,t、βi和输入V={v1,1,v1,2,…,v1,m,…,vi,t,…,vn,1,vn,2,…,vn,m}变化对患病预测输出Y的影响来说明IHAN的透明性。已知c为患者诊疗过程的表征，由IHAN的相关机制可表示成关于αi,t、βi和V的如下公式：

患者是否患病的概率取决于全连接层之前的各风险因素总体表征：

其中公式（23）可以完全分解为对任意输入vi,t,i∈[1,N],有风险因素si在t时段的输入vi,t对预测结果Y的贡献度

其中经过两次LSTM编码LSTMβ(αi,tLSTMα((vi,t))可作为关于vi,t的非线性变换：

（1）若对元素维度权重βi=0进行擦除，则预先可见公式（24）权重对应的风险因素贡献度为由公式（19）可得∀i∈N,βi＞0，则风险越高的因素所对应的权重βi对预测结果贡献越大。

（2）若对单一风险因素si在任意时段的权重αi,t=0进行擦除：

同理可得该时段在整个治疗过程中贡献度为0。然而任意修改αi,t或输入vi,t，贡献度仍然受制于风险因素的权重βi，这说明了IHAN能够辅助医生挖掘在病情变化过程中的高危因素，降低对非致病因素的关注度，并将注意力集中在治疗患者具有高权重βi对应的致病因素。

3 实验设计

模型在某三甲医院CIS系统产生的数据集进行了测试，该数据集包含6年内的2 198例ICU患者在住院过程中发生急性肾损伤的175 840次数据采集结果。实验将IHAN模型的预测精度与传统计分析和深度学习方法进行了比较，以预测ICU住院患者生成急性肾损伤的诊断。通过对比分析得出，所提模型在准确率上优于传统方法，在运行速度方面具有可接受性能，同时具备良好的可解释性。

3.1 实验数据

急性肾损伤（Acute Kidney Injury，AKI）为临床常见危重症之一，临床上表现为氮质血症、水电解质和酸碱平衡以及全身各系统症状，其发病率一直居高不下，给患者的身体、心理和经济带来沉重的负担。既往相关研究指出，机械通气、器官衰竭、低蛋白血症是急性肾损伤患者死亡的独立危险因素，早期预防、诊断能降低急性肾损伤的病死率，对改善预后有重要的意义。实验中所采用的AKI诊断标准为RIFLE，即血清肌酐（SCr）升高1.5倍，肾小球滤过率（GFR）升高25个百分点，尿量＜0.5 mL/（kg·h）×6 h。

实验采用了某三甲医院CIS系统提供的住院患者生理指标数据集，纳入输入序列的i∈[1,N]风险因素包括血小板计数、血清肌酐等9项，构成患者基本统计信息d的因素包括性别、年龄、是否进行连续性血液净化、基础疾病、戴机时间5项，数据处理过程如图4所示，所有资料均进行统一隐私处理并编码。

图4 基于可解释的HAN流程示意图

3.2 实验环境

实验使用的硬件配置如下：处理器Core i7-6500U@2.50 GHz；独立显卡GeForce GTX Titan 8 GB显存；RAM为16.0 GB；操作系统类型Windows Sever 2012；开发工具python 3.6+TensorFlow+CUDA框架；模型采用GPU运行环境进行训练加速，训练次数设置为200次，学习率初始化为0.1并持续递减训练到损失函数收敛为止。

3.3 基线模型

Logisitc回归（LR）：LR是经典的疾病预测统计分析模型。作为实验对比，设置致病因素和患者基本信息为自变量，住院过程中是否产生AKI为因变量，提取患者入院时的检查结果作为模型输入后回归处理。

随机森林、BP神经网络：研究通过咨询临床医生构建风险因素为叶子结点的随机森林，对比方法采用Cart算法生成回归森林以及设置1 024结点构成的2层BP神经网络。模型输入样本同为患者入院生理指标信息。

CNN：卷积神经网络因其能够从复杂的数据集中提取信息的能力而在医疗影像诊断中得到了应用。基线模型参考CNN对图像的识别原理，根据患者各项风险因素的输入序列设定统一的滑动时间窗，对该时间窗内的一维患者数据进行二维重构成基于时间点采样的多因素线索数据“图像”，采用多尺度卷积的方法提取不同时间、风险因素维度上的疾病表征信息，输出分类结果。

LSTM：长短期记忆神经网络主要用于单变量时序序列的分析预测。基于LSTM的基线模型设计方法如下，通过构造患者在整个住院期间N个风险因素的LSTM预测序列，将每个序列最后一次的输出值作为单层感知机的输入，实时预警患者下一时间段病情变化。

IHAN+LSTM：2.2节公式（3）、（4）、（8）、（9）的RNNα、RNNβ采用LSTM模型。

IHAN+GRU：方法上同样使用公式（3）、（4）、（8）、（9）的RNNα、RNNβ采用GRU模型。

4 实验结果与分析

4.1 性能比较

数据集按0.75∶0.15∶0.1的比例划分为测试集、训练集、验证集并采用交叉折叠进行训练。为了能够预测患者在住院治疗过程中是否发生AKI从而辅助医生及时调整诊疗方案，实验评价引入三个评价指标，准确率（Precision）、召回率（Recall）和训练时间，如公式（27）、（28）所示：

根据表1实验结果，在准确率方面，Logistic回归、随机森林和BP神经网络因其没有考虑到患者在治疗过程中生理指标的渐变信息，无法在长时间住院过程中充分利用检查数据时间状态上的关联性，不具有提前预测的能力，对急重症突变预警能力差。而以CNN和RNN为代表的深度学习模型在准确率上有了较大的提升，相比上述统计模型在准确率上提高了8～10个百分点，这体现了基于深度学习对复杂时序信息的捕捉能力，然而由于患者在住院过程中产生的数据量多，“无意义”的正常数据占比大，导致输入模型数据集噪声大而影响了预测结果的精准度。基于IHAN的层次注意力神经网络解决了上述问题，同时准确率相比之下提升了12～13个百分点。运行效率上，IHAN+LSTM因其计算的复杂性导致训练时间较长，在实验环境下训练时间达到了29.50 min，而LSTM+GRU相对模型较简单，训练时间也达到了25.25 min。

表1 IHAN预测结果

综上所述，IHAN模型与Logistic回归、随机森林、卷积神经网络、LSTM等神经网络相比在预测中表现良好，但是训练时间相对较长，与预计效果基本符合。因此所提模型能够在患者住院过程中一定程度地提前预测可能所伴随的急性肾损伤，提醒医生调整治疗方案，从而达到医疗辅助决策的作用。

4.2 可解释性分析

实验评估了IHAN在预测AKI任务中的事后可解释性，即根据2.2节中各风险因素在不同时段的αi,t、βi的分布修改输入序列vi,t，或直接改变任意αi,t、βi观察y1,y2,…,yt结果的变化，并对训练参数进行可视化。方法是从测试集中选择一名发生疾病的患者，咨询医生及问询诊疗过程并计算输入的各项序列对于诊断预测的贡献值进行比对。图5为冠状动脉粥样硬化性心脏病患者在住院治疗过程中，不同风险因素的注意力权重β随时间变化的分布情况和产生AKI的概率，其中Y轴表示疾病的各项风险因素，X轴表示入院时间和某时刻的患病概率（T0d：47.30%表示在0天时产生AKI的概率为47.30%），Z轴表示不同风险因素随着时间变化时注意力权重β。入院T0d至T2d时间段内各项生理指标权重较为平稳（由于篇幅所限，图中[T0d,T2d]为平稳期，实际为13 d），[T2d,T3.2d]血压（BP）、心率（HR）影响比重逐渐上升，[T3.2d,T3.8d]时刻SCr和GFR紧随升高，并在T3.5d时刻提前预警，T3.8d患者达到AKI的诊断标准。通过医生调阅病程记录得出，[T0d,T2d]为入院手术前准备时期。随后于T2d完成冠状动脉旁路移植术后发生心力衰竭对应[T2d,T3.2d]时段，[T3.2d,T3.8d]即为由心力衰竭产生的AKI症状。

图5 β随时间变化的分布情况和产生AKI的概率

为了探究模型的解释能力，图6～图9显示了IHAN在人为改变输入序列数值以及训练权重参数时，输出结果的变化，X轴表示在治疗过程中的患病概率，Y轴表示疾病的风险因素随时间变化的权重β，图6表示原始结果作为对照组。图7中实验首先在T2d改变SCr和GFR的输入序列为正常均值，相比于原结果βSCr、βGFR降低11～13个百分点，T3.8d时刻输出产生疾病的可能性为58.32%（Average），这说明了Attention的权重高低与其对应位置信息的重要程度正相关。图8令βSCr=βGFR=0则T3.8d结果为40.19%（Reset 0），患病概率相对于对照组可能性降低45.77个百分点。这说明SCr和GFR是AKI产生的关键因素，符合医学对该疾病诊断的定义，同时可得高权重的输入单元对输出结果有决定性作用。图9中实验对输入序列进行翻转（Reverse），结果显示在开始阶段患病几率高达86.33%，SCr和GFR仍然对输出结果影响较大，这是由于逆序输入使SCr和GFR直接导致了疾病的产生，而非其他因素渐进变化引起结果的改变，同时证明了IHAN相对于易解释模型（LR/DT逆序结果不变）时间序列处理能力。

图7 IHAN预测结果（Average：58.32%）

图8 IHAN预测结果（Reset0：40.19%）

图9 IHAN预测结果（Reverse：86.33%）

5 结语

本文提出了一种基于可解释的层次注意力神经网络算法用于急重症突变预测，利用分层注意力将大量床旁医学数据划分成时间和风险因素两个维度，采用擦除重置的方法对算法的可解释性进行建模。该模型在保留RNN预测时序数据能力的同时，更加容易让医生理解不同疾病在不同时间致病的关键风险因素，而且对HAN的输出层根据不同患者的静态统计信息合并优化，有效地提高了预测的准确率。实验在大量数据集上进行了对比实验，并对模型的可解释性进行验证，结果表明注意力权重能够代表患者在医疗过程中的致病因素，较好地起到临床辅助决策的作用，并为实际临床技术转化具有重要的应用意义。在以后的工作中，将在不同病种的数据集上进行评估，添加例如非结构化的病历文本等不同类型的实验数据进一步优化模型结构，进行更加高效的预测。