机器学习在治疗药物监测与个体化用药中的应用 Δ

詹世鹏，马攀，刘芳 （陆军军医大学第一附属医院药剂科，重庆 400038）

国务院于2017年7月20日发布的《新一代人工智能发展规划》，明确将人工智能（artificial intelligence，AI）作为未来国家重要的发展战略。近年来，AI不断得到各领域的重视，取得了令人瞩目的发展。机器学习是AI的一种实现方式，也是一门专注于研究计算机如何从数据中学习的科学学科[1]，通过强大的计算算法，可以实现对数据高效、准确地分析和预测[2]。医疗大数据给机器学习提供了海量的数据来源，近年来，机器学习已在医疗监护[3]、影像判断[4]、卫生决策[5]等领域发挥了重要作用。在药学领域，机器学习在药物研发阶段的应用已趋于成熟[6]，但在治疗药物监测和个体化用药领域仍处于上升阶段。

个体化用药旨在为患者“量体裁药”，提供精准化药学服务。治疗药物监测为个体化用药提供了重要的技术支撑。既往基于治疗药物监测的个体化用药模型构建多采用群体药动学模型，存在建模困难、影响因素考虑较少且准确度不高的局限性。机器学习可通过对数据的多层次挖掘，筛选出多个影响因素，并将其一并纳入分析，从而构建出实用性更强、准确度更高的个体化用药模型[7—8]。因此，机器学习与个体化用药的结合有助于临床更好地实现精准用药。本研究拟通过查阅国内外相关文献，对机器学习在治疗药物监测与个体化用药中的应用进行综述，以期为临床精准用药提供理论依据和技术支撑。

1 机器学习概况

机器学习的本质是通过算法使计算机从大量的数据中学习规律并形成相应的模型，并对该模型进行验证和不断优化，其目标是对新的样本作出识别和预测[9]。因此，机器学习的能力是训练出来的，不是明确地用程序编写出来的[10]。机器学习根据学习方式可以分为监督式学习、半监督式学习、非监督式学习和强化学习四大类[11]。

1.1 监督式学习

在监督式学习中，每组训练数据都有一个明确的目标变量，这个变量由已知的一系列预示变量预测而来。监督式学习主要用于解决分类及回归问题，常见的基于监督式学习的算法包括——（1）回归算法：采用对误差的衡量来探索变量之间的关系，代表算法有线性回归、逻辑回归等。（2）决策树算法：根据数据的属性采用树状结构建立决策模型，代表算法有分类回归树、多元自适应回归样条等。（3）贝叶斯算法：基于贝叶斯定理的一类算法，代表算法有朴素贝叶斯、贝叶斯网络等。（4）基于核的算法：将输入数据映射到高维空间中，并在高维空间学习得到对应的线性模型，使模型具有极强的非线性表达能力，代表算法有支持向量机、径向基函数等。（5）人工神经网络：模拟生物神经网络，通过大量节点互相连接构成网络，代表算法有感知器神经网络、反向传递等。

1.2 半监督式学习

在半监督式学习中，输入的数据部分被标识，部分未被标识，这种学习模型可以用来预测，但是模型首先需要学习数据的内在结构以便合理地组织数据来进行预测。半监督式学习的算法大多是常用监督式学习算法的延伸，即先对未标识数据进行建模，在此基础上再对标识的数据进行预测，如图论推理算法或者拉普拉斯支持向量机等。

1.3 非监督式学习

在非监督式学习中，数据并不被特别标识，学习的目的是推断出数据的一些内在结构。该算法主要用于聚类和降维，其中用于聚类的主要有K-均值算法、分层聚类等，用于降维的主要有主成分分析、偏最小二乘回归等。

1.4 强化学习

强化学习的工作机制是将机器放在一个能让其通过反复试错来训练自己的环境中，从过去的经验中进行学习，通过学习策略达成回报最大化。其与监督式学习、非监督式学习等的最大不同之处在于，其是通过与环境之间的交互和反馈来学习的，例如马尔可夫模型。

1.5 其他

除了以上单个的算法外，目前集成学习算法也在逐渐流行。集成学习算法本身不算一种单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务，集各种算法的优点于一体，能在机器学习算法中拥有较高的准确率，但同时训练过程会相对复杂、效率较低。目前常见的集成学习算法主要有2种：基于Bagging的算法（如随机森林）和基于Boosting的算法[如梯度提升树、自适应增强和极致梯度提升（eXtreme Gradient Boosting，XGBoost）]。

2 机器学习在免疫抑制剂个体化给药中的应用

临床常用的免疫抑制剂有他克莫司、环孢素A、霉酚酸等，是移植术后抗排斥反应的基础用药。由于这类药物治疗窗窄，药动学存在明显的个体内及个体之间的差异，常需通过监测血药浓度以优化给药剂量，确保药物处于安全有效的治疗范围。目前已有较多基于群体药动学的免疫抑制剂个体化用药模型，但各模型间纳入的影响因素差异较大，导致模型的外推性和适用性不强[12—14]。机器学习可将所有可能的影响因素纳入分析，外推性和实用性更强。

2.1 他克莫司

他克莫司是目前实体器官移植（如肝移植、肾移植）术后抗排斥反应的一线用药。国内学者任斌教授团队通过人工神经网络模型预测了肾移植[15]和肝移植患者[7—8，16]体内的他克莫司血药浓度，进行了个体化给药研究。该团队以患者性别、年龄、体质量、身高、术后时间、他克莫司每日剂量或累积剂量、免疫抑制方案（二联或三联）、他克莫司浓度测定前3 d（或测定前4 d）各项实验室检查结果以及合并用药等为输入变量，采用神经网络方法建模，利用遗传算法配合动量法优化网络参数，最终建立基于人工神经网络的他克莫司血药浓度预测模型，预测他克莫司血药浓度。以平均预测误差和平均绝对误差为参数进行评估，同时与多元线性回归和群体药动学常用的非线性混合效应模型进行对比，结果发现，其所建立的人工神经网络模型在预测的相关性、准确性和精密度方面都要更优。Chen等[17]也采用人工神经网络模型，以性别、年龄、体质量、受者和供者的巨细胞病毒状态、移植时长、实验室检查指标为变量，预测了美国肝移植患者他克莫司的血药浓度。结果显示，他克莫司模型预测值与实测值无明显差异[（12.05±2.67）ng/mL vs.（12.14±2.64）ng/mL，P＝0.80]，平均绝对误差为1.74 ng/mL。这表明，使用人工神经网络模型可精确预测肝移植患者的他克莫司血药浓度，指导移植患者精准化个体化用药。Thishya等[18]也采用人工神经网络模型预测了他克莫司在肾移植患者中的生物利用度，并尝试解释ABCB1和CYP3A5基因多态性对他克莫司生物利用度的影响。结果发现，CYP3A5*3等位基因和ABCB1基因与他克莫司的生物利用度高度相关；ABCB1联合CYP3A5*3基因对预测他克莫司生物利用度具有更好的效果，有利于改善治疗效果并预防毒性。

除人工神经网络模型外，其他机器学习模型也在他克莫司个体化用药中有所应用。Cai等[19]收集了182例肾移植术后至少3个月的患者数据，纳入了包括内源性CYP3A4表型、CYP3A5基因型和一些常规的实验室检查数据以及基本人口信息学资料，通过建立随机森林模型实现了对肾移植患者他克莫司血药浓度和剂量的精准预测。Seeling等[20]应用回归树模型预测了肾移植患者他克莫司的血药浓度水平，并将该模型转化为知识库，直接整合应用于维也纳总医院的信息系统中。Tang等[21]比较了多元线性回归和其他8种机器学习算法（人工神经网络、多元自适应回归、回归树、增长回归树、支持向量回归、随机森林回归、套索回归和贝叶斯加性回归树）在预测他克莫司稳定剂量方面的性能，以平均绝对误差为指标进行判断。结果发现，8种机器学习算法构建的模型结果相似，其中回归树模型在训练集和验证集中均获得了最优的预测性能，优于传统多元线性回归模型。Woillard等[22]采用4种机器学习模型对他克莫司常规制剂以及缓释制剂的药-时曲线下面积和推荐给药剂量进行拟合，以相对平均误差和均方根误差为指标进行评价，并与群体药动学模型进行比较。结果发现，基于3个浓度点的XGBoost算法得到的拟合结果最优，但目前这种学习算法需要大样本量的原始数据，具有局限性。针对这一局限性，该团队随后利用文献报道的群体药动学数据，采用蒙特卡洛法拟合扩大样本量后，仍以基于3个浓度点的XGBoost算法建模。结果发现，该模型可用于估计他克莫司的药-时曲线下面积，从而扩展了机器学习的外延性[23]。

2.2 环孢素

环孢素属于钙调磷酸酶类抑制剂，常用于预防实体器官移植受者的排斥反应，也用于治疗各种免疫介导性疾病。国内学者余俊先等[24—26]利用人工神经网络建立了肾移植患者环孢素的血药浓度预测模型与个体化给药模型，所建模型预测误差率小于20%，可有助于临床根据预测模型调整剂量。徐楚鸿等[27]将人工神经网络用于预测肾移植患者术后环孢素的血药浓度，其收集了60例肾移植患者环孢素的血药浓度，将身高、体质量、肝肾功等13项指标采用反向传播算法构建人工神经网络模型，同时采用多元线性回归法进行预测，并比较二者的预测结果。结果显示，人工神经网络模型预测值与实测值之间相关系数r为0.931 4，优于多元线性回归（r＝0.714 5），提示人工神经网络模型优于传统多元线性回归模型，可用于环孢素的血药浓度预测。张靖悦等[28]建立了基于主成分分析-多项式曲线回归的人全血中环孢素谷浓度的预测模型。该研究收集了37例确诊为免疫相关性全血细胞减少症并使用环孢素治疗的患者，首先采用主成分分析法对33个生理生化指标降维简化，确定了10个主成分，再以多元线性回归模型和多项式曲线回归模型拟合建模。结果显示，主成分分析-多项式曲线回归模型的拟合优度为1.000，均方误差为3×e-15，表明该模型拟合优度高、均方误差较小，适用于患者环孢素谷浓度的预测。

国外不少学者也通过机器学习建立了环孢素浓度预测或剂量预测模型。Camps-Valls等[29]将神经网络模型用于预测环孢素的个体化给药剂量。该研究共纳入32例患者，随机分为训练集（n＝22）和测试集（n＝10），将患者的年龄、体质量、性别、移植时长、给药剂量、血药浓度和肌酐水平等指标作为变量，通过建立两层链式模型，先预测环孢素的血药浓度，再进一步预测环孢素的给药剂量，并采用3种神经网络模型以及集成模型进行预测和验证，并与传统的时间序列常用模型——自回归移动平均模型进行比较。结果发现，神经网络模型的预测结果比传统模型的结果精确；而3种神经网络模型结果间差异无统计学意义，且与集成模型结果的差异也无统计学意义。这提示神经网络可用于环孢素的血药浓度和给药剂量预测，从而辅助指导临床用药。Hoda等[30]采用进化算法预测了环孢素的全血谷浓度，其将101名接收心脏移植并使用环孢素治疗的患者，随机分为训练集（n＝64）和测试集（n＝37），将年龄、性别、体质量、身体质量指数、住院时间、移植术后时长、免疫抑制方案、血清肌酐、胆红素水平、环孢素日剂量等15个数字变量和50个符号变量纳入研究，随后将预测浓度与实测浓度进行比较。结果显示，训练集和测试集的平均百分误差分别为（7.1±5.4）%、（8.0±6.7）%，预测浓度和实测浓度的相关系数分别为0.93、0.85，预测准确率为80%～90%。通过该项技术，有望实现不用采集患者血样即可准确预测患者的环孢素血药浓度，从而降低卫生系统成本。Leclerc等[31]以一种树增强朴素贝叶斯网络模型，预测了儿科造血干细胞移植术后环孢素从静脉注射切换到口服给药时的给药剂量。该学者收集了某中心10年间的儿科造血干细胞移植患者数据，将前8年的157例患者数据作为训练集，后2年的54例患者数据作为测试集，将多个变量纳入建模，最终生成了一种在线决策支持工具，通过在页面端口输入各变量值，即可实现对静脉注射转换为口服给药时的第一剂环孢素剂量的预测。

2.3 霉酚酸

霉酚酸是一种淋巴细胞增殖的强效抑制剂，有研究发现，霉酚酸的谷浓度与疗效及不良反应的相关性不强，而体内暴露量的药-时曲线下面积与疗效及不良反应有较强的相关性。目前临床对于霉酚酸的监测，多采用有限采样法，即选择3～4个采样点，以多元线性回归构建公式推算霉酚酸的体内暴露量。但目前国内外暂无统一的公式，不同公式计算得到的曲线下面积不同，使得基于曲线下面积的疗效与安全性评价缺乏室间可比性。任斌教授团队采用遗传算法配合动量法优化网络参数，建立了人工神经网络，以0、0.5、2 h的血药浓度数据预测0～12 h的曲线下面积，结果显示，该人工神经网络模型的平均预测误差与平均绝对误差分别为-1.53%、9.12%，且准确度和精密度均优于多元线性回归[32]。此外，该团队还通过人工神经网络以服药前及服用霉酚酸制剂0.5、2 h后的血药浓度数据预测霉酚酸的药动学。结果发现，人工神经网络平均预测误差和平均绝对误差分别为（0.39±1.24）、（0.90±0.94） μg/mL，以霉酚酸预测浓度计算的药动学参数与实际浓度计算的药动学参数差异无统计学意义（P＞0.05）[33]。Woillard等[34]利用6 884例患者的12 877个霉酚酸药-时曲线下面积数据，开发了基于2个或3个浓度的机器学习模型，将75%的数据作为训练集，25%的数据作为测试集。结果显示，该研究采用XGBoost算法建立的基于3个血药浓度点的霉酚酸药-时曲线下面积估算模型，比传统群体药动学模型更优。

3 机器学习在抗感染药物个体化给药中的应用

治疗药物监测对治疗指数小、毒性大且个体差异大的抗菌药物较为重要，对提高疗效、降低毒副作用具有重要意义。随着基于药动学/药效学模型的抗感染药物用药管理，越来越多的抗感染药物被纳入治疗药物常规监测项目中。当下，将机器学习与抗感染药物个体化用药相结合已成为研究热点，目前开展研究较多的主要是万古霉素。

万古霉素属于糖肽类抗生素，广泛用于治疗耐甲氧西林金黄色葡萄球菌和其他革兰氏阳性菌感染。但万古霉素治疗窗窄，较易发生肾损伤等不良反应，因此有必要对其进行血药浓度监测以降低不良反应的发生率。Huang等[35]采用集成算法对儿科患者应用万古霉素的谷浓度进行了预测，其纳入了407例使用万古霉素并开展了治疗药物监测的儿童患者，以万古霉素谷浓度为目标变量，对8种不同算法的预测性能进行了比较，最终选择R2值较高的5种算法构建集成模型。结果显示，与经典的群体药动学预测模型相比，该集成模型拟合度及准确度均更高。随后，该团队又纳入184例患者数据，采用XGBoost算法，对患者人口学信息、万古霉素相关信息、实验室检查指标等共计29个变量进行了拟合，并采用SHAP（Shapley Additive exPlanations）方法对各变量的影响进行直观的展示和解释，以平均绝对误差、均方误差和均方根误差为指标进行模型评价。结果显示，XGBoost算法拟合得到的模型R2为67.5%，平均绝对误差、均方误差和均方根误差分别为0.212、0.097、0.310。该研究进一步采用SHAP方法解释了前10个重要的影响变量，有望将这种方法应用于临床实践[36]。一项日本的研究使用机器学习和决策树分析构建了万古霉素初始剂量设置的最佳算法[37]。该研究纳入654例输注万古霉素并接受治疗药物监测的患者，分为训练集（n＝496）和测试集（n＝158）。训练集采用分类与回归树算法进行决策树分析，构建万古霉素初始剂量设置的算法（即决策树算法）；测试集比较了决策树算法和3种常规剂量设置方法分别达到万古霉素治疗范围的百分率。结果显示，与传统的剂量设置方法相比，决策树算法更优。

4 机器学习在抗癫痫药物个体化给药中的应用

目前癫痫治疗以抗癫痫药物为主，常用的抗癫痫药物如丙戊酸、卡马西平、苯妥英钠等都具有个体差异大、治疗周期相对较长的特点[38]。按照临床治疗指南的建议，需对这类药物进行药物浓度监测，以提高疗效、降低不良反应[39]。

4.1 丙戊酸

本课题组曾采用支持向量机技术对丙戊酸的血药浓度进行预测[40]。本课题组收集了206例患者共计271例样本，分为训练集（n＝190）和测试集（n＝81），将血药浓度和16个影响血药浓度的因素一并纳入考量，先基于支持向量机技术对训练集进行训练并构建预测模型，再用外部验证法将81个测试样本的预测浓度值与实测值进行对比。结果显示，所建立的血药浓度预测模型取得了良好的预测效果，预测值与实测值的相对误差小于20%的样本比例达85.18%，平均绝对误差为9.98 mg/L，预测值与实测值的相关系数为0.788。这提示该模型准确度较好、相对误差较小，可为临床制定个体化给药方案提供参考。

4.2 拉莫三嗪

拉莫三嗪是第二代抗癫痫药物，其药动学变异大，导致患者用药个体差异大，因此有必要进行血药浓度监测和个体化用药。Zhu等[41]采用机器学习算法预测了拉莫三嗪的稳态谷浓度与剂量比值，其纳入了1 141个血药浓度监测点，将其中80%数据作为训练集用于模型构建，剩余20%数据作为测试集用于模型测试，以平均绝对误差为评价指标，对15个模型进行了10倍交叉验证的优化和评估。结果显示，非线性模型优于线性模型；非线性模型中树外回归算法性能良好、拟合模型最优，且经验证，其可准确预测拉莫三嗪的稳态谷浓度与剂量比值。

5 不足与展望

近年来，面对临床大样本、多影响因素、非线性关联的诊疗数据，相比于传统的基于群体药动学的方法，机器学习算法在处理高维数据方面展现出了强大的优势，现已在免疫抑制剂、抗感染药物和抗癫痫药物等血药浓度预测和给药剂量预测领域取得了显著的成绩，在一定程度上提高了临床个体化用药水平，但仍存在一些局限性。

首先，机器学习构建的模型不易解读。传统的统计学方法或基于群体药动学构建的模型，对于输入值和处理过程都有相对明确的关系。但目前绝大多数的机器学习算法具有自主学习能力，没有明确的处理过程，常常被认为是“暗箱”，从而造成结果不易解释和难以理解。现有研究应用SHAP方法有助于模型结果的解释，后续可利用人工智能技术将机器学习算法的实现过程更加“透明化”。

其次，机器学习需要的数据量大，其本质和核心是通过算法使计算机从大量的数据中学习规律并形成相应的模型，进而对该模型进行验证和不断优化。因此，机器学习得到的预测模型需要不断使用大量数据进行训练保证其有效。但目前相关研究所用的样本量都不算大，且现有的医疗环境在数据共享方面还存在较大壁垒，导致预测模型的准确率还有待进一步提高。因此，今后的临床数据应尽量做到规范化、结构化，使诊疗大数据能真正地被应用于临床AI分析。

再次，机器学习对计算机知识背景要求较高，但目前多数医务工作者对该领域了解不多，使得其应用受限；而拥有计算机知识背景的人员可能对医学知识不太了解，导致其所建模型和预测结果让临床人员难以理解。随着机器学习的快速发展，学科交叉的不断深入，今后可推荐医务工作者接受机器学习相关训练，从而能更好地分析、整合信息并在机器学习的辅助下作出更为科学的临床决策。

总之，基于治疗药物监测的个体化治疗是临床合理用药的重要环节，机器学习相比传统方法能够更精准地预测血药浓度和给药剂量，提高临床精准用药水平，减少不良反应的发生。相信在未来的治疗药物监测和个体化用药实践中，机器学习将发挥更大的作用，实现个体化治疗决策的智能化。