真实世界电子病历数据评价研究综述*

张丽鑫 孙海霞 唐明坤 钱 庆

(中国医学科学院/北京协和医学院医学信息研究所 北京 100020)

1 引言

真实世界数据(Real World Data，RWD)是指研究者通过真实世界研究获取的数据，是从传统临床试验以外其他来源定期获取的患者健康状态或与健康服务相关的数据[1]。RWD来源范围广泛，既可以是研究数据也可以是非研究数据，主要包括在真实医疗环境下诊疗过程的记录数据以及观察性研究数据等。电子病历(Electronic Medical Record，EMR)即计算机化的病案系统或基于计算机的患者记录，美国国立医学研究所将其定义为：基于一个特定系统的电子化患者记录，能够提供用户访问完整准确的数据、警示、提示和临床决策支持系统的功能[2-3]。EMR作为个人健康记录和健康档案的电子化载体成为RWD的重要组成部分。近年来我国陆续发布《国务院办公厅关于促进和规范健康医疗大数据应用发展的指导意见》《“健康中国 2030”规划纲要》等文件[4-5]，将以EMR数据为代表的医疗大数据作为我国重要战略资源，积极布局EMR数据产业，助力我国医疗健康领域发展。EMR数据作为医疗数据的重要组成部分，其质量对RWD进一步发展成为真实世界研究证据至关重要，可以说没有高质量、适用的EMR数据支持，真实世界研究便难以推进和深入。因此探索真实世界EMR数据评价方法和体系对于科学研究和数据价值挖掘具有重要意义。张强、邵明义和刘奕兵等[6]采用倾向性评分法和工具变量法评价异质性高、分散性强的原发性肝癌真实世界中医临床数据；袁莎和沈丽宁[7]依据原始质量、过程质量、结果质量3个维度进行指标层次分解，形成医疗数据质量评价指标体系。目前针对医疗数据评价方法研究较多，但是针对EMR数据评价的研究较少且不够深入。调研发现由于研究侧重不同，与EMR数据评价相关的内容分散在不同研究和政策规范中，不利于梳理EMR数据评价思路。为此本文将从评价主体、评价应用场景、评价依据和评价方法4方面对已有研究成果进行综述，以期为进一步探索EMR数据科学评价体系提供参考。

2 评价主体研究

2.1 总体情况

电子病历数据评价主体是指谁来评价电子病历数据。从已有文献和法律规范分析结果来看，EMR数据评价主体主要有政府相关管理部门、EMR数据拥有者[8]、EMR数据使用者、业内学者专家等。总的来看评价主体逐渐向多元化方向发展，弥补了单一评价主体的弊端，有利于探索科学的评价方式，但是目前缺乏从患者主体角度进行评价的研究。在评价过程中如果能将患者需求与实际应用相结合将有益于优化评价流程、提高EMR数据使用率。

2.2 国内评价主体构成

政府相关管理部门包括国家药审中心、医疗器械技术评审中心、国家卫健委统计信息中心等，评价目标在于规范EMR数据以及基于EMR数据开发的产品质量规范和监督管理，促进政策实施和落地。国家有关部门为规范和引导EMR数据评价工作发布了一系列文件，如2021年《国家卫生健康委医院管理研究所关于印发电子病历系统应用水平分级评价工作规程和专家管理办法的通知》和2018年《关于印发电子病历系统应用水平分级评价管理办法(试行)及评价标准(试行)的通知》明确要求由国家卫健委负责管理全国EMR系统评价工作，具体工作由国家卫健委医院管理研究所承担[9-10]。另外从EMR数据拥有者和使用者角度进行评价，可以更好地反映数据使用情况和实际需求。通常认为EMR数据为患者和医疗机构共同拥有[11]，医疗机构通常需要对EMR数据进行合规性和相关性评价，以“评”促进电子病历系统建设。EMR数据使用者包括科研机构、医疗相关智能产品开发商，如医院信息系统(Hospital Information System，HIS)开发商、高校等，侧重EMR数据质量评价，挖掘数据价值。业内专家是EMR数据评价研究的重要主体，包括以健全法律法规体系为导向的政策研究专家、以促进现代医疗领域信息化和智能化发展为目标的医疗信息化专家、以规范医院医疗活动和提高医院运行效率为重点的医院管理研究专家[7]等。业内专家评价重点在于促进EMR数据应用，探索不同场景科学评价和管理方法。

2.3 国外评价主体构成

国外评价主体同样包括医疗机构、科研机构、数据使用企业和业内学者专家等，但存在差异。以美国为例，其政府相关部门评价主体主要是卫生部医疗保险和医疗补助服务中心(Centers for Medicare and Medicaid Services, CMS)[12]，同时第3方机构参与评价的场景较多。此外美国医院信息管理协会主导了电子健康记录应用推进刺激计划等一系列促进EMR数据评价的措施[13]。国外评价主体较国内更加多元，各主体参与度和配合程度较高，为构建成熟的评价体系奠定了良好基础。

3 评价应用场景研究

3.1 定义及研究价值

EMR数据评价应用场景是指需要EMR数据评价活动参与的场景。EMR包含患者病程记录、检查检验结果、医嘱、手术记录、护理记录等诊断治疗的原始数据[14]，是临床就诊过程中最为完整且详细的临床资源[15]，因此应用范围十分广泛。应用场景分析有助于明确电子病历数据评价的具体需求和目标，以特定场景需求为导向，构建科学的EMR数据评价指标体系。随着信息时代的发展，EMR数据评价应用场景由传统的与医疗相关场景延伸到应用EMR数据的产品管理和科学研究等方面，丰富的应用场景同时突显出EMR数据评价的重要性。但是目前的评价体系存在通用性，缺乏满足不同场景特殊需求的评价方法。

3.2 研究现状

一是面向科学研究的EMR数据评价。为提高应用效率，科研工作者通常会对EMR数据结构、质量、应用价值等方面进行评估。如Hemingway H、Asselbergs F W和Danesh J等[16]通过评价数据质量、结构、可扩展性以及数据科学劳动力能力等方面内容后，提出EMR数据用于早期和晚期转化心血管研究的挑战。二是对基于EMR数据开发的人工智能产品进行审评审批。肺结节筛查、医学影像和疾病风险预测等基于EMR数据开发的人工智能产品在审批和管理时需要严格评价训练集、测试集等数据集的完整性、代表性、准确性等。王浩、孟祥峰和王权等[17]在探索人工智能医疗器械评价方法时，强调从数据收集、标注、归档等全流程评价数据集的真实性、完整性、可用性、可追溯性等。三是面向医院管理的EMR数据评价。在医院管理中对EMR数据进行评价有助于提升诊疗效率和水平。沈美玲、谢小朋和李建云等[18]将策划-实施-检查-改进(Plan-Do-Check-Action，PDCA)循环质量控制机制应用于心内科电子护理病历质量管理活动后，通过对照组和实施组的EMR数据评价结果对比，提升了EMR数据管理质量。此外EMR数据评价在合理用药系统升级建设、医疗质量管理效果提升等方面均得到应用[12-13]。四是面向医疗数据治理的EMR数据评价。EMR数据评价将促进医疗数据共享和使用，从而规范医疗数据治理。阮彤、邱加辉和张知行等[19]基于EMR数据的元数据和主数据标准规范提出数据治理评估基本框架，以评估推动高质量医疗大数据智能分析中的数据建设。

4 评价内容研究

4.1 相关标准规范

数据质量评价是发现数据质量问题的有效途径，而不同标准规范面向不同应用场景的评价侧重点不同。通过对含有EMR数据评价内容的相关政策进行梳理，选用官方正式文件(政府发布文件以.gov.cn结尾为准)，从每个文件的核心评价内容中对EMR数据的规范出发，总结已发布标准规范对评价体系的要求，从而为指标体系构建提供相应政策依据，见表1。《用于产生真实世界证据的真实世界数据指导原则(试行)》和《真实世界数据用于医疗器械临床评价技术指导原则(征求意见稿)》侧重于用于产生真实世界证据的EMR数据评价，指出RWD是产生真实世界证据的基础，因此要求用于产生真实世界证据的EMR数据需基于特定研究目的和监管用途，首先进行适用性评价，主要评价内容为RWD相关性和可靠性，将从可及性、规范性、完备性、相关性、可靠性和数据治理机制等维度分阶段依次进行，以最终评价结果为导向进行数据治理。《深度学习辅助决策医疗器械软件审评要点》和《人工智能医疗器械质量要求和评价第2部分：数据集通用要求(征求意见稿)》中的评审和评价对象是基于EMR数据开发的人工智能医疗产品，其中基于EMR数据开发的决策支持系统等人工智能产品占据较大份额，成为审评审批重点。政策明确提出重点考虑数据采集、标注等流程合理性，数据质量评价的测度包括完整性、唯一性、时效性、依从性等指标，同时进行包括效率、精度、可追溯性和可移植性等指标在内的数据质量符合性评价。《医院信息互联互通标准化成熟度测评方案》和《中医住院电子病历数据质量控制标准》中，EMR数据评价在医院管理中的应用可以达到以“评”促“建”的目标，促进医院信息系统和工作站更新。《医院信息互联互通标准化成熟度测评方案》由国家卫健委统计信息中心发布，旨在通过数据结构规范性、内容可及性和共享性等评价来促进医院互联互通信息化。在中医药领域，中国中医药信息学会颁布的《中医住院电子病历数据质量控制标准》重视对数据完整性、正确率等指标的评价。

表1 国内外部分EMR数据评价相关标准规范

4.2 维度与指标研究

4.2.1 概述 本研究基于已有文献、法律法规及标准的分析，尝试归纳EMR数据评价两方面依据：评价指标和评价标准规范，两者共同构成考量EMR数据评价研究的关键要素。由于目前研究涵盖EMR数据众多方面，针对不同方面的评价指标有所不同，因此通过梳理文献和规范标准，从数据格式、数据内容、可利用性、安全和隐私以及其他几个维度选取部分具有共性的指标进行归纳和总结，见表2。

表2 EMR数据评价维度及主要评价指标

4.2.2 数据格式 常用评价指标有规范性、多样性和可移植性等。规范性是指数据格式是否满足相关标准和法律法规政策要求；多样性是指能否满足门(急)诊报告、影像报告、心电图等多种数据形态的格式要求；可移植性是指数据格式能否满足其交换、聚合、处理和存储等活动需求，从而衡量数据从某一环境到另一环境移植的难易程度。Kharrazi H、Gonzalez C P和Lowe K B等[20]通过评价已有数据格式的成熟度预测未来功能成熟度，林帅、林红和饶春梅等[21]建设护理临床决策支持系统，进行EMR数据格式评价和结构化工作。

4.2.3 数据内容 内容评价是EMR数据评价的核心，常用指标包括一致性、完备性、准确性等。一致性是指相同来源EMR数据之间的相关性，如同一数据元在数据集生命期不同阶段应保持一致；完备性是指数据应包含入院、出院、诊疗等完整信息，避免信息空白、遗漏或丢失；准确性指数据内容和元数据是真实、可信的。熊兴江[22]在构建医疗大数据质量评价指标体系时运用相关性、准确性和可靠性、及时性和准时性、一致性和可比性、可获得性和可解释性作为2级指标进行质量评价。

4.2.4 可利用性 包括可比性、可重用性、可获得性和互操作性等指标[23-24]。可比性是指来自不同数据源数据应可比较，同一数据源的不同生命期数据应可比较；可重用性是指能够实现数据重复利用和加工；可获得性要求EMR数据以便于正确解释和有比较意义的形式进行有效传播；互操作性是指不同角色、部门、计算机系统、网络等一起工作并共享数据。有学者[25]在挖掘关联数据应用价值时，利用可比性、一致性等指标进行评价。王雯璟[26]将可重用性、可复制性等应用于中医EMR数据的应用符合性评价。

4.2.5 安全与隐私 可追溯性、保密性和隐私性是评价EMR数据安全与隐私常用指标。可追溯性是保证数据访问踪迹和变更踪迹的可审计性；保密性明确信息安全策略，建立EMR数据安全保护机制；隐私性是指维护患者隐私信息安全。Chen H、Hailey D和Wang N等[27]在进行公共卫生数据评价时提出建立数据可追溯机制，在使用、收集数据等活动中保障数据安全和患者隐私。

4.2.6 其他 除以上指标外有学者提出客观性、可理解性、及时性等指标来评价用于科研活动的临床数据[28]。客观性是指EMR数据所记录内容真实、严谨，无偏离事实的主观描述和评议；依从性要求数据格式、脱敏和加密等符合相关标准规范、专家共识和其他参考文献；及时性要求对已经发生的EMR数据活动及时进行确认、记录和报告，不得提前或延后。

5 评价方法研究

5.1 总体情况

目前EMR数据评价方法逐渐增多，定量评价方法的良好实践弥补了以往定性评价缺乏客观性和准确性的不足，有利于探索科学的EMR数据评价体系。但是目前定量评价方法研究较少，已有文献多以定性评价方法为主。EMR数据评价方法按类别可分为定性评价、定量评价以及定性与定量评价相结合3种。

5.2 定性评价

定性评价是指在EMR数据评价过程中不采用数学方法，经过观察、分析、归纳与描述后，利用相关知识、经验和判断最终得到评价结果的方式。定性评价常采取的步骤包括：首先运用文献调研法选取理论模型、筛选出指标；其次运用德尔菲法和层次分析法构建并改进指标体系；最后以实证分析验证指标体系有效性。如袁莎和沈丽宁[7]在医疗数据质量评价指标体系研究中，依据“原始质量-过程质量-结果质量”模型，构建包含数据源规范性、数据采集实时性及准确性、数据定义一致性、数据分析效率、数据结果可理解性和数据价值等16个2级指标、若干3级指标的定性评价指标体系，以此指标体系作为定性评价工具，以问卷形式分发给医院和研究机构相关人员，问卷回收统计后完成EMR数据评价。

5.3 定量分析

定量分析法是指采用数学方法收集和处理数据资料，对EMR数据做出定量结果的价值判断。目前常用的医疗数据定量分析典型方法有统计分析法和本体法。统计分析法即通过一定统计指标计算得到数据质量结果。如卜擎燕[33]以临床研究数据为评价对象，提出计算EMR数据差错率和残差率统计指标的方法。差错率是指检查到的错误数除以检查字段总数，通常表示为每10 000字段多少个错误，是最有效、常用的质量评价指标；残差率可用于分析现有数据与同源数据库数据核对的差错数，反映数据结果的可靠程度。本体法是指首先构建基于数据质量的知识本体，其次基于本体应用相关算法计算可用性、完整性和准确性等指标[34]。

5.4 定性与定量评价相结合

为充分结合定性与定量评价优势，有学者尝试将二者结合应用，通过定量评价结果修正和消除定性评价中的主观性。例如Johnson S G团队基于本体评估过程评价EMR数据，研究使用数据质量本体，该本体引用独立的数据质量、领域和任务本体并根据相应约束比例计算度量指标，这些数量表明数据符合域的程度以及其适合任务的程度。最后将结果与定性指标结果相结合，实现自动化数据质量评估活动[35-36]。该研究为探索可重复、高效率的EMR数据评价方法提供良好借鉴。

6 结论

目前国内外学者在以EMR为核心的医疗数据评价方面进行了多角度研究，多侧重于评价指标体系构建，但是暂未形成系统的量化指标体系，尚未区分在特定功能和用途场景下的评价特点，针对具体应用场景需求的EMR数据适用性量化评价研究较少，同时已有政策较为泛化和宏观，可操作性不足，指标体系内容宽泛，未形成严密的EMR数据评价体系。未来应在以下几方面强化研究：一是构建多主体、多场景评价体系，关注具体场景评价需求。如在人工智能医疗软件审评审批场景中进行EMR数据适用性评价，需了解此类产品对EMR数据的需求，以探索适用性评价的量化指标体系。二是加强EMR数据评价应用性研究。从目前政策文件看，多从宏观层面进行规范和约束，缺乏具有可操作性的行动指南，评价应用性研究尚有不足。应积极探索可操作性强的评价指南和指导规范，引导评价工作顺利推进。三是定性评价和定量评价方法相结合，建立科学的评价方法体系。目前EMR数据评价指标仍以定性指标为主，定量指标使用较少，应探索构建完备的评价指标体系，提升定量指标使用占比，以人工智能技术辅助提升定量指标的科学性，从而建立定性与定量相结合的科学评价指标体系。